Resumo Técnico: Padrões de Alinhamento Humano, Calibração e Ativação em Incerteza de Grandes Modelos de Linguagem

Declaração do Problema

A Quantificação de Incerteza (UQ) em Grandes Modelos de Linguagem (LLMs) tem focado primordialmente na calibração — garantir que os escores de confiança de um modelo reflitam com precisão sua eficácia na tarefa para mitigar alucinações. No entanto, uma questão crítica e subexplorada permanece: o quão semelhante é o comportamento de incerteza dos LLMs à incerteza humana?

Compreender este "alinhamento humano" é vital para a colaboração humano-IA. Se os LLMs exibem padrões de incerteza semelhantes aos humanos, os usuários podem transferir expectativas intuitivas de interações humano-humano para interações humano-IA de forma mais segura. Por outro lado, dissimilaridades significativas poderiam permitir que humanos e IA compensassem as fraquezas um do outro. Este trabalho investiga a presença e a força de sinais de incerteza semelhantes aos humanos (alinhamento) tanto no comportamento manifesto do modelo (logits) quanto nos padrões de ativação interna, enquanto também examina a ocorrência simultânea de alinhamento e calibração.

Metodologia

Modelos e Conjuntos de Dados

O estudo avaliou 30 LLMs de pesos abertos apenas de texto de quatro famílias (LLaMa, Mistral, Gemma, Falcon) e tamanhos variando de 1B a 13B de parâmetros. Versões base e ajustadas por instrução (instruct-finetuned) foram testadas.
Quatro conjuntos de dados foram utilizados:

1. MMLU: Um conjunto de dados padrão de QA de múltipla escolha (MCQA) usado como linha de base para o Erro de Calibração Esperada (ECE), mas carente de dados de incerteza humana.
2. ProtoQA: Perguntas baseadas em preferência crowdsourced (8.724 itens) fornecendo distribuições de resposta humana.
3. CamChoice: MCQA de compreensão de leitura (504 itens) com distribuições de resposta humana.
4. Coane: Um conjunto de dados de perguntas de conhecimento geral apresentado a adultos mais velhos. Crucialmente, ele fornece:
   • Distribuições de resposta humana (para entropia de grupo/incerteza).
   • Tempos médios de resposta (para incerteza individual, baseados em interpretações da ciência cognitiva).
   • Ambas as variantes MCQA e QA de Resposta Aberta (OEQA).

Medidas de Incerteza

Os autores empregaram um amplo conjunto de medidas de UQ de tempo de inferência calculadas a partir de logits e ativações:

• Medidas de MCQA: Métricas de distribuição total (probabilidade top-1, entropia total), métricas baseadas em cloze, entropias top-k/p e tamanhos de núcleo (nucleus sizes).
• Medidas de Resposta Livre (FR): Perplexidade de sequência (PPL) e médias de métricas de entropia/tamanho sobre os tokens gerados.
• Bracketed FR (BFR) & 1st Token FR (1TFR): Medidas restritas ao segmento antes de uma chave de fechamento ou ao primeiro token gerado, respectivamente, para isolar a resposta de uma potencial sobre-geração.

Design Experimental

• Alinhamento: Medido via correlação de Spearman entre sinais de inccerteza do modelo e incerteza humana (derivada da entropia de resposta ou tempo de resposta).
• Calibração: Medida usando ECESweep, um método de agrupamento dinâmico que minimiza o viés na estimativa do Erro de Calibração Esperada.
• Sondagem de Ativação (Activation Probing): Modelos de regressão linear foram treinados em ativações de último token por camada para prever a incerteza humana. Isso permitiu que os autores mapeassem onde e como os sinais de alinhamento se manifestam internamente em comparação com os logits de saída.

Contribuições Principais e Resultados

1. Alinhamento Positivo Fraco-a-Moderado

O estudo descobriu que a incerteza dos LLMs é geralmente fracamente correlacionada positivamente com a incerteza humana. Esta relação é mediada pela tarefa específica e pela arquitetura do modelo.

• Grupo vs. Individual: O alinhamento é mais detectável quando comparando a incteza do modelo com a incerteza humana de nível de grupo (entropia da distribuição de resposta) em vez da incerteza de nível individual (tempo de resposta).
• Dependência de Tarefa: Sinais de alinhamento foram esporádicos no conjunto de dados CamChoice e quase inexistentes em tarefas de OEQA, com exceção do modelo Falcon 3 10B (que mostrou correlação com o tempo de resposta, mas não em contextos de BFR/1TFR).

2. Degradação por Ajuste de Instrução (Instruct Finetuning)

Uma descoberta primária é que o ajuste de instrução degrada significativamente tanto o alinhamento de incerteza quanto a calibração.

• Em quase todas as medidas e conjuntos de dados, os modelos base demonstraram um alinhamento mais forte com a incerteza humana do que seus contrapartes ajustados por instrução.
• Da mesma forma, a calibração (ECE) foi geralmente pior em modelos de instrução, com exceções notáveis onde o ajuste melhorou a calibração em contextos de opções limitadas, mas a degradou em outros.

3. Ativações Internas vs. Comportamento Manifesto

O estudo revela uma discrepância crítica entre estados internos e comportamento de saída:

• Sinais Internos Mais Fortes: A incerteza alinhada ao humano é mais fortemente detectável em ativações internas do que em logits de saída.
• Lacuna Quantitativa: Por exemplo, o modelo Gemma 2 9B mostrou uma correlação máxima de $r \approx 0.6$ com a entropia humana em sondagens internas, comparado a apenas $r = 0.32$ para medidas baseadas em logits.
• Dinâmica de Camadas: O alinhamento de incerteza de nível de grupo (entropia) tende a aumentar com a profundidade na rede, enquanto o alinhamento de nível individual (tempo de resposta) permanece relativamente plano através das camadas.

4. Superioridade de Calibração

Apesar dos desafios de alinhamento, os LLMs tendem a ser mais bem calibrados do que os sujeitos humanos na maioria das medidas de UQ. Os erros de calibração humana no conjunto de dados Coane variaram de 0.21 a 0.45, enquanto muitos modelos alcançaram valores de ECE abaixo de 0.1.

Significância e Alegações

O artigo afirma fornecer a primeira investigação extensiva sobre alinhamento de incerteza através de um diversificado conjunto de modelos e tarefas, indo além do foco tradicional apenas na calibração.

• Insight Comportamental: O trabalho sugere que, embora o comportamento manifesto do modelo (logits) possa não refletir totalmente a incerteza semelhante à humana, as representações internas dos LLMs contêm sinais mais fortes de alinhamento humano. Isso implica que os mecanismos para a incerteza semelhante à humana existem dentro do modelo, mas não são sempre expressos na saída final, potencialmente devido às restrições do ajuste de instrução.
• Impacto do Ajuste: As descobertas destacam um compromisso (trade-off): embora o ajuste de instrução melhore o desempenho da tarefa em muitos domínios, ele parece interromper a emergência natural de comportamentos de incerteza e calibração semelhantes aos humanos.
• Direções Futuras: Os autores sugerem modestamente que identificar esses sinais de alinhamento em vetores latentes poderia eventualmente permitir a manipulação direta ou o aprimoramento dos comportamentos de alinhamento sem necessidade de retreinamento significativo. No entanto, eles reconhecem limitações, observando que os resultados são atualmente restritos à recuperação factual de curto formato e podem não se generalizar para tarefas complexas de raciocínio ou planejamento.

Em resumo, o artigo estabelece que os LLMs possuem uma capacidade latente para incerteza alinhada ao humano, mas essa capacidade é frequentemente suprimida pelo ajuste de instrução padrão e é mais visível em ativações internas do que em predições finais.