Resumo Técnico: Alucinação como Falha de Comprometimento

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) frequentemente produzem saídas fluentes, mas factualmente incorretas, conhecidas como alucinações. Uma premissa predominante no campo é que a alucinação é uma consequência direta da falta de conhecimento: o modelo alucina apenas quando a resposta correta está ausente de sua distribuição no momento da geração. Trabalhos recentes identificaram "tokens críticos" ou "tokens de bifurcação" onde a entropia aumenta abruptamente, sugerindo que as alucinações são decididas em etapas específicas da trajetória de geração. No entanto, os métodos existentes de detecção baseados em incerteza (por exemplo, entropia semântica) frequentemente falham em identificar "alucinações confiantes"—casos em que o modelo emite uma resposta errada com alta confiança, apesar de possuir o conhecimento correto.

Este artigo desafia a premissa de que a alucinação implica falta de conhecimento. Ele pergunta: No momento em que um modelo se compromete com uma resposta, ele possui o conceito correto em sua distribuição de probabilidade, mesmo que emita um token errado?

Metodologia

Conceito e Massa de Probabilidade Semântica ($P_{mass}$)

Os autores introduzem uma noção semântica de disponibilidade da resposta. Em vez de analisar tokens individuais, eles definem um conceito $c$ como uma classe de equivalência de completamentos de token que denotam a mesma resposta (por exemplo, "Catedral de São Basílio", "St. Basil's", "Catedral de...").
Eles definem a massa de probabilidade semântica por etapa como:
$$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$$
onde $S_c$ é o conjunto de IDs de primeiros tokens correspondentes às formas de superfície do conceito $c$. Esta métrica agrega a massa de probabilidade atribuída a todos os aliases válidos da resposta correta em uma etapa específica de geração.

Configuração Experimental

• Modelos: O estudo abrange 18 modelos das famílias Qwen (0,8B a 72B) e Llama (1B a 70B), incluindo variantes Instruct (ajustadas por instrução) e Base.
• Conjuntos de Dados: QA de formulário curto (TriviaQA, NQ-Open) e QA de múltipla escolha (MMLU, ARC-Challenge).
• Etapa de Comprometimento ($t_c$): Em QA de formulário curto ajustado por instrução, a etapa de comprometimento é fixada em $t=1$ (o primeiro token gerado). Para geração de formulário longo, $t_c$ é identificada como a etapa em que a entidade da resposta é emitida.
• Definição de Falha de Comprometimento: Uma amostra alucinada é classificada como uma falha de comprometimento se $P_{mass}(t_c; c^*) \geq 0,2$, onde $c^*$ é o conceito de verdade fundamental. Isso indica que o modelo atribuiu massa de probabilidade substancial ao conceito correto, mas ainda assim emitiu uma resposta final errada.

Dimensões de Análise

1. Taxa de Falha de Comprometimento (CF%): A proporção de alucinações que são falhas de comprometimento.
2. Decomposição: Separar falhas em Falhas de Seleção do Primeiro Token (token ganancioso $\notin S_{c^*}$) e Divergências de Múltiplos Tokens (token ganancioso $\in S_{c^*}$, mas tokens subsequentes divergem).
3. Análise Distribucional: Comparar a distribuição de probabilidade das falhas de comprometimento contra amostras corretas correspondentes (amostras com $P_{mass}$ similar, mas saída correta).
4. Ajuste por Instrução vs. Escala: Isolar os efeitos do tamanho do modelo versus o ajuste por instrução, comparando modelos Instruct e Base.

Principais Resultados

1. Falhas de Comprometimento são Prevalentes e Dependentes da Escala

Em todos os modelos ajustados por instrução, 16% a 47% das alucinações são falhas de comprometimento. Crucialmente, essa taxa aumenta monotonicamente com a escala do modelo.

• Qwen Instruct: A CF% aumenta de 16% (0,8B) para 41% (72B).
• Llama Instruct: A CF% aumenta de 16% (1B) para 47% (70B).
  Esta descoberta contradiz a intuição de que modelos maiores simplesmente "sabem mais" e alucinam menos; ao contrário, modelos maiores alucinam com mais frequência apesar de possuírem o conceito correto em sua distribuição.

2. O Mecanismo: Afiamento Induzido por Instrução

O artigo identifica o ajuste por instrução como o principal motor desse fenômeno, não a escala sozinha.

• Modelos Base: Mostram probabilidades de tokens errados planas (~0,30) através das escalas e taxas de falha de comprometimento mais baixas.
• Modelos Instruct: Exibem afiamento monotônico. A probabilidade do token ganancioso errado em falhas de seleção aumenta com a escala (por exemplo, Qwen Instruct: 0,31 em 0,8B $\to$ 0,57 em 72B).
• Mudança Distribucional: Nas falhas de comprometimento, a massa do conceito correto é frequentemente fragmentada entre múltiplos tokens de alias (por exemplo, "Saint", "St", "C"), impedindo que qualquer alias único vença o argmax contra o token dominante de um conceito concorrente. Em modelos Instruct maiores, essa fragmentação colapsa (a massa se concentra em um alias), mas o token do conceito errado torna-se ainda mais afiado, levando a falhas de "ator errado".

3. Evidências de Múltiplos Tokens e Estados Ocultos

• Divergências de Múltiplos Tokens: Em grandes modelos Instruct (70B+), quando o primeiro token se alinha com um alias correto, a entropia do segundo token ($H_{t=2}$) cai para perto de zero (0,05–0,10). O modelo compromete-se imediatamente com uma frase específica de múltiplos tokens, mesmo que essa frase leve a uma entidade errada (por exemplo, "George Washington Carver" em vez de "George Washington").
• Estados Ocultos: Estados ocultos pré-geração em $t=1$ contêm informações preditivas sobre a correção. Modelos Instruct mostram maior AUROC em sondas de estado oculto em comparação com modelos Base, e esse sinal é "carregado no início" (mais forte em $t=1$).
• Mapeamento de Saída: A lacuna entre modelos Instruct e Base é maior na detecção ao nível de saída (AUROC +0,29) do que em sondas de estado oculto (+0,08), sugerindo que o ajuste por instrução amplifica o sinal durante a projeção para o vocabulário de saída.

4. Duas Faces da Falha de Comprometimento

O artigo distingue dois modos de falha estrutural:

1. Impulsionado por Fragmentação: (Comum em modelos menores/Base) A massa correta é dividida entre aliases; nenhum token único vence.
2. Impulsionado por Atrator Errado: (Comum em grandes modelos Instruct) A massa correta colapsou sobre um único alias, mas o token de um conceito errado é ainda mais afiado ($P_{greedy} > P_{mass}(c^*)$).

Significado e Afirmações

O artigo reestrutura a alucinação confiante não como um deslizamento momentâneo ou uma falta de conhecimento, mas como uma consequência estrutural de como a massa de probabilidade é moldada na etapa de comprometimento.

• Mecanismo Unificado: O mesmo afiamento induzido por instrução que produz correção confiante (quando o conceito comprometido está certo) também produz má seleção confiante (quando o conceito comprometido está errado).
• Taxa de Alinhamento: Este fenômeno é situado como uma face da mais ampla "taxa de alinhamento", onde o alinhamento (ajuste por instrução) melhora a utilidade e a fluência, mas degrada a calibração e causa colapso de modo, levando a erros excessivamente confiantes.
• Limitações da Detecção de Incerteza: Os resultados explicam por que métricas padrão de incerteza (como entropia de token ou entropia semântica) falham em sinalizar alucinações confiantes: o modelo possui o conceito correto (alta $P_{mass}$), mas a distribuição é moldada de tal forma que o token errado vence o argmax.
• Sonda Analítica: Os autores propõem $P_{mass}$ como uma sonda analítica para entender o comportamento do modelo, observando que não é um detector implantável (pois requer aliases de verdade fundamental), mas revela que "saber a resposta" e "emitir a resposta" são eventos distintos no processo de geração.

O artigo conclui que modelos maiores não apenas sabem mais; eles disparam erroneamente com mais frequência sobre o que sabem, impulsionados por uma disposição de afiamento que torna o modelo decisivo tanto em compromissos corretos quanto incorretos.