Resumo Técnico: Detecção de Alucinações em Modelos de Linguagem de Grande Escala via Sinais de Divergência de Atenção Interna

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) frequentemente geram conteúdo fluente, mas factualmente incorreto, um fenômeno conhecido como alucinação. Isso representa riscos significativos em domínios de alto risco, como saúde e direito. Um desafio primário ao abordar essa questão é que os LLMs autoregressivos são treinados para gerar continuações fluentes, e não estimativas de confiança calibradas. Consequentemente, sinais de incerteza baseados em saída padrão (por exemplo, perplexidade, verossimilhança logarítmica ou probabilidades de tokens) frequentemente falham em distinguir entre erros confiantes e conhecimento confiável, pois afirmações alucinadas podem receber altas verossimilhanças sob a distribuição do modelo.

Métodos existentes de quantificação de incerteza frequentemente dependem de amostragem repetida (por exemplo, entropia semântica) ou modelos verificadores externos, o que introduz uma sobrecarga computacional substancial. Além disso, abordagens que dependem de sondagem de estados ocultos frequentemente lutam para generalizar entre tarefas, capturando correlações específicas da tarefa em vez de sinais globais de confiança. Há uma necessidade de um método leve, de passagem única, que extraia sinais de incerteza diretamente dos mecanismos internos do modelo sem exigir modelos externos ou múltiplas gerações.

2. Metodologia

O método proposto introduz uma técnica de quantificação de incerteza de passagem única baseada em divergência de atenção. A hipótese central é que as alucinações surgem de falhas no cálculo interno, especificamente caracterizadas por padrões de atenção mal distribuídos ou difusos quando o modelo carece de conhecimento confiável.

2.1 Sinal de Divergência de Atenção

O método utiliza a divergência de Kullback–Leibler (KL) para medir o desvio da distribuição de uma cabeça de atenção a partir de uma distribuição de referência uniforme.

• Distribuição de Referência ($U$): Uma distribuição uniforme sobre os tokens de contexto, representando um estado de incerteza máxima onde o modelo atende igualmente a todas as posições.
• Distribuição de Atenção ($P$): A distribuição de probabilidade discreta sobre as posições dos tokens gerada por uma cabeça de atenção específica em um determinado passo de geração.
• Métrica: A divergência KL é calculada como $D_{KL}(P \parallel U) = \log T - H(P)$, onde $T$ é o número de tokens na janela de contexto e $H(P)$ é a entropia da distribuição de atenção.

Intuitivamente, uma alta concentração de atenção (baixa entropia) em tokens informativos resulta em alta divergência KL, sugerindo confiança. Por outro lado, atenção difusa (alta entropia) resulta em baixa divergência, sugerindo incerteza. Os autores postulam que as alucinações podem manifestar-se como confiança mal calibrada (alta divergência em tokens enganosos) ou, no contexto da agregação da sonda, que o sinal agregado de padrões de divergência correlaciona-se com a correção.

2.2 Extração de Características e Sondagem

1. Construção de Características: Para cada resposta gerada, a divergência KL média é computada para cada cabeça de atenção em todos os passos de geração. Esses valores formam um vetor de características $x_i \in \mathbb{R}^{L \times H}$, onde $L$ é o número de camadas e $H$ é o número de cabeças.
2. Treinamento da Sonda: Uma sonda de regressão logística leve com regularização Lasso (L1) é treinada para prever a correção da resposta ($y=1$ para correta, $y=0$ para incorreta) com base nessas características de divergência. A regularização L1 serve para selecionar um subconjunto esparso das cabeças de atenção mais preditivas, fornecendo interpretabilidade sobre quais partes do modelo codificam o sinal.
3. Avaliação: O desempenho é medido usando AUROC (Área Sob a Curva Característica Operacional do Receptor), Erro de Calibração Esperado (ECE) e acurácia.

3. Contribuições Principais

• Estimativa de Incerteza de Passagem Única: O método opera em uma única passagem direta, extraindo sinais de incerteza diretamente das matrizes de atenção sem exigir amostragem repetida ou modelos externos.
• Interpretabilidade: Ao analisar a divergência KL das distribuições de atenção, o método fornece um sinal de "caixa branca". Os autores demonstram que o sinal não é aleatório, mas concentrado em componentes arquitetônicos específicos.
• Generalizabilidade: A abordagem é validada em múltiplas famílias de modelos (Llama-3.2, Qwen3, Mistral) e tipos de tarefas diversos (QA factual, raciocínio multi-hop, raciocínio matemático).

4. Resultados Experimentais

4.1 Desempenho entre Conjuntos de Dados

O método foi avaliado em quatro conjuntos de dados: TruthfulQA (QA factual de múltipla escolha), TriviaQA (QA factual de domínio aberto), HotpotQA (raciocínio multi-hop) e GSM8K (raciocínio matemático).

• QA Factual: O método alcançou desempenho forte no TruthfulQA (AUROC > 0,89 para todos os modelos) e no TriviaQA (AUROC > 0,83).
• Tarefas de Raciocínio: O desempenho no HotpotQA variou de 0,77 a 0,80 de AUROC. No GSM8K, os resultados variaram por modelo, com o Qwen3-4B alcançando 0,945 de AUROC, enquanto Llama e Mistral mostraram resultados moderados, mas significativos, acima do acaso.
• Comparação com Baselines: No HotpotQA, o método (AUROC 0,78) superou métodos baseados em amostragem (por exemplo, Entropia Semântica, SelfCheckGPT) e outras baselines de passagem única (por exemplo, Perplexidade, TOHA). Também mostrou desempenho competitivo ou superior em comparação com métodos de sondagem de estado oculto no TruthfulQA e TriviaQA.

4.2 Ablação e Análise

• Localização de Camadas e Cabeças: O sinal não está uniformemente distribuído. Estudos de ablação revelaram que a remoção de camadas intermediárias causou a queda de desempenho mais significativa, indicando que o sinal está concentrado ali. Além disso, o sinal está distribuído entre múltiplas cabeças correlacionadas, em vez de estar localizado em uma única "cabeça de alucinação".
• Especificidade de Tokens: O sinal de divergência é mais pronunciado em tokens factuais (entidades nomeadas e números). Palavras de parada e pontuação mostraram baixa divergência. A análise da cauda extrema (percentil 99) mostrou que ~73% das palavras de alta divergência eram entidades nomeadas.
• Influência do Prompt: Uma parte do sinal de incerteza está presente mesmo antes do início da geração (computada exclusivamente sobre tokens do prompt), sugerindo que alguma incerteza é aleatória (relacionada à ambiguidade do prompt) e não apenas epistêmica (lacunas de conhecimento do modelo).
• Verificações de Sanidade: Permutar rótulos de correção e testar contra propriedades simples de saída (comprimento, pontuação) confirmou que o sinal não é um artefato de vazamento de dados ou características superficiais de saída.

5. Significado e Alegações

O artigo afirma que a dinâmica interna de atenção fornece um sinal eficiente e interpretável para detectar incerteza do modelo e alucinações. O significado primário reside na demonstração de que:

1. Alucinações são detectáveis via estados internos: A falha em recuperar conhecimento confiável manifesta-se como padrões específicos na divergência de atenção, distintos das saídas fluentes, mas incorretas, produzidas pelo modelo.
2. Eficiência: O método oferece uma alternativa computacionalmente barata à estimativa de incerteza baseada em amostragem, tornando-o viável para aplicações em tempo real onde a latência é crítica.
3. Insight Arquitetural: As descobertas sugerem que a incerteza é codificada nas camadas intermediárias e em âncoras factuais, apoiando a visão de que as alucinações são falhas estruturais no cálculo interno, e não meros erros de decodificação.

6. Limitações

Os autores notam explicitamente várias limitações:

• Correlação vs. Causalidade: O estudo estabelece uma correlação preditiva entre a divergência de atenção e a correção, mas não prova uma relação causal.
• Dependência da Sonda: O método depende de uma sonda de regressão logística para agregar sinais. O subconjunto específico de cabeças selecionadas varia entre conjuntos de dados e famílias de modelos, sugerindo que a sonda pode ser muito específica e que uma regra universal, sem sonda, para incerteza ainda não foi identificada.
• Requisito de Caixa Branca: O método requer acesso aos pesos internos de atenção, tornando-o inaplicável a modelos de caixa preta que fornecem apenas texto gerado ou probabilidades de saída.
• Interpretabilidade: Embora a sonda identifique cabeças informativas, o modelo resultante permanece difícil de interpretar como uma explicação completa de como a incerteza é representada, servindo mais como uma ferramenta de extração de sinal do que como uma explicação mecânica completa.