Resumo Técnico: Detecção Eficiente de Alucinações para LLMs Usando Cabeças de Atenção Conscientes de Incerteza

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são propensos a "alucinações", ou imprecisões fatuais, apesar de sua fluência. Embora a Quantificação de Incerteza (UQ) ofereça um caminho para mitigar isso ao aproveitar a confiança interna de um modelo, os métodos existentes enfrentam trade-offs significativos. Pontuações baseadas em informação (ex: entropia de token) são computacionalmente eficientes, mas frequentemente apresentam desempenho inferior em gerações de longo formato. Métodos baseados em amostragem oferecem maior precisão, mas incorrem em um overhead computacional proibitivo devido a múltiplas passagens de inferência. Abordagens supervisionadas produzem pontuações precisas, mas exigem anotações custosas e específicas para cada tarefa, além de terem dificuldade em generalizar para diferentes domínios ou dados fora de distribuição. Consequentemente, há uma carência de um método de UQ versátil, eficiente e não supervisionado capaz de detecção de alucinação em tempo real em LLMs white-box.

Metodologia: RAUQ

Os autores propõem o RAUQ (Recurrent Attention-based Uncertainty Quantification), um framework não supervisionado que identifica alucinações analisando padrões específicos nos mecanismos de atenção de transformers. O método opera em uma única passagem direta (forward pass), não exigindo amostragem adicional ou modelos auxiliares.

Observações Principentes

Através de uma análise mecanística de mapas de atenção (especificamente em modelos como Llama-3.1 8B), os autores observaram que, quando um LLM gera um token factualmente incorreto, cabeças de atenção específicas "conscientes de incerteza" exibem uma queda sistemática no peso de atenção em relação ao token imediatamente anterior. Em contraste, para tokens corretos, essas cabeças mantêm alta atenção ao token anterior, refletindo continuidade sintática e semântica local. Este sinal é distinto a um pequeno subconjunto de cabeças; a média entre todas as cabeças obscurece esse padrão.

Componentes Algorítmicos

O RAUQ integra três componentes principais:

1. Seleção de Cabeça Consciente de Incerteza:
   Para cada camada $l$, o método seleciona automaticamente a única cabeça de atenção $h_l$ que maximiza o peso médio de atenção ao token precedente ao longo da sequência gerada:
   $$h_l(y) = \arg \max_{h=1...H} \frac{1}{N-1} \sum_{i=2}^{N} a_{i,i-1}^{l,h}$$
   Esta seleção é realizada dinamicamente sem supervisão.

2. Propagação Recorrente de Confiança:
   Para considerar as dependências condicionais na geração autorregressiva, o RAUQ calcula uma pontuação de confiança por nível de token $c_l(y_i)$ para cada token $i$ na camada $l$. Esta pontuação combina recursivamente a probabilidade condicional do token $s_i$ (ou sinal baseado em entropia para modelos ajustados por instrução) com a confiança do token anterior, ponderada pela ativação da cabeça de atenção selecionada:
   $$c_l(y_i) = \begin{cases} s_1 & \text{se } i=1 \\ \alpha s_i + (1-\alpha) a_{i,i-1}^{l, h_l} c_l(y_{i-1}) & \text{se } i > 1 \end{cases}$$
   Aqui, $\alpha$ é um hiperparâmetro que equilibra a contribuição da probabilidade imediata do token versus a confiança propagada modulada pela atenção.

3. Agregação:
   As pontuações de nível de token são agregadas em uma pontuação de incerteza por camada $u_l(y)$ usando a média de logaritmos (semelhante à perplexidade):
   $$u_l(y) = -\frac{1}{N} \sum_{i=1}^{N} \log c_l(y_i)$$
   A pontuação de incerteza final ao nível da sequência $u(y)$ é derivada ao se tomar o máximo das pontuações através de um subconjunto de camadas intermediárias, fornecendo uma estimativa de limite superior da incerteza.

Principais Contribuições

• Insight Mecanístico: O artigo identifica e analisa cabeças de atenção "conscientes de incerteza", demonstrando que uma queda na atenção ao token precedente em cabeças específicas correlaciona-se fortemente com ocorrências de alucinação.
• Framework RAUQ: Introdução de um método de UQ não supervisionado, plug-and-play, que converte pesos de atenção brutos e probabilidades de tokens em pontuações de incerteza confiáveis. Ele não requer rótulos específicos para tarefas, não exige ajuste de hiperparâmetros para modelos específicos e adiciona menos de 1% de overhead computacional.
• Avaliação Abrangente: Experimentos extensos em 12 datasets (abrangendo QA, sumarização e tradução) e 9 LLMs diferentes (incluindo variantes Llama, Qwen, Gemma e Falcon de diversos tamanhos).

Resultados Experimentais

O RAUQ foi avaliado contra 15 baselines diversas, incluindo métodos baseados em amostragem (ex: Entropia Semântica), métodos baseados em atenção (ex: Focus, Attention Score) e regressores supervisionados. A métrica principal foi a Razão de Rejeição de Predição (PRR), que mede a qualidade média das respostas retidas quando as predições mais incertas são rejeitadas.

• Desempenho: O RAUQ superou consistentemente os baselines de última geração em todas as tarefas e modelos. Por exemplo, em tarefas de tradução com Gemma-2 9B, superou o segundo melhor método por uma margem significativa (0,051 PRR). Alcançou o melhor ou segundo melhor desempenho médio em todas as tarefas e modelos.
• Generalização: O método demonstrou forte robustez através de diferentes tamanhos de modelo (de 360M a 70B parâmetros) e arquiteturas (incluindo modelos Mixture-of-Experts). Também manteve alto desempenho em cenários fora de domínio onde métodos supervisionados falharam.
• Eficiência: Ao contrário dos métodos baseados em amostragem que incorrem em 400–800% de overhead computacional, o RAUQ adicionou apenas 0,3% de overhead (menos de 1%) ao tempo de inferência, tornando-o adequado para aplicações em tempo real.
• Estudos de Ablação: Experimentos confirmaram que selecionar cabeças específicas, em vez de tirar a média de todas as cabeças, é crítico. Além disso, a propagação recorrente da confiança mostrou-se essencial, visto que remover a recursão ou o componente de atenção degradava significativamente o desempenho.

Significância e Alegações

Os autores posicionam o RAUQ como uma solução leve e plug-and-play para detecção de alucinação em tempo real em LLMs white-box. Sua significância reside em preencher a lacuna entre eficiência computacional e precisão de detecção sem depender de bases de conhecimento externas ou amostragem dispendiosa.

O artigo afirma que o RAUQ permite o deploy de mecanismos robustos de UQ diretamente em sistemas existentes de LLM-as-a-service. Embora os autores reconheçam que o RAUQ é um complemento, e não um substituto para a verificação externa e supervisão humana (especialmente em domínios de segurança crítica), eles afirmam que ele representa um passo significativo para o uso de LLMs mais confiáveis e responsáveis. A capacidade do método de generalizar através de tarefas e tamanhos de modelos sem supervisão aborda uma limitação crítica na pesquisa atual de UQ.