Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing

Resumo Técnico: Detecção de Alucinação Pré-Geração via Sondagem de Atenção de Alvos Suaves (Soft-Target Attention Probing)

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) frequentemente geram respostas confiantes, porém factualmente incorretas, um fenômeno conhecido como alucinação. Embora existam métodos de detecção pós-geração (ex: usando entropia semântica ou autoconsistência), eles incorrem no custo computacional total da decodificação. A detecção pré-geração oferece uma alternativa leve ao estimar o risco de alucinação a partir das representações de entrada antes que qualquer token seja gerado, permitindo intervenções precoces, como abstenção, aumento de recuperação (retrieval augmentation) ou roteamento de modelos.

No entanto, as abordagens de pré-geração existentes enfrentam um desafio estatístico fundamental: elas tipicamente formulam a detecção como um problema de classificação binária utilizando uma única resposta decodificada via busca gananciosa (greedy decoding) como rótulo de verdade fundamental (ground truth). Os autores argumentam que isso é estatisticamente mal formulado (ill-posed), pois a correção de uma resposta pré-geração é uma variável aleatória que reflete a distribuição de saída estocástica do modelo. Um rótulo binário derivado de uma única amostra é um substituto (proxy) ruidoso para a verdadeira probabilidade de erro subjacente do modelo, introduzindo ruído de rótulo irredutível e potencial viés (ex: subestimar o risco quando o modelo atribui alta probabilidade a uma resposta correta, mas distribui a massa de probabilidade entre muitas incorretas).

Metodologia
O artigo reformula a detecção de alucinação pré-geração como um problema de estimativa de risco, em vez de classificação binária. O objetivo é prever a probabilidade de o modelo produzir uma resposta incorreta para um determinado prompt sob sua própria distribuição de amostragem.

1. Supervisão de Alvo Suave (Soft-Target Supervision):
   Em vez de rótulos binários, os autores propõem treinar sondas (probes) em alvos suaves derivados da taxa de erro de resposta empírica. Para cada prompt, $N$ respostas são amostradas estocasticamente do modelo na temperatura $\tau = 1$ (a distribuição base do modelo). O alvo suave é a fração dessas $N$ amostras que são factualmente incorretas.

   • Garantia Teórica: Os autores provam que esta taxa de erro empírica é o Estimador de Variância Mínima Não Viesado Único (UMVUE) da probabilidade de erro por prompt do modelo sob sua distribuição de amostragem. Esta formulação minimiza o ruído do rótulo e fornece um sinal de dificuldade consistente.
   • Benefício Estatístico: O uso de alvos suaves reduz a variância do gradiente estocástico, levando a uma convergência mais rápida na otimização em comparação com rótulos binários.

2. Sondagem de Atenção (Attention Probing):
   O estudo adapta a sondagem de atenção (originalmente desenvolvida para detecção pós-geração) para o cenário de pré-geração. Diferente da sondagem linear, que agrega uniformemente os estados ocultos (ex: mean pooling), a sondagem de atenção utiliza um vetor de consulta (query) aprendível para ponderar seletivamente os estados ocultos de nível de token do prompt de entrada. Isso permite que o detector foque em posições específicas do prompt que sejam mais informativas para o risco de alucinação.

   • A sonda é aplicada a estados ocultos de qualquer camada $l$ do transformer.
   • Um cabeçalho de regressão logística mapeia a representação agregada para um escore de risco.

Principais Contribuições

• Enquadramento como Estimativa de Risco: O artigo estabelece que a detecção pré-geração é fundamentalmente um problema de estimativa de distribuição. Introduz a supervisão de alvo suave baseada em taxas de erro empíricas, provando teoricamente sua otimalidade como um estimador não viesado e de variância mínima.
• Análise de Arquitetura e Camadas: Uma comparação sistemática revela que a sondagem de atenção supera consistentemente a sondagem linear uniforme na configuração de pré-geração, particularmente em tarefas com estruturas de prompt variáveis. Além disso, a análise por camada demonstra que as camadas intermediárias carregam consistentemente os sinais de alucinação mais fortes, sugerindo que estimativas de risco confiáveis podem ser obtidas sem completar todo o caminho de propagação (forward pass) até a última camada.
• Validação Empírica: A abordagem é avaliada em três benchmarks de perguntas e respostas (SQuAD, Natural Questions, HotpotQA) e cinco modelos ajustados por instrução (famílias Qwen, LLaMA, Gemma, todos com menos de 9B de parâmetros).

Resultados

• Superioridade dos Alvos Suaves: Em todos os modelos e conjuntos de dados avaliados, a sondagem de atenção treinada com alvos suaves supera consistentemente sua contraparte de alvo binário. Os ganhos são mais pronunciados em tarefas abertas (ex: Natural Questions, HotpotQA), onde a informação de distribuição capturada pelos alvos suaves é mais valiosa.
• Atenção vs. Sondagem Linear: A sondagem de atenção supera significativamente a sondagem linear (por até 23,1 pontos de ROC-AUC em alguns casos) no cenário de pré-geração. No entanto, essa vantagem diminui em tarefas altamente restritas de um único token (ex: múltipla escolha ou QA booleano), onde o mean pooling é suficiente.
• Desempenho Pré- vs. Pós-Geração: Em tarefas de respostas curtas e estruturalmente restritas (como SQuAD), as sondas de pré-geração aproximam-se do desempenho dos métodos pós-geração, com diferenças médias de apenas 0,07% em ROC-AUC. À medida que o comprimento da resposta e a complexidade do raciocínio aumentam (ex: HotpotQA), a lacuna aumenta em favor dos métodos pós-geração, pois a incerteza torna-se mais dependente do próprio processo de geração.
• Eficiência: Ao detectar o risco em camadas intermediárias, o método pode economizar custos computacionais significativos (até 54% de economia de GFLOPs em comparação com passagens completas de propagação) enquanto permite a intervenção precoce.

Significância e Alegações
O artigo afirma que a detecção de alucinação pré-geração é uma estratégia viável e eficiente, desde que seja enquadrada como estimativa de risco, e não como classificação binária. A principal contribuição é a demonstração de que a supervisão de alvo suave fornece um sinal de treinamento mais principiado e eficaz do que os rótulos binários gananciosos, alinhando a tarefa de detecção com a natureza estocástica da geração de LLMs.

Os autores enfatizam que suas descobertas apoiam um regime operacional prático: para tarefas com respostas curtas e estruturadas, estimativas de risco de alucinação confiáveis podem ser obtidas antes da geração e no meio do processo de propagação (usando camadas intermediárias), permitindo intervenções de baixo custo, como abstenção ou aumento de recuperação. Eles reconhecem limitações, observando que o método é menos eficaz para tarefas de raciocínio de múltiplos passos e contexto longo, onde a incerteza é inerentemente ligada ao processo de geração, e que a abordagem requer acesso de "caixa branca" às ativações do modelo. O trabalho não pretende substituir os detectores pós-geração, mas sim complementá-los com um sinal mais precoce e barato.