Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models

Título: Os LLMs Podem Detectar Suas Próprias Confabulações? Estimando Confiabilidade em Modelos de Linguagem Conscientes de Incerteza

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são propensos a gerar conteúdo fluente, mas incorreto, um fenômeno conhecido como confabulação (ou alucinação). Esse problema é particularmente crítico em aplicações multi-turno ou agênticas, onde as saídas do modelo são frequentemente reutilizadas como contexto para interações futuras.

O artigo identifica uma falha fundamental na calibração dos modelos:

• Desalinhamento entre Confiança e Corretude: Em cenários com contexto enganoso (misleading context), os modelos tendem a produzir respostas incorretas com alta confiança (logits elevados), em vez de expressar incerteza.
• Limitações dos Sinais Diretos: Métricas de incerteza tradicionais (baseadas apenas em logits ou entropia) falham em detectar essas confabulações quando o modelo é induzido a erro por informações externas, pois o modelo parece "certo" sobre algo errado.

2. Metodologia

Os autores propõem uma abordagem que combina análise de comportamento contextual com detecção baseada em probing (sondagem) de representações internas.

A. Framework Experimental Controlado
O estudo utiliza um framework onde a pergunta de entrada é fixa, mas o contexto é sistematicamente variado em três condições:

1. Sem Contexto (WOC): O modelo responde apenas com seu conhecimento paramétrico.
2. Contexto Correto (WCC): O modelo recebe informações factuais relevantes.
3. Contexto Enganoso (WIC): O modelo recebe informações plausíveis, mas incorretas (geradas automaticamente para induzir erro).

B. Estimativa de Incerteza
Utilizando o framework de Deep Learning Evidencial, os autores calculam dois tipos de incerteza a partir dos logits de saída:

• Incerteza Aleatória (Aleatoric Uncertainty - AU): Captura ambiguidade inerente aos dados.
• Incerteza Epistêmica (Epistemic Uncertainty - EU): Reflete a confiança do modelo baseada na evidência disponível.

C. Método de Detecção: Probing Guiado por Incerteza
Para responder à pergunta se os sinais internos podem prever a confiabilidade, os autores treinam classificadores leves (probing classifiers) sobre os estados ocultos (hidden states) do modelo.

• Seleção de Tokens: Em vez de usar todos os tokens, eles selecionam tokens específicos baseados na incerteza (ex: os tokens com maior ou menor incerteza epistêmica).
• Agregação: Os estados ocultos desses tokens selecionados são agregados (média) para formar um vetor de características compacto.
• Classificação: Um classificador linear é treinado para prever se a resposta inteira é correta ou incorreta (rótulo binário) com base nessas características agregadas.

3. Contribuições Principais

1. Framework de Avaliação Controlado: Apresenta um método para isolar e quantificar como a qualidade do contexto (correto vs. enganoso) altera o comportamento do modelo e seu perfil de incerteza.
2. Descoberta de Vulnerabilidade de Calibração: Demonstra empiricamente que a incerteza token-level não está alinhada com a corretude sob contextos enganosos. O modelo pode se tornar superconfiante em respostas erradas quando induzido por contexto falso.
3. Método de Detecção Superior: Propõe uma abordagem de probing que utiliza representações internas e seleção de tokens guiada por incerteza, superando significativamente as métricas de incerteza diretas (baselines) na detecção de respostas não confiáveis.

4. Resultados Chave

Análise de Comportamento (RQ1):

• Contexto Correto: Melhora tanto a precisão da resposta quanto a confiança do modelo (reduz a incerteza epistêmica).
• Contexto Enganoso: Induz confabulações confiantes. Os modelos (Fanar1-9b, Qwen2.5-7B, Gemma3-12B) produzem respostas erradas com distribuições de incerteza mais estreitas e deslocadas para a esquerda (baixa incerteza), indicando que o modelo "acredita" na informação falsa.
• Conclusão: A incerteza direta falha em sinalizar erro quando o contexto é tóxico; o modelo não percebe que está sendo enganado.

Análise de Detecção (RQ2):

• Probing vs. Baselines: Os classificadores de probing superaram consistentemente métodos baseados apenas em probabilidade (LogProb), autoavaliação (P(True)) e métricas de incerteza agregada (LogTokU).
• Importância da Agregação: A estratégia que obteve o melhor desempenho (Probe(AVG)) foi a agregação dos estados ocultos de múltiplos tokens, especialmente aqueles selecionados por sua incerteza (ex: média dos 5 tokens com menor incerteza + token de fim de sequência).
• Desempenho: O método alcançou os melhores scores de AUROC (Área sob a Curva ROC) em datasets como TruthfulQA, TriviaQA e Math, demonstrando que as representações internas contêm sinais de confiabilidade que os logits de superfície não revelam.

5. Significado e Implicações

• Limitações da Incerteza Direta: O trabalho alerta que confiar apenas em métricas de incerteza (como entropia ou logits) para segurança em sistemas RAG (Retrieval-Augmented Generation) ou agentes autônomos é perigoso, pois o modelo pode não sinalizar dúvida quando induzido a erro.
• Validação de Contexto: A necessidade de validar ou filtrar o contexto antes da geração é reforçada, pois o modelo não possui mecanismos internos robustos para rejeitar sinais contextuais falhos.
• Futuro da Geração Consciente de Confiabilidade: A proposta de usar probing em estados ocultos oferece um caminho viável para sistemas de detecção de alucinações em tempo real, permitindo que aplicações críticas identifiquem respostas não confiáveis antes de reutilizá-las em cadeias de raciocínio mais longas.

Em resumo, o artigo conclui que, embora os LLMs não consigam "sentir" sua própria confabulação através de sinais de incerteza simples quando sob influência de contexto enganoso, é possível construir detectores eficazes analisando as representações internas do modelo de forma inteligente e guiada pela incerteza.