Resumo Técnico: DECK – Uma Taxonomia de Consistência × Confiança de Alucinações de LLM

Declaração do Problema

As taxonomias existentes para alucinações de Grandes Modelos de Linguagem (LLMs) classificam os erros com base na natureza da falha de saída (ex: equívocos memorizados, falhas de raciocínio, fabricações fluentes). Embora úteis para diagnóstico, esses frameworks não abordam uma questão crítica de implantação: qual pontuador de quantificação de incerteza (UQ) teria detectado um erro específico?

A literatura atual oferece três famílias primárias de pontuadores de UQ ao nível da saída:

1. Black-box (BB - Caixa-preta): Verificações de consistência inter-amostra (ex: entropia semântica, auto-verificação).
2. White-box (WB - Caixa-branca): Medidas de log-probabilidade ao nível do token.
3. LLM-as-a-Judge (J - LLM como Juiz): Revisão factual por um modelo separado.

No entanto, a relação entre tipos específicos de alucinação e as assinaturas de detectabilidade que as famílias de pontuadores leem permanece implícita. Sem uma taxonomia fundamentada no eixo de detecção, a seleção de um pontuador para um novo domínio torna-se um palpite heurístico. Além disso, há uma falta de compreensão mecanística sobre por que certos conjuntos (ensembles) superam outros e onde podem existir modos de falha universais.

Metodologia

A Taxonomia DECK

O artigo propõe o DECK, uma taxonomia complementar que classifica as alucinações pelo seu perfil de detectabilidade em vez de seu conteúdo semântico. Ele particiona as alucinações em uma grade $2 \times 2$ baseada em dois eixos observáveis:

1. Consistência Inter-amostra: O modelo produz a mesma resposta incorreta através de múltiplas amostras estocásticas independentes?
2. Confiança ao Nível do Token: O modelo atribui alta probabilidade aos tokens de sua resposta gerada?

Isso resulta em quatro regimes comportamentais (Tabela 1):

• Drift (Deriva - D): Baixa Consistência, Alta Confiança. O modelo gera respostas erradas e confiantes diferentes para cada amostra.
• Entrenched (Enraizada - E): Alta Consistência, Alta Confiança. O modelo fixa-se em um equívoco memorizado ou erro de pré-treinamento compartilhado e o reproduz sem variância.
• Confabulation (Confabulação - C): Baixa Consistência, Baixa Confiança. O modelo carece genuinamente de conhecimento, produzindo respostas erradas e diferentes com baixa confiança.
• Knotted (Nó - K): Alta Consistência, Baixa Confiança. O modelo repete consistentemente uma resposta hesitante/errada, mas atribui baixa probabilidade ao token.

Operacionalização: A pertinência às células é determinada pela aplicação dos limiares ótimos de Youden's J sobre os escores dos pontuadores BB (consistência) e WB (confiança) para cada condição.

Configuração Experimental

• Modelos: Llama-3-8B (pesos abertos), GPT-4o (pesos fechados) e Gemini-2.5-Flash (pesos fechados).
• Datasets: TriviaQA (factual), HaluEval (alucinações adversariais), SelfAware (perguntas sem resposta/lacunas de conhecimento) e PopQA (centrado em entidades, estratificado por popularidade).
• Pontuadores: 15 configurações através das três famílias (BB, WB, Judge), selecionadas com base no maior AUROC por divisão para evitar viés.
• Avaliação:
  • AUROC: Desempenho por pontuador.
  • Complementaridade ($C_H$): A fração de amostras alucinadas onde dois pontuadores discordam.
  • Validação Externa: Verificação se os rótulos externos (ex: popularidade da entidade, natureza adversarial) recaem nas células DECK previstas.

Principais Contribuições

1. A Taxonomia DECK: Uma mudança de classificar o que está errado para como um erro é detectado. Ela mapeia explicitamente os quatro regimes comportamentais para as forças e pontos cegos das três famílias de pontuadores:

   • Drift: Detectável por BB e Judge.
   • Entrenched: Detectável apenas por um Judge independente (cego para BB e WB).
   • Confabulation: Detectável por todas as três famílias.
   • Knotted: Detectável por WB e Judge.

2. Identificação de um Ponto Cego Universal: O artigo identifica um regime onde todas as famílias de UQ ao nível da saída colapsam simultaneamente. Em entradas de "lacuna de conhecimento" (ex: perguntas sem resposta do SelfAware) onde o gerador emite fabricações confiantes e repetíveis, o BB vê alta concordância, o WB vê alta probabilidade de token e os Judges compartilham a mesma lacuna de conhecimento. Neste regime, a UQ ao nível da saída falha por construção.

3. Validação Mecanística de Ensembling: O artigo fornece uma explicação estrutural de por que o ensembling funciona. Ele demonstra que a discordância entre pontuadores não é aleatória, mas concentrada em quadrantes específicos do DECK (ex: BB perde para Entrenched/Knotted; WB perde para Drift/Entrenched), validando a complementaridade das famílias.

Resultados

Validação da Taxonomia

• Análise de Discordância: Em 12 combinações de modelo-dataset, os padrões de discordância entre pares de pontuadores alinham-se com as previsões do DECK. Por exemplo, as discordâncias BB-Judge concentram-se nas células Entrenched e Knotted (pontos cegos do BB), enquanto as discordâncias WB-Judge concentram-se em Drift e Confabulation.
• Validação de Sinais Externos:
  • SelfAware (Sem resposta): As amostras recaem predominantemente na célula Entrenched (62–71% entre os modelos), confirmando a hipótese de que alucinações de lacuna de conhecimento se manifestam como erros confiantes e repetíveis.
  • PopQA (Entidades Raras): As amostras recaem predominantemente em Confabulation, consistente com modelos que carecem de conhecimento específico sobre a entidade.
  • PopQA (Entidades Populares): As amostras recaem em Entrenched, refletindo equívocos memorizados.
  • HaluEval: Mostra distribuições dependentes do modelo, frequentemente dividindo-se entre Entrenched e Knotted/Confabulation.

O Ponto Cego Universal

No dataset SelfAware (lacunas de conhecimento), todas as três famílias de pontuadores colapsaram para um desempenho próximo ao acaso (AUROC $\approx$ 0.5 ou inferior).

• GPT-4o: 13 de 15 pontuadores caíram abaixo de 0.5 AUROC; $P(\text{True})$ inverteu para 0.331.
• Sonda de Estado Interno: Uma sonda linear nos estados ocultos da última camada do Llama-3-8B também colapsou para o acaso (AUROC 0.44) no SelfAware, sugerindo que o modo de falha persiste no nível da ativação, não apenas no nível da saída.
• Conclusão: Nenhum ensemble de pontuadores ao nível da saída pode detectar esses erros; a única resposta de engenharia é um envelope de abstenção para rotear tais entradas para recusa ou recuperação antes da pontuação.

Efeitos de Escala do Modelo

• TriviaQA: A escala do Llama-3-8B para o GPT-4o deslocou a discordância residual de Confabulation/Knotted para Drift. Modelos maiores produziram alucinações mais confiantes e repetíveis que eram detectáveis por Judges, mas perdidas pelas verificações de consistência BB.
• PopQA: A escala aumentou significativamente a complementaridade entre Judges e outras famílias, particularmente para consultas centradas em entidades.

Significância e Alegações

O artigo afirma que o DECK fornece uma explicação mecanística da quantificação de incerteza em LLMs, indo além do ensembling empírico para uma compreensão estrutural de por que certos pontuadores se complementam.

• Utilidade Diagnóstica: O DECK permite que praticantes prevejam qual família de pontuadores falhará para um determinado tipo de alucinação (ex: esperar que BB falhe em erros Entrenched).
• Limitação da UQ ao Nível da Saída: O artigo afirma de forma modesta, porém firme, que a UQ ao nível da saída possui um ponto cego fundamental e universal em entradas de lacuna de conhecimento onde o modelo está confiantemente errado. Esta é uma propriedade do par (gerador, tarefa), não de um algoritmo específico.
• Evidência de Estado Interno: O achado preliminar de que uma simples sonda linear nos estados ocultos também falha nessas entradas sugere que a falha é profunda no espaço de ativação do modelo, embora os autores notem que métodos de estado interno mais ricos (ex: cabeças de UQ, estimadores informacional-teóricos) ainda precisam ser testados.

O trabalho conclui que, embora o ensembling melhore o desempenho em muitos regimes, ele não pode superar o ponto cego universal de fabricações confiantes e repetíveis em entradas sem resposta. A resposta de engenharia apropriada não é um ensemble mais complexo, mas sim um mecanismo de abstenção em nível de sistema.