What Does a Factual-Error Detector Really Measure? Question Difficulty and Model Uncertainty Before the Answer Begins

Resumo Técnico: O que um detector de erros factuais realmente mede?

Problema
Detectores de erros factuais visam prever se a resposta de um Grande Modelo de Linguagem (LLM) está incorreta com base no modelo e em sua saída. No entanto, uma alta precisão de detecção por si só não revela a origem do sinal preditivo. Um detector pode simplesmente identificar perguntas que são difíceis para muitos modelos, capturar propriedades do texto gerado ou refletir a incerteza da saída, em vez de medir a avaliação interna do modelo sobre seu próprio conhecimento. Os baselines existentes frequentemente falham em distinguir entre informação preditiva específica do modelo e a "dificuldade da pergunta" geral. Além disso, alegações relativas a sinais internos (por exemplo, ativações de camadas) carecem de validação cross-model rigorosa ou falham ao não considerar que a entropia mede dispersão, não a verdade.

Metodologia
Os autores propõem um framework de avaliação rigoroso centrado em dois componentes principais: um baseline "Leave-One-Model-Out" (LOMO) e uma auditoria prospectiva de leituras escalares através de diversas linhagens de modelos.

1. Baseline LOMO: Em vez de depender de estados internos, o baseline calcula a fração de outros modelos disponíveis que responderam incorretamente a uma pergunta específica, excluindo o modelo alvo. Este escore depende exclusivamente da dificuldade da pergunta e da composição do painel, não da resposta ou dos estados internos do modelo alvo.
2. Análise do Painel Principal (TriviaQA): O estudo audita respostas factuais curtas de 18 modelos de pesos abertos (17 retidos para análise). De 42.636 pares modelo–pergunta possíveis, 18.850 sobreviveram à extração. Os autores comparam um detector selecionado favoravelmente contra o baseline LOMO usando AUROC. Eles também empregam cross-fitting contínuo (LOMO polinomial) e controles exploratórios usando o texto da resposta regenerada para verificar a sobreposição entre os sinais do detector e o conteúdo da resposta.
3. Auditoria Prospectiva (Natural Questions): Uma auditoria separada, filtrada por consistência, foi realizada em 18 modelos (12 linhagens). Para garantir a robustez, apenas pares onde 10 amostras de respostas receberam o mesmo veredito de correção foram retidos. O estudo testou 24 medidas escalares (incluindo entropia e margens de probabilidade em 12 profundidades relativas) contra uma regra empírica pré-especificada: um tamanho de efeito de Cohen's $d \ge 0,5$ em cada modelo, direção consistente e significância estatística.
4. Controles de Escopo:
   • Decodificação: Comparações entre decodificação de amostragem (sampling) e greedy para determinar se as associações dependem da seleção aleatória de tokens.
   • Tipos de Erro: Análise de "erros compartilhados" (que ocorrem em $\ge 3$ famílias de modelos) versus "erros idiossincráticos" para testar se o agrupamento de erros correlaciona-se com a entropia.
   • Dependência de Tarefa: Avaliação através de Natural Questions (NQ), TriviaQA e BioASQ.

Principais Contribuições

1. Avaliação Operacional contra a Dificuldade do Painel: O artigo estabelece o LOMO como um baseline forte e independente do detector. Argumenta-se que alegações de informação preditiva específica do modelo devem demonstrar ganhos além deste baseline.
2. Auditoria Tecnicamente Validada: O estudo fornece uma auditoria rigorosa e pré-registrada de 24 leituras escalares em 18 modelos, exigindo a reconstrução exata da saída nativa e um efeito mínimo em cada modelo.
3. Controles de Escopo: A inclusão de controles de decodificação greedy, análise de erro compartilhado e comparações dependentes de tarefa para delimitar as condições sob as quais os achados se sustentam.

Resultados

• LOMO vs. Detectores: No painel principal, o baseline LOMO superou significativamente o detector isolado selecionado. A mediana do AUROC para o LOMO foi de 0,855 contra 0,784 para o detector. A diferença pareada mediana foi de +0,064, positiva em todos os 17 modelos ($p = 2,9 \times 10^{-4}$).
• Preditores Combinados: Embora o LOMO isoladamente tenha sido superior, adicionar recursos do detector (especificamente entropia e recursos mais amplos) ao LOMO proporcionou ganhos incrementais positivos, sugerindo um valor preditivo complementar.
• Entropia e Profundidade: Entre 24 medidas no audit de NQ, apenas a entropia da saída nativa (na camada final, $u_{11}$) atendeu ao critério empírico pré-especificado ($|d| \ge 0,5$ em todos os 18 modelos). Nenhuma medida de camadas anteriores passou.
  • O efeito médio da entropia da saída nativa foi $d = 1,0515$, com um mínimo de 0,6512.
  • A medida pré-saída mais próxima (entropia em $u_{10}$) teve um efeito mínimo de 0,1495, falhando no limiar.
• Sensibilidade à Dificuldade: Ao controlar a dificuldade da pergunta via estratificação, o efeito da entropia enfraqueceu. Apenas 16/18 modelos excederam o limiar de $d=0,5$ (ex: Mistral caiu para 0,102), indicando que o sinal é sensível à composição da amostra.
• Decodificação Greedy: A associação entre entropia e erro persistiu sob decodificação greedy, embora a magnitude varie. Isso sugere que o sinal não é meramente um artefato de amostragem da cauda da distribuição.
• Erros Compartilhados vs. Idiossincráticos: Erros compartilhados (agrupáveis por significado) exibiram menor entropia do primeiro token de conteúdo do que erros idiossincráticos em 17/17 modelos. Isso implica que, quando os modelos convergem para a mesma resposta errada, a incerteza é baixa, desafiando a noção de que a alta entropia é o único indicador de alucinação.
• Controles de Texto: Controles exploratórios usando texto regenerado sugeriram que grande parte do ganho aparente proveniente de detectores baseados em ativação sobrepõe-se à informação contida no próprio texto da resposta.

Significância e Alegações
O artigo conclui que os detectores de erro factual devem ser avaliados contra a dificuldade da pergunta do painel (LOMO) em vez de isoladamente. Os achados apoiam a entropia como um sinal de alerta para potenciais erros em populações selecionadas de respostas curtas, mas não como uma medida de verdade.

• Limitações da Entropia: A entropia mede a dispersão sobre os próximos tokens, não a correção. Um candidato errado dominante pode manter a entropia baixa, enquanto candidatos de superfície concorrentes podem elevar a entropia.
• Sem Mecanismo Universal: O estudo não estabelece um mecanismo causal compartilhado ou um limiar universal. O sucesso da entropia da saída nativa é específico para a população selecionada e filtrada por consistência.
• Alegações Modestas: Os autores afirmam explicitamente que seus achados dizem respeito às populações selecionadas e não se generalizam para geração de texto longo, sistemas de recuperação aumentada (RAG) ou tráfego de produção. A evidência apoia a medição cuidadosa da incerteza como um gatilho para verificação ou abstenção, mas a baixa entropia sozinha não pode justificar a confiança automática.

Em resumo, o artigo demonstra que, embora sinais internos simples como a entropia da saída possam correlacionar-se com erros, eles são fortemente confundidos pela dificuldade da pergunta e pelas propriedades do texto. O preditor mais robusto de erro factual neste estudo foi o desempenho coletivo de outros modelos na mesma pergunta, e não o estado interno do modelo alvo.