ReFACT: A Benchmark for Scientific Confabulation Detection with Positional Error Annotations

1. O Problema: Confabulação Científica em LLMs

Os Grandes Modelos de Linguagem (LLMs) demonstram fluência impressionante, mas permanecem vulneráveis à confabulação científica: a geração de conteúdo que soa plausível para não especialistas, mas é factualmente incorreto. Diferente de erros óbvios, a desinformação científica é sutil, utiliza linguagem específica de domínio e requer conhecimento especializado para ser detectada (ex: descrever a replicação de DNA usando mecanismos de RNA).

O problema central abordado é a falta de benchmarks robustos para avaliar a capacidade dos modelos de detectar, localizar e corrigir essas confabulações em textos científicos de longo alcance. Além disso, há uma dependência crítica de paradigmas "LLM como Juiz" (onde um LLM avalia outro), cuja confiabilidade em contextos científicos não foi suficientemente questionada.

2. Metodologia: Criação do Benchmark ReFACT

Os autores introduzem o ReFACT (Reddit False And Correct Texts), um benchmark construído a partir de dados reais e validados por humanos, diferindo de benchmarks sintéticos comuns.

• Fonte de Dados: O dataset é derivado do subreddit r/AskScience do Reddit, uma comunidade com mais de 23 milhões de membros e padrões rigorosos de moderação. Foram selecionadas perguntas e respostas de alta qualidade (top-rated) para garantir uma base factual verificável.
• Geração de Confabulações: Em vez de gerar erros aleatórios, os autores aplicaram duas estratégias de transformação sistemática em respostas originais:
  1. Negação: Reversão lógica de afirmações factuais (ex: "há uma pequena chance" $\rightarrow$ "não há chance").
  2. Substituição de Entidades: Troca de termos técnicos ou entidades específicas por outros plausíveis, mas incorretos (ex: "DNA" $\rightarrow$ "RNA"). Um classificador NLI foi usado para garantir que as substituições não fossem meros sinônimos, mas erros semânticos distintos.
• Validação Humana: Um pipeline rigoroso com múltiplos anotadores garantiu que as respostas corrompidas fossem coerentes, contextualmente plausíveis, mas factualmente erradas. O dataset final contém 1.001 pares pergunta-resposta com anotações de nível de span (trecho) para os erros.
• Tarefas de Avaliação: O benchmark avalia três capacidades:
  1. Julgamento: Detecção binária da presença de confabulação.
  2. Localização: Identificação precisa do trecho (span) que contém o erro.
  3. Correção: Geração da entidade ou frase correta para substituir o erro.

3. Principais Contribuições

• Primeiro Benchmark de Confabulação Científica Granular: ReFACT é o primeiro a oferecer anotações de nível de span e tipos de erro em textos científicos de longo alcance, cobrindo 10 domínios científicos.
• Pipeline de Verificação Humana: Combina corrupção assistida por LLM com verificação humana rigorosa para criar dados de alta qualidade, superando as limitações de dados puramente sintéticos.
• Descoberta do Fenômeno "Salient Distractor" (Distração Saliente): Identificação de um modo de falha dominante onde os modelos focam em termos contextualmente salientes (termos técnicos, entidades nomeadas) em vez dos erros factuais reais.
• Desafio ao Paradigma "LLM como Juiz": Evidência empírica de que a comparação lado a lado (comparative judgment) é paradoxalmente mais difícil para os modelos do que a detecção independente.

4. Resultados e Análise

Os autores avaliaram 9 modelos de última geração (incluindo Gemma-3, Llama-3 e GPT-4o) e encontraram limitações críticas:

• Falha de Grounding Semântico (Salient Distractor):

  • 61% das previsões incorretas de localização de erros são semanticamente desconectadas do erro real. Os modelos apontam para termos que "soam científicos" (ex: destacar "RNA" quando o erro está em "DNA", ou focar em palavras-chave genéricas) em vez de identificar a contradição factual.
  • Invariância à Escala: Esse padrão persiste em modelos de 1B a 70B de parâmetros. Modelos maiores apenas se tornam melhores em escolher "distratores científicos", mas não melhoram na discriminação factual.
  • Falha de Prompting: Estratégias avançadas como Chain-of-Thought (CoT) ou Few-Shot não mitigaram o problema; em alguns casos, o desempenho piorou, sugerindo que a raiz do problema é a representação fundamental da verdade científica, não a falta de instrução.

• Dificuldade Paradoxal do Julgamento Comparativo:

  • Contrariando a intuição, julgar qual de duas respostas é correta (Comparative Judgment) é mais difícil do que julgar uma única resposta (Independent Judgment).
  • O GPT-4o, o modelo mais capaz, viu sua pontuação F1 cair de 0,67 (independente) para 0,53 (comparativo). Isso indica que, quando ambas as respostas são plausíveis, os modelos falham em discernir a sutil diferença factual.

• Desempenho por Tarefa:

  • Localização: Os modelos têm muita dificuldade em localizar erros de substituição de entidades (acurácia de ~0,47 para o GPT-4o), enquanto performam melhor em negações sintáticas.
  • Correção: É a tarefa mais difícil. Mesmo o GPT-4o atingiu apenas 0,28 de acurácia na correção exata (Exact Match). Métricas de similaridade semântica (como BERTScore) foram consideradas inadequadas, pois penalizam pouco erros factuais que mantêm a fluência.

5. Significado e Conclusão

O estudo do ReFACT desafia diretamente a eficácia dos LLMs como Juízes para avaliação de facticidade científica. Se os melhores modelos (como o GPT-4o) não conseguem consistentemente detectar ou localizar erros sutis em textos científicos, e se o julgamento comparativo degrada o desempenho, então os benchmarks atuais que dependem de LLMs para avaliar outros sistemas podem estar produzindo resultados não confiáveis.

Conclusão Principal: O aumento da escala dos modelos (scaling) sozinho não resolve o déficit de grounding semântico necessário para a facticidade científica. O campo precisa de novas abordagens, como treinamento contrastivo com negativos difíceis e mecanismos explícitos de ancoragem de entidades, para superar a tendência dos modelos de se fixarem em distrações salientes em vez de fatos.

O código e os dados do ReFACT estão disponíveis publicamente para fomentar pesquisas futuras na detecção e mitigação de alucinações científicas.