Do Benchmarks Underestimate LLM Performance? Evaluating Hallucination Detection With LLM-First Human-Adjudicated Assessment

Resumo Técnico: Os Benchmarks Subestimam o Desempenho de LLMs? Avaliação da Detecção de Alucinações com Julgamento Humano Prioritizado por LLM

Declaração do Problema
A alucinação, definida como a geração de informações inconsistentes com a realidade ou não apoiadas por evidências fornecidas, permanece um desafio crítico para Modelos de Linguagem de Grande Porte (LLMs), particularmente em Sistemas de Geração Aumentada por Recuperação (RAG) e sistemas agênticos. Embora a literatura existente dependa de benchmarks padronizados (por exemplo, QAGS-C, SummEval) com dados de verdade fundamental anotados por humanos para avaliar a consistência factual, este estudo questiona a adequação desses rótulos fixos. Evidências recentes sugerem que as anotações humanas frequentemente exibem variação sistemática e que LLMs de ponta podem superar os benchmarks atuais na detecção de inconsistências sutis. O problema central abordado é se anotações humanas de passagem única são suficientes para avaliar LLMs de última geração, ou se a dependência de rótulos de benchmark potencialmente ruidosos ou ambíguos leva a uma subestimação do desempenho do modelo.

Metodologia
Os autores propõem um framework de avaliação baseado em adjudicação, consciente de discordâncias, para reavaliar a detecção de alucinações em tarefas de sumarização abstrativa. A metodologia prossegue em três etapas principais:

1. Inferência de LLM: Dois modelos de última geração, GPT-5 Mini e Gemini 2.5 Flash, foram encarregados de avaliar pares documento-resumo dos conjuntos de dados SummEval e QAGS-C. Diferentemente da classificação binária padrão, esses modelos foram instruídos a fornecer saídas JSON estruturadas contendo uma justificação detalhada de raciocínio e um trecho de texto específico indicando a localização de qualquer alucinação (ou "nenhuma" se consistente).
2. Identificação de Discordância: O estudo identificou um subconjunto de amostras onde os rótulos originais do conjunto de dados (derivados de anotações de especialistas/plateia) entraram em conflito com as previsões dos LLMs. Especificamente, casos onde os dois LLMs concordaram entre si, mas discordaram do rótulo humano, ou onde os LLMs e os rótulos humanos estavam em total desacordo, foram sinalizados.
3. Adjudicação Humana: Um painel de dois adjudicadores humanos (transculturais, cegos para as decisões um do outro) reavaliou as amostras conflitantes. Crucialmente, esses adjudicadores receberam o rótulo do conjunto de dados original juntamente com as razões geradas pelo LLM e evidências baseadas em trechos. Eles foram instruídos a fazer uma determinação final com base em todas as informações disponíveis, atuando efetivamente como um "juiz" entre a anotação humana original e a alegação fundamentada em evidências do LLM. Em casos de discordância persistente entre adjudicadores, um esquema de votação majoritária envolvendo o rótulo original, ambas as previsões do LLM e ambos os rótulos dos adjudicadores foi utilizado para resolver a verdade fundamental final.

Principais Resultados
O processo de reavaliação produziu mudanças significativas nas métricas de desempenho e nas taxas de concordância:

• Aumento da Concordância: A taxa de "concordância tripla" (onde ambos os LLMs e o rótulo humano adjudicado estão alinhados) aumentou substancialmente. Para o QAGS-C, a concordância tripla aumentou 6,38% (de 82,55% para 88,93%), e para o SummEval, aumentou aproximadamente 7,62% (de 84,75% para ~92,37%).
• Melhoria na Precisão do Modelo: Quando avaliados contra a nova verdade fundamental adjudicada, ambos os LLMs mostraram precisão aprimorada. A precisão do GPT-5 Mini aumentou 4,25% no QAGS-C e 2,34% no SummEval. O Gemini 2.5 Flash mostrou ganhos maiores, melhorando 8,51% no QAGS-C e 3,80% no SummEval.
• Preferência dos Adjudicadores por Evidências de LLM: Em casos de conflito, os adjudicadores humanos frequentemente apoiaram os LLMs, particularmente quando os modelos forneceram raciocínio explícito e evidências baseadas em trechos. Nos casos de conflito do QAGS-C, os adjudicadores endossaram os julgamentos de alucinação do LLM em 82,93% das vezes; no SummEval, isso foi de 73,00%.
• Taxas de Alucinação Revisadas: O processo de adjudicação revelou que os benchmarks originais subestimaram a prevalência de alucinações. A taxa de alucinação no SummEval aumentou de 18,4% para 20,5%, e no QAGS-C, subiu de 51,9% para 56,17%.

Significado e Alegações
O artigo argumenta que, para tarefas propensas a ambiguidade como a detecção de alucinações, anotações de passagem única podem ser insuficientes e podem levar à subestimação sistemática das capacidades dos LLMs. O estudo alega que:

1. Limitações dos Benchmarks: Avaliações baseadas em benchmarks fixos são limitadas porque tratam as anotações humanas como oráculos estáticos, ignorando a natureza sistemática da discordância de anotação e o potencial dos LLMs de detectar inconsistências não percebidas por humanos.
2. Valor da Adjudicação: Um protocolo baseado em adjudicação que incorpora raciocínio gerado por LLM e evidências em nível de trecho produz benchmarks mais confiáveis e semanticamente fundamentados. A presença de evidências explícitas (razões e trechos) influencia significativamente o julgamento humano, sugerindo que esquemas de anotação mais ricos poderiam reduzir a ambiguidade.
3. Generalizabilidade: Embora os experimentos se concentrassem em sumarização, os autores postulam que esse fenômeno provavelmente se estende a outros domínios, como resposta a perguntas, RAG e IA agêntica, onde erros se propagam através de etapas complexas de raciocínio.
4. Direção Futura: As descobertas defendem uma mudança nos protocolos de avaliação em direção a reavaliações iterativas ou assistidas por modelo, indo além da correção binária para considerar a qualidade de localização e a utilidade de saídas em nível de trecho. Os autores sugerem que trabalhos futuros devem focar no desenvolvimento de conjuntos de dados granulares que incluam tanto anotações geradas por LLM quanto por humanos com raciocínio explícito.

O artigo conclui que tratar uma única passagem de anotação como definitiva é enganoso para tarefas de linguagem natural sutis e que integrar análise de discordância e adjudicação assistida por LLM oferece uma alternativa mais robusta para avaliar a consistência factual.