Do Benchmarks Underestimate LLM Performance? Evaluating Hallucination Detection With LLM-First Human-Adjudicated Assessment

Technische Samenvatting: Onderschatten Benchmarks de Prestaties van LLM's? Het Evalueren van Hallucinatiedetectie Met Eerst LLM-Menselijke Adjudicatie

Probleemstelling
Hallucinatie, gedefinieerd als het genereren van informatie die inconsistent is met de werkelijkheid of niet wordt ondersteund door de verstrekte bewijzen, blijft een kritieke uitdaging voor Large Language Models (LLM's), met name in Retrieval-Augmented Generation (RAG) en agentische systemen. Hoewel de bestaande literatuur vertrouwt op gestandaardiseerde benchmarks (bijv. QAGS-C, SummEval) met door mensen geannoteerde grondwaarheid om feitelijke consistentie te evalueren, betwijfelt deze studie de toereikendheid van deze vaste labels. Recent bewijs suggereert dat menselijke annotaties vaak systematische variatie vertonen en dat geavanceerde LLM's de huidige benchmarks kunnen overtreffen bij het detecteren van subtiele inconsistenties. Het kernprobleem dat wordt aangepakt, is of enkelvoudige menselijke annotaties voldoende zijn voor het evalueren van state-of-the-art LLM's, of dat de afhankelijkheid van potentieel ruisbehalende of ambiguïteit bevattende benchmarklabels leidt tot een onderschatting van modelprestaties.

Methodologie
De auteurs stellen een onenigheid-bewust, adjudicatie-gebaseerd evaluatiekader voor om hallucinatiedetectie in abstractive samenvattingstaken opnieuw te evalueren. De methodologie verloopt in drie hoofdfasen:

1. LLM-Inferentie: Twee state-of-the-art modellen, GPT-5 Mini en Gemini 2.5 Flash, kregen de opdracht document-samenvattingsparen uit de SummEval- en QAGS-C-datasets te evalueren. In tegenstelling tot standaard binaire classificatie kregen deze modellen de prompt om gestructureerde JSON-outputs te leveren die een gedetailleerde redenering en een specifiek tekstsegment bevatten dat de locatie van een hallucinatie aangeeft (of "geen" indien consistent).
2. Identificatie van Onenigheid: De studie identificeerde een subset van steekproeven waarbij de oorspronkelijke datasetlabels (afgeleid van expert- of crowdsourced annotaties) in conflict waren met de voorspellingen van de LLM's. Specifiek werden gevallen gemarkeerd waarin de twee LLM's het met elkaar eens waren maar het oneens met het menselijke label, of waar de LLM's en menselijke labels volledig in strijd waren.
3. Menselijke Adjudicatie: Een panel van twee menselijke adjudicators (cross-cultureel, blind voor elkaars beslissingen) evalueerde de conflicterende steekproeven opnieuw. Cruciaal kregen deze adjudicators het oorspronkelijke datasetlabel samen met de door de LLM gegenereerde redenen en span-gebaseerde bewijzen. Ze kregen de instructie om een definitieve beslissing te nemen op basis van alle beschikbare informatie, effectief optredend als "rechter" tussen de oorspronkelijke menselijke annotatie en het door de LLM onderbouwde bewijs. In gevallen van aanhoudende onenigheid tussen adjudicators werd een meerderheidsstemmingsschema gebruikt dat het oorspronkelijke label, beide LLM-voorspellingen en beide adjudicatorlabels omvatte om de uiteindelijke grondwaarheid vast te stellen.

Belangrijkste Resultaten
Het opnieuw evalueren leidde tot significante verschuivingen in prestatie-metrics en akkoordpercentages:

• Toegenomen Akkoord: Het percentage "drievoudig akkoord" (waarbij beide LLM's en het geadjudiceerde menselijke label overeenkomen) nam aanzienlijk toe. Voor QAGS-C steeg het drievoudige akkoord met 6,38% (van 82,55% naar 88,93%), en voor SummEval nam het toe met ongeveer 7,62% (van 84,75% naar ~92,37%).
• Verbeterde Modelnauwkeurigheid: Bij evaluatie tegen de nieuw geadjudiceerde grondwaarheid toonden beide LLM's een verbeterde nauwkeurigheid. De nauwkeurigheid van GPT-5 Mini steeg met 4,25% op QAGS-C en 2,34% op SummEval. Gemini 2.5 Flash liet grotere winsten zien, met een verbetering van 8,51% op QAGS-C en 3,80% op SummEval.
• Adjudicatorvoorkeur voor LLM-Bewijs: In conflicterende gevallen steunden menselijke adjudicators de LLM's vaak, vooral wanneer de modellen expliciete redenering en span-gebaseerd bewijs leverden. In conflicterende gevallen van QAGS-C keurden adjudicators hallucinatieve oordelen van de LLM goed in 82,93% van de gevallen; in SummEval was dit 73,00%.
• Herziene Hallucinatiepercentages: Het adjudicatieproces onthulde dat de oorspronkelijke benchmarks de prevalentie van hallucinaties onderschatten. Het hallucinatiepercentage in SummEval steeg van 18,4% naar 20,5%, en in QAGS-C steeg het van 51,9% naar 56,17%.

Betekenis en Claims
Het artikel betoogt dat voor taken die vatbaar zijn voor ambiguïteit, zoals hallucinatiedetectie, enkelvoudige annotaties mogelijk onvoldoende zijn en kunnen leiden tot een systematische onderschatting van de capaciteiten van LLM's. De studie beweert dat:

1. Beperkingen van Benchmarks: Vaste, benchmark-gebaseerde evaluaties beperkt zijn omdat ze menselijke annotaties behandelen als statische orakels, waarbij de systematische aard van annotatie-onenigheid en het potentieel van LLM's om door mensen gemiste inconsistenties te detecteren, worden genegeerd.
2. Waarde van Adjudicatie: Een adjudicatie-gebaseerd protocol dat door LLM gegenereerde redenering en span-niveau bewijs integreert, levert betrouwbaardere en semantisch onderbouwde benchmarks op. De aanwezigheid van expliciet bewijs (redenen en spans) beïnvloedt menselijke oordelen aanzienlijk, wat suggereert dat rijkere annotatieschema's ambiguïteit kunnen verminderen.
3. Generaliseerbaarheid: Hoewel de experimenten zich richtten op samenvattingen, stellen de auteurs dat dit fenomeen waarschijnlijk uitbreidt naar andere domeinen zoals vragen beantwoorden, RAG en agentische AI, waar fouten zich voortplanten via complexe redeneerstappen.
4. Toekomstige Richting: De bevindingen pleiten voor een verschuiving in evaluatieprotocollen naar iteratieve of model-ondersteunde her-evaluatie, waarbij men verder gaat dan binaire juistheid om ook kwaliteit van lokalisatie en de bruikbaarheid van span-niveau outputs te overwegen. De auteurs suggereren dat toekomstig werk zich moet richten op het ontwikkelen van fijnmazige datasets die zowel door LLM als door mensen gegenereerde annotaties met expliciete redenering bevatten.

Het artikel concludeert dat het behandelen van een enkelvoudige annotatiepass als definitief misleidend is voor genuanceerde natuurlijke taal-taken en dat het integreren van onenigheidsanalyse en door LLM ondersteunde adjudicatie een robuuster alternatief biedt voor het evalueren van feitelijke consistentie.