Technische Samenvatting: Beoordelen tegen de Referentie

Probleemstelling

Het artikel behandelt een kritieke, onderbelichte foutmodus in het "LLM-als-een-rechter"-paradigma voor Question Answering (QA) evaluatie. Hoewel Large Language Models (LLM's) steeds vaker worden gebruikt om kandidaat-antwoorden automatisch te beoordelen tegenover een verstrekt referentieantwoord (gouden standaard), is hun vermogen om zich strikt aan die referentie te houden wanneer deze botst met de interne parametrische kennis van het model, slecht begrepen. De auteurs identificeren dat wanneer een verstrekt referentieantwoord opzettelijk wordt vervangen door een onjuist entiteit die in strijd is met de interne overtuigingen van de rechter, de rechter de verstrekte referentie vaak negeert. In plaats van het kandidaat-antwoord te evalueren op basis van de gegeven instructie en referentie, keert de rechter terug naar zijn eigen parametrische kennis, wat leidt tot onbetrouwbare scores en een gedegradeerde evaluatiegetrouwheid. Dit probleem is bijzonder relevant omdat feitelijke kennis evolueert en datasets opzettelijk tegenfeitelijke doelwitten kunnen bevatten die afwijken van de trainingsdata van een model.

Methodologie

Om dit fenomeen systematisch te onderzoeken, introduceren de auteurs een Swapped-Reference QA Evaluatie Framework. Dit framework construeert gecontroleerde evaluatie-instanties om conflicten tussen de verstrekte referentie en de interne kennis van de rechter op te weijden.

1. Dataset Constructie: De auteurs hebben vier bestaande QA-datasets gecureerd (NaturalQuestions-Open, PopQA, SciQ en FreshQA). Ze pasten Named Entity Recognition (NER) toe om entiteiten in referentieantwoorden te identificeren en voerden vervolgens Reference Swapping uit met verschillende strategieën:

   • Random Swap (RS): Het vervangen van de originele referentie door een andere entiteit van hetzelfde type uit de dataset (bijv. het vervangen van de ene persoon door een andere).
   • Plausible Swap (PS): Het vervangen van de referentie door een plausibel maar onjuist antwoord gegenereerd door een sterk model (GPT-5).
   • Popularity-High/Low Swap: Het vervangen van referenties door entiteiten met variërende populariteit van Wikipedia-paginaweergaven om het effect van kennissterkte te testen.
   • Evaluator-Knowledge Swap: Het vervangen van de referentie door het specifieke antwoord dat het rechtermodel zelf zou genereren, waardoor een scenario ontstaat waarin de gewikkelde referentie perfect overeenkomt met de interne overtuiging van de rechter.

2. Kandidaat Generatie: Voor elke gewikkelde referentie genereert het framework bijbehorende langvormige kandidaat-antwoorden die overeenkomen met de gewikkelde referentie, evenals kandidaten die overeenkomen met de originele referentie.

3. Meta-Evaluatie: De studie evalueert 13 verschillende LLM-rechters (inclusief de GPT-4o, GPT-5, Llama-3 en Qwen-3 families) over deze datasets. De kernmetriek is de Reference-Polarity Accuracy Gap (RPAG), gedefinieerd als het verschil in nauwkeurigheid tussen de originele referentie-instelling ($ACC_o$) en de gewikkelde referentie-instelling ($ACC_s$). Een hoge RPAG geeft aan dat de prestaties van de rechter aanzienlijk verslechteren wanneer de referentie wordt gewisseld, wat wijst op een falen om te conditioneren op de verstrekte tekst.

4. Mitigatie Analyse: De auteurs testten of veelvoorkomende prompting-strategieën — Directe instructies, In-Context Learning (ICL), Chain-of-Thought (CoT) en CoT met Self-Consistency — deze kwetsbaarheid konden verzachten.

Belangrijkste Bevindingen

• Wijdverbreide Kwetsbaarheid: Over alle 13 rechtermodellen en vier datasets heen, veroorzaakte het wisselen van het referentieantwoord een scherpe daling in de betrouwbaarheid van de beoordeling. Zelfs sterke modellen zoals GPT-4o en GPT-5 vertoonden een significante degradatie in nauwkeurigheid (bijv. dalingen van 30–50% in Random Swap scenario's).
• Overmatige Afhankelijkheid van Parametrische Kennis: Het falen wordt gedreven door de overmatige afhankelijkheid van de rechter van interne overtuigingen. Wanneer de gewikkelde referentie overeenkomt met de parametrische kennis van de rechter (Evaluator-Knowledge Swap), verdwijnt de kwetsbaarheid (RPAG nadert nul). Omgekeerd, wanneer de gewikkelde referentie botst met sterke interne overtuigingen, negeert de rechter de verstrekte referentie.
• Kennissterkte en Populariteit: Kwetsbaarheid correleert met de sterkte van de conflicterende kennis. Wisselingen waarbij hoogpopulaire entiteiten (sterke priors) betrokken zijn, veroorzaken grotere nauwkeurigheidsdalingen dan wisselingen met obscure entiteiten. Evenzo vertonen vragen die gaan over stabiele, langdurige feiten een hogere kwetsbaarheid dan vragen over snel veranderende of tijdgevoelige kennis.
• Schalen Helpt Niet: Het vergroten van de modelcapaciteit (bijv. van 8B naar 70B parameters) mitigeert het probleem niet; in sommige gevallen vertoonden grotere modellen zelfs een grotere kwetsbaarheid, wat suggereert dat verhoogde capaciteit de afhankelijkheid van interne wereldkennis versterkt in plaats van de naleving van externe instructies te verbeteren.
• Beperkingen van Prompting: Veelvoorkomende mitigatiestrategieën, inclusief gedetailleerde instructies en Chain-of-Thought prompting, slaagden er niet in het probleem op te lossen. Opvallend genoeg verhoogde CoT-prompting soms de kwetsbaarheid onder hoge-conflict condities (Random Swap), aangezien het redeneerproces de neiging had de afhankelijkheid van de rechter van zijn eigen parametrische overtuigingen te versterken om de verstrekte referentie te overrulen.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. Identificatie van een Kritieke Foutmodus: Het legt bloot dat LLM-rechters vaak de evaluatie-instructies negeren wanneer het referentieantwoord in strijd is met hun parametrische kennis, een fundamentele beperking in referentie-geconditioneerde evaluatie.
2. Systematisch Framework: Het introduceert een gecontroleerd swapped-reference QA evaluatie framework dat een fijnmazige analyse mogelijk maakt van de getrouwheid van de rechter over datasets, swap-types en kennis-alignementen heen.
3. Diagnostische Inzichten: Het identificeert dat de kernoorzaak een onvermogen is om kennisconflicten in het voordeel van de verstrekte referentie op te lossen, en dat standaard promptingtechnieken slechts beperkte verlichting bieden.

De auteurs concluderen dat deze bevindingen wijzen op een fundamenteel risico in het LLM-als-een-rechter-paradigma. Het onvermogen om verstrekte referenties betrouwbaar te volgen wanneer deze conflicteren met interne kennis suggereert dat huidige evaluatieprotocollen gebrekkig kunnen zijn wanneer ze worden toegepast op taken die te maken hebben met evoluerende feiten of tegenfeitelijke scenario's. Het artikel motiveert de ontwikkeling van nieuwe protocollen en trainingsmethoden die een sterkere naleving van verstrekte referenties kunnen afdwingen, in plaats van te vertrouwen op de interne priors van het model.

Noot: Het artikel stelt expliciet dat het geen concrete mitigatiestrategie voorstelt, maar zich richt op het diagnosticeren van de foutmodus. Het beperkt ook de scope tot QA-evaluatie, waarbij wordt opgemerkt dat de bevindingen niet direct generaliseerbaar zijn naar andere referentie-geconditioneerde taken zoals samenvatting of dialoogevaluatie zonder verder onderzoek.