Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation

Technische Samenvatting: Evidence Lock Voor Commitment

Probleemstelling
Het artikel behandelt een specifieke workflow-aanname die veel voorkomt bij LLM-as-a-judge evaluaties: de aanname dat het extraheren van criteria en bewijsmateriaal in een tussenstap vóór het formuleren van een definitief oordeel voldoende informatie behoudt voor een latere, afzonderlijke beslissingsoproep. Hoewel gestructureerde evaluatiemethoden (bijv. het vragen om plannen of rationales vóór een score) worden gemotiveerd door de behoefte aan controleerbaarheid en robuustheid, gaan ze vaak uit van de veronderstelling dat een natuurlijke taalversie van het bewijsmateriaal een voldoende interface is om een oordeel te reproduceren. De auteur stelt vragen bij de vraag of het persistent maken van dit bewijsverslag en het dit tot de exclusieve input maken voor een definitieve beslissingsoproep — waardoor de toegang tot de oorspronkelijke bronantwoorden wordt weggenomen — de kwaliteit van de evaluatie verslechtert. Dit is met name relevant voor redeneerbare modellen waarbij de zichtbare outputvolgorde niet noodzakelijkerwijs de interne beslissingsvolgorde weerspiegelt.

Methodologie
De studie maakt gebruik van een gecontroleerde, repeated-measures evaluatie over 24.000 oordelen met behulp van twee redeneerbare propriëtaire judges (Claude Sonnet 4.5 en GPT-5) en drie datasets (HelpSteer3, FeedbackQA en CoVal). De onderzoekers vergelijken vier verschillende judging-protocollen:

1. Standard Pairwise Judging: De judge ziet de context en beide antwoorden (A en B) en geeft direct een oordeel af.
2. Structured One-Call Judging: De judge ziet de context en beide antwoorden, maar wordt geprompt om expliciet criteria en bewijs te genereren voordat er binnen dezelfde call een winnaar wordt gekozen.
3. Evidence Lock (Two-Call):
   • Call 1: De judge inspecteert de context en beide antwoorden, schrijft bewijs/criteria en legt het verslag vast zonder een winnaar te kiezen.
   • Call 2: De judge ziet alleen het vastgelegde bewijsverslag (geen originele context of antwoorden) en selecteert A, B of een gelijkspel.
4. Pointwise Lock (Three-Call):
   • Calls 1 & 2: Antwoorden A en B worden onafhankelijk geëvalueerd om bevroren beoordelingen te genereren.
   • Call 3: De judge vergelijkt deze twee bevroren beoordelingen om de winnaar te bepalen, zonder de oorspronkelijke antwoorden te zien.

De studie meet twee primaire uitkomsten:

• Preference Agreement: De nauwkeurigheid van het oordeel van de judge ten opzichte van vrijgegeven strikte menselijke voorkeurslabels (A/B), gemiddeld over beide presentatievolgordes van de antwoorden (AB en BA).
• Answer-Order Inconsistency: De frequentie waarmee het genormaliseerde oordeel verandert wanneer de presentatievolgorde van de kandidaten wordt omgedraaid.

Belangrijkste Bijdragen

1. Observable Intervention: Het artikel introduceert "Evidence Lock", een observeerbare interventie die het effect van het bevriezen van een intermediair verslag en het wegnemen van toegang tot de bron isoleert, zonder te vertrouwen op onverifieerbare claims over verborgen chain-of-thought volgordes.
2. Grootschalige Evaluatie: Een uitgebreide evaluatie bestaande uit 24.000 oordelen over twee modellen en drie diverse datasets, gebruikmakend van non-parametrische bootstrap-resampling voor statistische betrouwbaarheid.
3. Negatief Resultaat op Locked Interfaces: De studie levert consistent bewijs dat hoewel gestructureerde elicitatie (het vragen om bewijs in één call) effectief blijft, het omzetten van dat bewijs in een bevroren, exclusieve interface voor een daaropvolgende beslissingscall de prestaties aanzienlijk verslechtert.

Resultaten
De experimentele resultaten laten zien dat het "locken" van bewijs leidt tot een meetbare degradatie in de kwaliteit van de evaluatie vergeleken met structured one-call judging:

• Verminderde Preference Agreement: Evidence locking verminderde de overeenstemming met menselijke voorkeuren met 4 tot 6 procentpunten ten opzichte van structured one-call judging.
  • Claude Sonnet 4.5: Daalde van 76,0% (structured) naar 71,7% (evidence lock).
  • GPT-5: Daalde van 75,6% (structured) naar 70,0% (evidence lock).
  • Pointwise locking liet zelfs nog lagere overeenstemming zien (67,3% en 69,2%).
• Verhoogde Order Inconsistency: Locked protocollen vertoonden een significante toename in gevoeligheid voor de volgorde van de antwoorden.
  • Evidence locking verhoogde de inconsistentie met 8 tot 10 procentpunten ten opzichte van structured judging.
  • Voor Claude Sonnet 4.5 steeg de inconsistentie van 10,9% (structured) naar 18,9% (evidence lock).
• Computationele Kosten: Locked protocollen vereisen meer API-calls en tokens (bijv. 4.183 tokens voor evidence lock versus 1.864 voor structured judging voor Claude), terwijl ze slechtere resultaten opleveren.
• Generaliseerbaarheid: De negatieve effecten waren consistent over alle drie de datasets (HelpSteer3, FeedbackQA, CoVal) en beide judge-modellen.

Betekenis en Claims
De paper concludeert dat vastgelegde bewijsverslagen de bronantwoorden niet mogen vervangen op het moment van besluitvorming. De degradatie in prestaties treedt specifiek op wanneer het bewijsverslag de exclusieve interface wordt voor het definitieve oordeel, en niet enkel wanneer er om bewijs wordt gevraagd.

• Informatiestroom: De auteur voert aan dat dit een "informatie-flow effect" is. Verslagen in natuurlijke taal kunnen onderscheid, nuances of trade-offs weglaten of comprimeren, of een framing behouden die afhankelijk is van de oorspronkelijke presentatievolgorde. Zodra de definitieve beslissingscall de toegang tot de bronantwoorden verliest, kan deze de fouten of framing-keuzes die in het verslag zijn gemaakt, niet meer corrigeren.
• Auditability vs. Decision Making: Hoewel vastgelegd bewijs de controleerbaarheid, logging en modulariteit ondersteunt, is de praktische les dat het verslag de beslissing moet ondersteunen in plaats van het originele paar te vervangen. Een definitieve judge zou idealiter zowel het artefact als de bronantwoorden moeten inspecteren.
• Bescheidenheid van Claims: De auteur stelt expliciet dat "Evidence Lock" een gebundelde interventie is (combinatie van fase-scheiding, een extra call, het bevriezen van het record en het verwijderen van de bron). Daarom is de specifieke component die verantwoordelijk is voor de degradatie (bijv. het bevriezen versus het wegnemen van de toegang tot de bron) niet uniek geïdentificeerd, hoewel de "information-bottleneck" verklaring een plausibele interpretatie is. De studie claimt niet de verborgen redeneermechanismen te hebben bewezen, maar demonstreert wel de observeerbare gevolgen van het beperken van de inputdata.