LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation

Dit artikel introduceert een "Judge Datasheet"-protocol dat LLM-als-rechter-systemen behandelt als meetinstrumenten in plaats van eenvoudige score-instrumenten, waarbij een psychometrisch kader wordt voorgesteld om specifieke biases zoals "dark current" en positionele voorkeur te kwantificeren om betrouwbare evaluatie te waarborgen voordat er downstream claims worden gemaakt.

De kern

Stel je voor dat je een team van kunstcritici inhuurt om een schilderijwedstrijd te beoordelen. Je wilt weten wie de beste kunstenaar is, dus vraag je deze critici om twee schilderijen te vergelijken en te zeggen welke beter is.

Dit artikel betoogt dat we deze "AI-critici" (LLM-rechters) te simpel behandelen. Meestal vragen we ze alleen maar: "Wie heeft er gewonnen?" en rapporteren we één enkel getal, zoals "90% nauwkeurigheid". De auteurs zeggen dat dit is alsof je een thermometer koopt zonder te controleren of hij kapot is, of hij reageert op de wind, of dat hij een temperatuurafwijking geeft wanneer er helemaal geen warmte is.

Hier is de kernboodschap van het artikel, onderverdeeld met eenvoudige analogieën:

1. Het "Dark Current"-probleem (Het fantoomsignaal)

In de natuurkunde is "dark current" (donkerstroom) wanneer een elektronische sensor een meting geeft, zelfs wanneer er absoluut geen licht op valt.

• De bevinding van het artikel: De auteurs testten AI-rechters door ze twee identieke antwoorden (of zelfs lege antwoorden) te geven. Een goede rechter zou moeten zeggen: "Deze zijn hetzelfde, ik kan geen winnaar aanwijzen."
• De realiteit: Sommige rechters (zoals het Llama-3.1-8B model) bleven toch een winnaar aanwijzen, zelfs toen de antwoorden identiek waren. Ze "hallucineerden" een voorkeur waar die niet bestond. Dit is hun "Dark Current".

2. De "Position Bias" (De stoelvoorkeur)

Stel je een rechter voor die altijd de persoon kiest die in de linkerstoel zit, ongeacht wie er daadwerkelijk zit.

• De bevinding van het artikel: De auteurs testten dit door de volgorde van de antwoorden om te draaien. Als de rechter "Antwoord A" kiest wanneer het als eerste wordt gepresenteerd, maar dan "Antwoord B" kiest (wat eigenlijk ook A is) wanneer dat als eerste wordt gepresenteerd, dan beoordelen ze niet de inhoud; ze kiezen gewoon een stoel.
• De realiteit: Eén van de rechters (Llama-3.1-8B) werd bijna volledig gedreven door deze "stoelvoorkeur". Het gaf niet om de kwaliteit; het wilde gewoon de eerste optie kiezen.

3. De "Datasheet" (De identiteitskaart voor rechters)

Net zoals je geen auto zou kopen zonder een specificatieblad dat je vertelt wat het vermogen, het brandstofverbruik en de veiligheidsclassificatie is, zeggen de auteurs dat we een AI-rechter niet moeten gebruiken zonder een "Judge Datasheet".

Deze datasheet meet vijf specifieke zaken:

• Dark Current: Verzonnen het antwoorden wanneer er geen signaal is?
• Stable Sensitivity: Herkent het consistent echte verschillen in kwaliteit?
• Positional Bias: Bedriegt het door de eerste optie te kiezen?
• Target Sensitivity: Kan het het verschil zien tussen een "goed" antwoord en een "geweldig" antwoord?
• De "Tie"-knop: Hoe streng is het bij het uitroepen van een gelijkspel?

4. De Drie Rechters (De Casestudy)

De auteurs testten drie verschillende AI-modellen om te zien hoe hun "Datasheets" eruit zagen:

• Rechter A (Llama-3.1-8B): Deze rechter is kapot. Het heeft een hoge "Dark Current" (het wijst winnaars aan zelfs als antwoorden identiek zijn) en wordt bijna volledig gedreven door "Position Bias" (het kiest de eerste positie). Het is nutteloos voor het vergelijken van antwoorden van vergelijkbare kwaliteit, hoewel het misschien wel oké is voor het opsporen van overduidelijke fouten.
• Rechter B (Qwen2.5-14B): Deze rechter is gemengd. Het heeft geen "Dark Current" (het blijft stil als er geen signaal is), en het is erg goed in het herkennen van grote kwaliteitsverschillen. Echter, wanneer de antwoorden zeer vergelijkbaar zijn, raakt het in de war: soms kiest het op basis van echte kwaliteit, en soms kiest het simpelweg op basis van de volgorde waarin ze werden getoond.
• Rechter C (Qwen2.5-32B): Dit is de schoonste rechter. Het heeft geen "Dark Current", geen "Position Bias", en het is erg goed in het herkennen van echte kwaliteitsverschillen. Het is echter een beetje "conservatief" — het geeft de voorkeur aan het zeggen van "Het is een gelijkspel" in plaats van te gokken wanneer het verschil heel klein is.

5. Het "Strict Tie"-experiment

De auteurs probeerden een trucje: ze zeiden tegen de "schoonste" rechter (Qwen2.5-32B): "Wees strenger! Kies alleen een winnaar als je 100% zeker bent. Anders, noem het een gelijkspel."

• Het resultaat: Dit stopte de rechter succesvol in het verzinnen van voorkeuren wanneer antwoorden identiek waren.
• De keerzijde: Het zorgde er ook voor dat de rechter echte, maar zeer kleine verschillen miste. Het veranderde "Ik denk dat deze iets beter is" in "Ik weet het niet zeker, het is een gelijkspel".
• De les: Je kunt de "strengheid" (het criterium) van de rechter veranderen door de instructies aan te passen, maar je kunt de rechter niet magisch slimmer of gevoeliger maken door simpelweg vriendelijk te vragen.

De Kernconclusie

Het artikel beweert niet dat een van deze rechters de "beste" is voor alle menselijke taken, noch bewijst het een specifieke theorie over hoe AI werkt.

In plaats daarvan beweert het dat voordat we een AI vertrouwen om andere AI's te beoordelen, we eerst de rechter zelf moeten meten. We moeten weten of het "Dark Current" heeft, of het beïnvloed wordt door de positie, en hoe streng het is. Zonder deze "Datasheet" is elke score die we van een AI-rechter krijgen slechts een getal zonder context, dat potentieel ernstige gebreken verbergt.

Technische samenvatting

Technische Samenvatting: LLM-rechters hebben een donkerstroom

Probleemstelling

Het paper behandelt een kritieke lacune in de evaluatie-infrastructuur van Large Language Models (LLM's). Hoewel "LLM-als-rechter"-systemen de praktische standaard zijn geworden voor het vergelijken van open eind resultaten van modellen vanwege de kosten en reproduceerbaarheidsproblemen van menselijke annotatie, worden deze rechters momenteel louter als scorende apparaten behandeld. Ze worden doorgaans gerapporteerd met scalaire metrieken zoals nauwkeurigheid, winstpercentage (win-rate) of overeenstemming.

De auteurs stellen dat zodra een rechter wordt gebruikt om een ander systeem te valideren, het functioneert als een meetinstrument. Net als elk fysiek instrument bezit het intrinsieke eigenschappen die gekarakteriseerd moeten worden voordat de aflezingen ervan vertrouwd kunnen worden. Specifiek kunnen rechters de volgende eigenschappen vertonen:

• Donkerstroom (Dark Current): Valse voorkeuren gegenereerd in de afwezigheid van enig evaluatiesignaal (bijv. bij lege of identieke inputs).
• Positionele Bias: Voorkeuren gedreven door de presentatievolgorde in plaats van de inhoud.
• Kruisgevoeligheid (Cross-Sensitivity): Gevoeligheid voor hinderlijke variaties (oppervlaktevorm) in plaats van de doelconstruct.
• Criteriumdrift (Criterion Drift): Variaties in het werkpunt (gelijkheid versus voorkeur) veroorzaakt door prompting.

Het paper stelt dat het rapporteren van enkel scalaire uitkomsten deze onderscheidende faalmodi verbergt, wat potentieel kan leiden tot ongeldige downstream wetenschappelijke claims.

Methodologie: Het Judge Datasheet Protocol

Om dit aan te pakken, introduceren de auteurs een Judge Datasheet protocol, een metrologisch kader ontworpen om de rechter zelf te meten voordat deze wordt gebruikt om andere modellen te meten. Het protocol is geworteld in de psychofysica en de Signaaldetectietheorie (SDT), gebruikmakend van een constructief gecontroleerde stimulusladder.

Kerncomponenten

1. True-Vacuum Inputs (A0): Het protocol test de rechter op inputs zonder evaluatiesignaal, inclus�ndat lege strings, witruimte en identieke niet-lege paren. Dit meet de Donkerstroom (DC), gedefinieerd als de snelheid van valse voorkeur wanneer geen signaal aanwezig is.
2. Gecontroleerde Kwaliteitsladder (A1): Een prefix-chain checklist stimulus wordt geconstrueerd waarbij kwalitatief hogere responsen strikte supersets zijn van kwalitatief lagere responsen. Dit creëert een Pareto-dominante ladder van kwaliteitsverschillen ($\Delta Q$) om de Doelgevoeligheid (Target Sensitivity) te meten.
3. Richting-Stabiliteit Decompositie ($\Delta 0$): Voor paren van gelijke kwaliteit evalueert het protocol zowel de presentatievolgordes (A, B) als (B, A). Het deelt de ruwe valse voorkeur op in:
   • Stabiele Kruisgevoeligheid (SCS): Inhoud-stabiele voorkeuren die standhouden ongeacht de volgorde (indicatief voor gevoeligheid voor de oppervlaktevorm).
   • Positionele Valse Voorkeur (PFP): Voorkeuren gedreven door de presentatieslot (bijv. altijd slot 1 kiezen), die de canonieke inhoudelijke richting omkeren bij een omkering van de volgorde.
   • Eenzijdige Commitment (OSC): Casussen waar een voorkeur wordt gemaakt in slechts één volgorde.
   • Geen-Voorkeur: Geldige gelijkheden of onthoudingen.
4. Criteriumverschuivings-probes (Criterion Shift Probing): Het protocol test hoe het veranderen van de prompt (bijv. het afdwingen van een "strikte gelijkheid"-criterium) het werkpunt verschuift zonder de onderliggende stimulusresolutie te veranderen.

Metrieken

Het protocol rapporteert specifieke grootheden, waaronder Donkerstroom, Ruwe $\Delta 0$ Valse Voorkeur, Stabiele Kruisgevoeligheid, Positionele Valse Voorkeur, Doelgevoeligheid ($P_{correct}$), Detectiedrempel ($\Delta^*_{75}$) en Miss-by-Tie ratio's.

Belangrijkste Bijdragen

Het paper levert vijf specifieke bijdragen:

1. Judge Datasheet Protocol: Een gestandaardiseerd meetkader dat true-vacuum testen, gecontroleerde kwaliteitsladders en criteriumverschuivings-probing combineert.
2. Richting-Stabiliteit Decompositie: Een methode om ruwe valse voorkeur bij gelijke kwaliteit te scheiden in stabiele kruisgevoeligheid, positionele bias en eenzijdige commitments, wat onthult dat een hoge valse voorkeur niet noodzakelijkerwijs een stabiele inhoudelijke gevoeligheid impliceert.
3. Gecontroleerde Stimulusladder: Een prefix-chain checklist ontwerp met Pareto-dominantie en specifieke controles voor $\Delta 0$ gelijke-subset en verschillende-subset varianten.
4. Drie-Rechter Casestudy: Een empirische evaluatie van Llama-3.1-8B, Qwen2.5-14B en Qwen2.5-32B, die uiteenlopende metrologische profielen aantoont.
5. Criteriumverschuivings-bewijs: Demonstratie dat prompting het tie/voorkeur-criterium kan verplaatsen (het verminderen van valse positieven) maar de resolutie van de meting niet verhoogt (het kan geen signalen detecteren onder de inherente ruisvloer van het instrument).

Resultaten

De casestudy onthult dat de drie rechters fundamenteel verschillende metrologische profielen bezitten, die verborgen zouden blijven bij scalaire rapportage:

• Llama-3.1-8B: Vertoont een hoge Donkerstroom (0.667) en een ruwe $\Delta 0$ valse voorkeur van 1.0. De Stabiele Kruisgevoeligheid is echter verwaarloosbaar (0.033), terwijl de Positionele Valse Voorkeur extreem hoog is (0.967). Het wordt gekarakteriseerd als "Presentatie-geconflicteerd", wat het ongeschikt maakt voor vergelijkingen van gelijke kwaliteit, maar potentieel nuttig voor pipeline-debugging.
• Qwen2.5-14B: Toont nul Donkerstroom en een hoge doelgevoeligheid. De ruwe $\Delta 0$ valse voorkeur (0.992) is echter een mix van Stabiele Kruisgevoeligheid (0.45) en Positionele Valse Voorkeur (0.53). Het wordt gelabeld als "Gemengd stabiel-positioneel".
• Qwen2.5-32B: Demonstreert het schoonste profiel met nul Donkerstroom, nul Stabiele Kruisgevoeligheid en een lage Positionele Valse Voorkeur (0.083). Het wordt beschreven als "Vacuüm-schoon" met weinig artefacten.
• Criteriumverschuiving: Het toepassen van een strikte tie-prompt op Qwen-32B elimineerde de $\Delta 0$ valse voorkeur (reductie naar 0.0), maar absorbeerde marginale $\Delta 1$ doelsignalen in de ties. Cruciaal was dat de $\Delta 5$ gevoeligheid behouden bleef en er geen "verkeerde keuze"-fouten werden geïntroduceerd. Dit bevestigt dat prompting het criterium verplaatst, niet de resolutie.

Claims en Betekenis

De auteurs houden hun claims binnen een bescheiden reikwijdte:

• Geen Downstream Validatie: Het paper bevestigt niet de "downstream mechanisme hypothese" (oriëntatie in LLM-evaluatie) die aan dit werk ten grondslag lag. Het valideert het oriëntatiemechanisme zelf niet.
• Geen Universele Trends: De auteurs beweren geen universele omvang-familie trend of dat Qwen-32B een universele evaluator is. De resultaten zijn specifief voor deze gecontroleerde stimulusfamilie.
• Metrologie Eerst: De primaire bijdrage is het Judge Datasheet protocol zelf. Het paper betoogt dat voordat er downstream wetenschappelijke claims worden gemaakt met een LLM-rechter, het meetapparaat moet worden gekarakteriseerd op donkerstroom, bias en gevoeligheid.
• Onvoldoendeheid van Scalaire Waarden: De resultaten demonstreren dat scalaire win-rates of overeenstemmingsscores onvoldoende zijn omdat ze onderscheidende faalmodi (bijv. positionele bias versus stabiele kruisgevoeligheid) samenvoegen tot één enkel getal.

Samenvattend stelt het paper een metrologische baseline vast voor LLM-evaluatie, waarbij wordt gesteld dat "LLM-rechters meetinstrumenten zijn" die een meerdimensionale meting vereisen om de validiteit van het bewijs dat zij produceren te waarborgen.