💬 NLP

Mediocrity is the key for LLM as a Judge Anchor Selection

Dit onderzoek toont aan dat de keuze van een 'anker'-model cruciaal is voor de betrouwbaarheid van LLM-jury-evaluaties, waarbij extreme modellen (zeer goed of zeer slecht) als ankers averechts werken en in plaats daarvan gemiddelde modellen de voorkeur verdienen om menselijke rankings nauwkeurig te reproduceren.

Oorspronkelijke auteurs: Shachar Don-Yehiya, Asaf Yehudai, Leshem Choshen, Omri Abend

Gepubliceerd 2026-03-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shachar Don-Yehiya, Asaf Yehudai, Leshem Choshen, Omri Abend

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Middelmachtigheid" is de Sleutel: Waarom een Gemiddeld Model de Beste Scheidsrechter is

Stel je voor dat je een groot toernooi organiseert waar 20 verschillende robot-koks (AI-modellen) een gerecht moeten maken. Je wilt weten wie de beste is. Maar in plaats van dat elke kok tegen elke andere kok moet vechten (wat 190 gevechten zou zijn en veel tijd kost), kies je één "standaard-kok" als anker. Alle andere koks moeten dan alleen maar tegen deze ene standaard-kok koken.

Dit is hoe veel AI-benchmarks werken: ze noemen het "LLM-as-a-judge" met een anker. De grote vraag in dit nieuwe onderzoek is: Wie moet die standaard-kok zijn?

De onderzoekers dachten eerst: "Natuurlijk moet je de allerbeste kok nemen, of juist de allerminste, zodat je duidelijk ziet wie beter is." Maar hun onderzoek toont aan dat dit een grote fout is.

Hier is de uitleg in simpele taal:

1. De "Superster" en de "Nul" werken niet

Stel je voor dat je als anker kiest voor Gordon Ramsay (de allerbeste kok).

Als je tegen hem kookt, winnen bijna alle andere koks niet. Ze verliezen allemaal.
Het resultaat? Je weet alleen dat ze allemaal slechter zijn dan Gordon. Maar je weet niet wie van de anderen net iets beter is dan de ander. Het is alsof je een race doet tegen een Formule 1-auto; de rest van de deelnemers haalt de finishlijn nooit, dus je kunt ze niet rangschikken.
Gordons winst: 90% van de tijd. Informatie: 0%. Je verspil je tijd.

Nu stel je voor dat je als anker kiest voor een kok die net de keuken heeft opgeblazen (de allerminste).

Dan winnen bijna alle anderen makkelijk.
Het resultaat? Iedereen wint, maar je weet weer niet wie de beste van de winnaars is.
Informatie: Ook hier 0%.

2. De "Middelmachtige" is de Held

Het verrassende resultaat van het papier is: De beste anker is een kok die "gemiddeld" is. Iemand die net goed genoeg kookt om soms te winnen en soms te verliezen.

Als je tegen een gemiddelde kok kookt, winnen de betere koks vaak, maar verliezen de slechtere koks vaak.
Dit creëert een perfecte mix: je krijgt genoeg "winnen" en genoeg "verliezen" om precies te zien wie er tussenin zit.
De onderzoekers noemen dit "Mediocrity" (middelmachtigheid), maar bedoelen hiermee: niet te sterk, niet te zwak. Iemand die precies in het midden van de ranglijst staat.

3. Waarom is dit belangrijk?

In de wereld van AI wordt nu vaak de allerbeste AI (zoals o3 of GPT-4) gebruikt als anker. Het papier laat zien dat dit een enorme verspilling is.

Je gebruikt 2/3 van je rekenkracht voor gevechten die je al weet: "De beste AI wint altijd."
Hierdoor worden de resultaten onnauwkeurig. Je denkt dat twee modellen even goed zijn, terwijl ze dat niet zijn, omdat je anker te sterk was om het verschil te zien.

4. De Grootte van het Toernooi

Het papier zegt ook iets over de grootte van je test.

Als je een anker gebruikt, heb je veel meer tests nodig dan wanneer je iedereen tegen iedereen laat vechten.
De huidige tests (zoals Arena-Hard) zijn vaak te klein. Ze zijn net groot genoeg om te zeggen "A is beter dan B", maar niet groot genoeg om te zeggen "A is heel iets beter dan B" als je een anker gebruikt.
Advies: Als je een anker gebruikt, zorg dan dat je anker "informatief" is (dus een gemiddelde) en dat je genoeg tests doet.

De Gouden Tips (Samenvatting)

Kies geen ster: Gebruik niet de allerbeste AI als anker. Die wint te vaak en zegt je niets over de rest.
Kies geen nul: Gebruik ook niet de slechtste AI. Die verliest te vaak.
Kies de "Middellijn": Kies een AI die ongeveer even goed is als de modellen die je wilt testen. Die zorgt voor de eerlijkste en meest gedetailleerde ranglijst.
Check je anker: Voordat je een groot onderzoek start, doe een kleine test om te zien of je anker echt "gemiddeld" genoeg is om interessante resultaten te geven.

Kortom: In de wereld van AI-jury's is de beste scheidsrechter niet de allerbeste speler, maar degene die precies in het midden zit. Die ziet het verschil tussen de winnaars het scherpst.

1. Probleemstelling

Het paradigma "LLM-as-a-Judge" (LMJ) is een standaardmethode geworden voor het evalueren van open-ended generatie van grote taalmodellen (LLM's). Een veelgebruikte aanpak om de hoge kosten van paarsgewijze vergelijkingen (quadratische schaalbaarheid) te verminderen, is het gebruik van een anker-model (anchor). Hierbij worden alle te evalueren modellen vergeleken met één enkel referentiemodel in plaats van met elkaar.

Hoewel deze methode wijdverbreid is (bijv. in benchmarks zoals Arena-Hard en AlpacaEval), is de impact van de keuze van het anker op de betrouwbaarheid van de resultaten nauwelijks onderzocht. Bestaande praktijken kiezen vaak voor de sterkste (state-of-the-art) of de zwakste modellen als anker, onder de aanname dat deze een duidelijke basislijn of een "gouden standaard" bieden. Het paper stelt dat deze aanname fundamenteel verkeerd is en leidt tot onbetrouwbare rangschikkingen.

2. Methodologie

De auteurs voeren een grootschalige empirische studie uit om het effect van ankerselectie te kwantificeren.

Dataset: Ze gebruiken Arena-Hard-v2.0 (750 uitdagende queries) en repliceren de resultaten op AlpacaEval (805 instructies).
Modellen: Er worden 22 moderne LLM's geëvalueerd, die zowel als kandidaat-modellen als als potentiële ankers fungeren.
Judges: Er worden 5 verschillende beoordelaars (judges) gebruikt, variërend van zeer krachtige modellen (Deepseek-v3, GPT-OSS 120B) tot kleinere, kostenefficiëntere modellen (Qwen3 8B).
Experimenteel Opzet:
1. Quadratische Vergelijking (Gouden Standaard): Alle mogelijke paren van modellen worden met elkaar vergeleken ( $\binom{22}{2} \times 750$ vergelijkingen per judge). Dit levert een "quadratische rangschikking" ( $\pi_{quad}$ ) op die dient als ground truth.
2. Anker-gebaseerde Vergelijking: Voor elk van de 22 modellen wordt dit model als anker ( $m_A$ ) gebruikt. Alle andere modellen worden vergeleken met dit anker.
3. Meting: De kwaliteit van een anker wordt gemeten aan de hand van de Kendall's $\tau$ correlatie tussen de anker-gebaseerde rangschikking en de gouden rangschikking (zowel $\pi_{quad}$ als een menselijke rangschikking $\pi_{human}$ ).
4. Informativiteit: De auteurs analyseren de verdeling van winstpercentages (win-rate distributions) en definiëren "informatieve steekproeven" als die waarbij het anker niet altijd wint of altijd verliest, maar waar de uitkomst varieert tussen de modellen.

3. Belangrijkste Bijdragen en Bevindingen

A. De "Inverted U" Relatie (Mediocriteit is de sleutel)

De meest opvallende bevinding is een omgekeerde U-vormige relatie tussen de prestaties van een model en de kwaliteit van het anker:

Zwakke en Sterke Ankers: Modellen aan de uiterste uiteinden van het prestatiespectrum (de allerbeste zoals o3 of de zwakste zoals Llama 4 Maverick) leveren de slechtste ankers op. Ze resulteren in een lage correlatie met de menselijke rangschikking (tot wel 0,19 lager dan de beste keuze).
Gemiddelde (Mediocre) Ankers: Modellen met gemiddelde prestaties (in het midden van de ranglijst) leveren de hoogste correlatie op.
Oorzaak: Sterke ankers winnen bijna altijd (signal saturation), en zwakke ankers verliezen bijna altijd. Dit leidt tot een scheve verdeling waarbij veel steekproeven "niet-informatief" zijn (ze onderscheiden geen modellen van elkaar). Gemiddelde ankers genereren een meer gelijkmatige verdeling van winst/verlies, waardoor meer steekproeven nuttige informatie bevatten over de relatieve sterkte van de concurrenten.

B. Statistische Onvoldoende van Bestaande Benchmarks

Door een power analysis uit te voeren, tonen de auteurs aan dat de huidige benchmark-groottes (bijv. 750 samples in Arena-Hard) statistisch onvoldoende zijn om concurrerende modellen betrouwbaar te onderscheiden in een anker-gebaseerde setting.

Vanwege het hoge percentage "niet-informatieve" steekproeven (bij sterke ankers tot 55% van de data), is het effectieve dataset-grootte te klein.
Om een klein effectgrootte (+5%) statistisch significant te detecteren, zijn er veel meer samples nodig dan momenteel beschikbaar zijn, tenzij een zeer informatief anker wordt gekozen.

C. Ankerkeuze vs. Judge-keuze

De auteurs vergelijken de impact van het kiezen van een goed anker versus het kiezen van een goed judge-model.

Ze concluderen dat de keuze van het anker even belangrijk is als de keuze van de judge. Een slechte ankerkeuze kan de correlatie met menselijke beoordelingen even sterk verstoren als het gebruik van een inferieur judge-model.

D. Schatting van Informativiteit

Het paper toont aan dat de informativiteit van een anker betrouwbaar kan worden geschat met een zeer kleine steekproef (ongeveer 10 samples en 3-8 modellen). Dit stelt onderzoekers in staat om vooraf een goede anker te selecteren zonder de volledige evaluatie te hoeven uitvoeren.

4. Aanbevelingen en Conclusies

Op basis van deze inzichten stellen de auteurs een beslissingsframework voor:

Vermijd anker-evaluatie waar mogelijk: Voor kleine sets modellen ( $N \le 3$ ) of wanneer een natuurlijke baseline bestaat, is volledige paarsgewijze vergelijking (quadratisch) superieur.
Kies "Mediocre" Ankers: Voor leaderboard-scenario's waar een anker noodzakelijk is, moeten gemiddelde modellen worden gekozen in plaats van state-of-the-art modellen. Dit maximaliseert de statistische power.
Rapporteer Informativiteit: Evaluaties moeten de "informativiteit" van het gekozen anker expliciet rapporteren om de validiteit van de resultaten te waarborgen.
Gebruik een Decision Tree: De auteurs bieden een visuele stroomdiagram (Fig. 5 in het paper) om te bepalen wanneer een anker-aanpak geschikt is en hoe deze het beste uitgevoerd kan worden.

5. Significatie

Dit paper is cruciaal voor de gemeenschap van LLM-evaluatie omdat het een veelgebruikte, maar onbewuste bias in benchmarks blootlegt. Het toont aan dat de huidige standaardpraktijk (het gebruik van de sterkste modellen als anker) de betrouwbaarheid van rangschikkingen aanzienlijk ondermijnt. Door de focus te verschuiven naar "mediocre" ankers, kunnen onderzoekers kosten besparen (door minder onnodige vergelijkingen) en tegelijkertijd de nauwkeurigheid en correlatie met menselijke oordelen drastisch verbeteren. De bevindingen zijn direct toepasbaar op populaire benchmarks zoals Arena-Hard en AlpacaEval.