💬 NLP

Evaluating Scoring Bias in LLM-as-a-Judge

Dit artikel behandelt het onderbelichte probleem van scorebias in LLM-as-a-Judge-systemen door drie nieuwe bias-types te definiëren en te kwantificeren—rubriekvolgorde-, score-ID- en referentieantwoord-scorebias—en een uitgebreid kader voor te stellen om deze te mitigeren via verbeterde promptontwerp en geautomatiseerde evaluatie.

Oorspronkelijke auteurs: Qingquan Li, Shaoyu Dou, Kailai Shao, Chao Chen, Haixiang Hu

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qingquan Li, Shaoyu Dou, Kailai Shao, Chao Chen, Haixiang Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, geautomatiseerde robotleraar hebt ingehuurd om opstellen te beoordelen. Deze robot moet eerlijk, objectief en consistent zijn. Je geeft hem een studentopstel en een beoordelingsrubriek (een checklist van wat een goed opstel maakt), en hij geeft het opstel een score van 1 tot 5.

Dit artikel gaat over de ontdekking dat zelfs de slimste robotleraren vrij gemakkelijk in de val kunnen worden gelokt. Ze kijken niet alleen naar het opstel; ze raken in de war door hoe de instructies zijn geschreven, zelfs als de instructies precies hetzelfde zeggen.

Hier is de uiteenzetting van de bevindingen van het artikel met behulp van eenvoudige analogieën:

Het Kernprobleem: Het "Magische 8-Bal"-effect

De onderzoekers ontdekten dat als je de opmaak van de beoordelingsinstructies lichtjes verandert – zonder de daadwerkelijke betekenis te wijzigen – de score van de robot voor hetzelfde opstel drastisch kan veranderen. Het is alsof je een vriend vraagt: "Hoe goed is deze film?" en je krijgt een "5 van de 5" als je het beleefd vraagt, maar een "2 van de 5" als je het vraagt terwijl je op je hoofd staat. De film is niet veranderd, maar het antwoord wel.

Het artikel richt zich op Beoordelingsbias, wat het geval is wanneer de robot een ander absoluut cijfer geeft (zoals een 3 of een 4) puur omdat de prompt is aangepast, niet omdat het antwoord is veranderd.

De Drie Manieren waarop de Robot in de War Raakt

De onderzoekers identificeerden drie specifieke "trucs" die de beoordeling van de robot verstoren:

De Menu-volgorde Bias (Volgorde van de Rubriek):
Stel je een restaurantmenu voor. Meestal staan voorgerechten eerst, dan hoofdgerechten. Als je het menu omdraait zodat de hoofdgerechten eerst staan, smaakt het eten dan anders? Nee. Maar de robotleraar denkt van wel.
- De Bevinding: Als de beoordelingsregels worden opgesomd van "1 tot 5" (laag naar hoog), beoordeelt de robot anders dan als ze worden opgesomd van "5 tot 1" (hoog naar laag) of in een willekeurige volgorde. De robot raakt in de war door de volgorde.
De Naamplaatje Bias (Score-ID):
Meestal gebruiken we cijfers zoals 1, 2, 3, 4, 5. Maar wat als we letters gebruiken (A, B, C, D, E) of Romeinse cijfers (I, II, III, IV, V)?
- De Bevinding: Het brein van de robot reageert anders op deze verschillende "namen" voor de scores. Soms maakt het gebruik van Romeinse cijfers de robot een betere beoordelaar; soms maakt het hem slechter. Het is alsof de robot een favoriet alfabet heeft.
De "Perfecte Voorbeeld" Bias (Referentieantwoord Score):
Soms geven docenten studenten een "perfect voorbeeld" van een opstel om te laten zien hoe een "5" eruit ziet. De onderzoekers testten wat er gebeurt als ze een score aan dat voorbeeld koppelen.
- De Bevinding: Als je de robot een perfect voorbeeld laat zien en het labelt als "Score 5", wordt de robot zeer consistent en accuraat. Echter, als je datzelfde perfecte voorbeeld labelt als een "Score 3", raakt de robot in de war en begint hij aan alles anders lagere scores te geven, denkend: "Oh, als het perfecte voorbeeld slechts een 3 is, moet dit opstel van de student verschrikkelijk zijn."

De Experimenten: Het Testen van de Robots

De onderzoekers testten dit op verschillende "robotleraren" (AI-modellen), variërend van de krachtigste (zoals GPT-4o) tot kleinere, goedkopere modellen.

De Grote Robots versus de Kleine Robots: De krachtigste robots waren minder snel in de war te brengen. Ze waren als een senior leraar die het materiaal zo goed kent dat het omdraaien van de menuvolgorde hen niet van hun stuk brengt. De kleinere robots waren als nerveuze studentleraren; een kleine verandering in de instructies liet hun scores wild op en neer springen.
De Verrassing: Soms hielpen de "trucs" eigenlijk! Voor sommige robots zorgden het gebruik van Romeinse cijfers of het omdraaien van de volgorde van de regels ervoor dat ze accurater beoordeelden dan op de standaardmanier. Het blijkt dat de "standaard" manier waarop mensen meestal prompts schrijven, niet altijd de beste manier is voor robots.

De Oplossingen: Hoe de Beoordeling te Repareren

Op basis van hun experimenten stellen de auteurs drie manieren voor om deze robotrechters betrouwbaarder te maken:

Huur de Grote Robots in: Als je een kritische beoordeling nodig hebt (zoals voor een baan of school), gebruik dan het krachtigste beschikbare AI-model. Ze zijn van nature stabieler en minder vatbaar voor te worden beïnvloed door opmaaktrucs.
Breek de Regels (Opzettelijk): Kopieer niet zomaar de standaardlijst van "1 tot 5". Probeer de regels te lijsten van "5 tot 1", of gebruik letters in plaats van cijfers. Het artikel suggereert dat iets doen dat iets "onconventioneel" is maar duidelijk, de robot eigenlijk kan stoppen in zijn gebruikelijke biasvalstrikken te vallen.
Toon het Perfecte Voorbeeld (met een 5): Als je de robot een "gouden standaard" antwoord gaat tonen om hem te helpen bij het beoordelen, zorg er dan voor dat je het labelt als een "5" (de hoogste score). Dit verankert het denken van de robot en maakt het veel accurater.

De Conclusie

Het artikel concludeert dat "LLM-as-a-Judge" (het gebruik van AI om AI te beoordelen) niet zo objectief is als we dachten. De robots zijn gevoelig voor de presentatie van de regels, niet alleen voor de regels zelf. Om eerlijke cijfers te krijgen, moeten we zeer zorgvuldig zijn met hoe we de instructies schrijven, misschien door de krachtigste modellen te gebruiken en onze prompts op een manier te ontwerpen die iets afwijkt van wat we gewend zijn.

Technische Samenvatting: Evaluatie van Score-vooroordeel bij LLM als Judge

Probleemdefinitie

Het paradigma "LLM als Judge" maakt gebruik van Large Language Models (LLM's) als geautomatiseerde beoordelaars om schaalbare feedback te geven voor complexe taken. Hoewel bestaand onderzoek uitgebreid vooroordelen in comparatieve evaluaties heeft onderzocht (bijvoorbeeld het bepalen welke van twee antwoorden beter is), blijven op scores gebaseerde evaluaties – waarbij een LLM een absolute score toekent aan een enkel antwoord – onderbelicht. Op scores gebaseerde methoden zijn vaak praktischer voor industriële toepassingen en gestandaardiseerde kwantitatieve analyse.

Dit artikel identificeert een kritieke lacune: op scores gebaseerde LLM-judges vertonen aanzienlijke instabiliteit wanneer hun prompts worden verstoord, zelfs wanneer het evaluatiedoel (het te beoordelen antwoord) onveranderd blijft. De auteurs definiëren score-vooroordeel als de meetbare verschuiving in scores die een LLM-judge vertoont wanneer deze wordt blootgesteld aan verstoringen in de score-prompt zelf, in plaats van aan veranderingen in het evaluatiedoel.

Methodologie

Evaluatiekader

De auteurs stellen een uitgebreid kader voor om score-vooroordeel te kwantificeren, geïnspireerd door eerdere werken over prompt-vooroordeel. Het kader omvat:

Prompt-verstoring: Systematisch wijzigen van niet-doelcomponenten van de score-prompt terwijl het evaluatiedoel ( $I$ ) constant blijft.
Metrieken: Drie dimensies van evaluatie worden gebruikt:
- Stabiliteit: Gemeten aan de hand van de Flip Rate (FP) (het percentage steekproeven waarbij de score verandert) en de Mean Absolute Deviation (MAD) tussen verstoord scores en een baseline.
- Nauwkeurigheid: Gemeten aan de hand van Spearman's ( $\rho$ ) en Pearson's ( $r$ ) correlatiecoëfficiënten tussen de scores van de judge en "gouden scores" (afgeleid van geavanceerde LLM's zoals GPT-4.1 en menselijke annotatoren).
- Score-trend: Geanalyseerd via histogrammen van scoreverdeling om inherente voorkeuren voor specifieke scorecategorieën te detecteren.

Soorten Verstoring

De studie introduceert en definieert drie nieuwe soorten score-vooroordeel:

Rubriekvolgorde-vooroordeel: Het wijzigen van de volgorde van scorebeschrijvingen in de rubriek (bijvoorbeeld: oplopend 1–5, aflopend 5–1, of willekeurige volgorde).
Score-ID-vooroordeel: Het wijzigen van de identificatoren die worden gebruikt voor scores (bijvoorbeeld: Arabische cijfers {1–5}, Lettercijfers {A–E}, of Romeinse cijfers {i–v}).
Referentieantwoord-score-vooroordeel: Onderzoeken van de impact van het koppelen van specifieke scores (1–5) aan referentieantwoorden die in de prompt worden verstrekt, een factor die eerder niet was onderzocht in de context van robuustheid.

Datasets en Modellen

Datasets: De evaluatie maakt gebruik van vier gevestigde benchmarks: BiGGen Bench, FLASK, MT Bench en Vicuna Bench. Voor datasets die geen referentieantwoorden bevatten voor alle scoreniveaus (BiGGen Bench en FLASK), hebben de auteurs een automatische data-synthesepijplijn ontwikkeld (generatie-beoordelingslus) om referentieantwoorden te creëren voor scores 1 tot en met 4.
Judge-modellen: Experimenten zijn uitgevoerd op een diverse reeks modellen, waaronder GPT-4o, DeepSeek-V3-671B, Qwen3-32B, Qwen3-8B en Mistral-Small-24B-Instruct.
Gouden scores: GPT-4.1 werd gebruikt om gouden scores te genereren, gevalideerd als het model met de hoogste correlatie met menselijke annotaties onder de geteste modellen.

Belangrijkste Resultaten

1. Alomtegenwoordigheid van Score-vooroordeel

Zelfs de meest geavanceerde LLM's lijden onder aanzienlijke score-vooroordelen. Verstoringen in de promptstructuur leiden tot aanzienlijke inconsistenties:

Stabiliteit: Onder verstoringen varieerden de Flip Rates (FR) van ongeveer 16% tot meer dan 46%, afhankelijk van het model en het type verstoring. Bijvoorbeeld, Qwen3-8B vertoonde een FR van 46,22% op BiGGen Bench onder een eenvoudige verstoring van de aflopende rubriekvolgorde, wat betekent dat bijna de helft van de scores veranderde.
Modelgevoeligheid: Grotere, capabelere modellen (bijvoorbeeld GPT-4o, DeepSeek-V3) vertoonden over het algemeen een hogere robuustheid (lagere FR en MAD) in vergelijking met kleinere modellen (bijvoorbeeld Qwen3-8B).

2. Niet-lineaire Impact op Nauwkeurigheid

In tegenstelling tot de aanname dat vooroordeel altijd schadelijk is, bleek uit de studie dat bepaalde verstoringen de scorenauwkeurigheid ten opzichte van gouden scores kunnen verbeteren:

Score-ID: Het gebruik van Romeinse cijfers verbeterde de nauwkeurigheid van GPT-4o, terwijl Lettercijfers de nauwkeurigheid van DeepSeek-V3-671B verbeterden. Omgekeerd degradeerden deze wijzigingen vaak de nauwkeurigheid van andere modellen.
Rubriekvolgorde: Aflopende rubriekvolgorde verbeterde de nauwkeurigheid voor DeepSeek-V3 en Mistral-Small, terwijl willekeurige volgorde over het algemeen de nauwkeurigheid bij alle modellen schaadde.

3. Score-trends en Referentieantwoorden

Inherente Voorkeuren: Verschillende modellen vertonen onderscheidende scoreverdelingen (bijvoorbeeld: DeepSeek-V3-671B neigde naar het toekennen van hoge scores, terwijl Mistral-Small de voorkeur gaf aan score 4).
Impact van Referentieantwoorden: Het opnemen van een referentieantwoord met een volledige score (Score 5) leverde consequent de hoogste scorenauwkeurigheid op en stabiliseerde score-trends bij modellen. Daarentegen leidden referentieantwoorden met lagere scores (1–4) vaak ertoe dat modellen hun scores "naar het referentiepunt trokken", wat de nauwkeurigheid verlaagde.

Belangrijkste Bijdragen

Identificatie van Nieuwe Vooroordelen: Het artikel definieert en onderzoekt formeel drie eerder niet onderzochte score-vooroordelen: rubriekvolgorde-vooroordeel, score-ID-vooroordeel en referentieantwoord-score-vooroordeel.
Evaluatiekader: Het stelt het eerste toegewijde kader voor om score-vooroordeel te kwantificeren, introduceert een reeks metrieken (stabiliteit, nauwkeurigheid, trend) en een automatische data-synthesepijplijn om een op maat gemaakt evaluatiecorpus te creëren.
Empirisch Bewijs: De studie levert empirisch bewijs dat zelfs state-of-the-art LLM's vatbaar zijn voor deze vooroordelen, wat de betrouwbaarheid van huidige geautomatiseerde scorepraktijken in vraag stelt.

Betekenis en Aanbevelingen

Het artikel betoogt dat de betrouwbaarheid van LLM als Judge in industriële toepassingen wordt ondermijnd door deze door prompts veroorzaakte vooroordelen. De auteurs bieden handelbare inzichten voor het ontwerpen van robuustere score-prompts:

Modelselectie: Prioriteer grotere, capabelere modellen voor evaluaties met hoge stakes om vooroordeel te mitigeren.
Prompt-ontwerp: Adopteer "bewuste maar zinvolle afwijking van conventie". Dit omvat het gebruik van aflopende rubriekvolgorde of niet-numerieke identificatoren (zoals lettercijfers) waar passend, terwijl chaotische randomisatie wordt vermeden.
Referentieantwoorden: Bij het gebruik van referentieantwoorden wordt een referentie met een volledige score (Score 5) aanbevolen om nauwkeurigheid en stabiliteit te maximaliseren, in lijn met de logica van metrieken zoals BLEU en ROUGE.

Het werk concludeert dat het aanpakken van score-vooroordeel essentieel is voor de eerlijkheid en betrouwbaarheid van geautomatiseerde LLM-evaluatie, en een fundament biedt voor toekomstig onderzoek naar strategieën voor het verminderen van vooroordeel en robuust prompt-engineering.