💬 NLP

Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge

Dit paper introduceert contrastieve decoding als een methode om de score-range bias in LLM-judges voor samenvattingen te mitigeren, wat leidt tot een aanzienlijke verbetering van de correlatie met menselijke beoordelingen.

Oorspronkelijke auteurs: Yoshinari Fujinuma

Gepubliceerd 2026-04-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yoshinari Fujinuma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom een AI-juf soms "gekleurd" kijkt en hoe we haar eerlijker maken

Stel je voor dat je een nieuwe AI hebt die heel goed kan samenvatten. Je wilt weten of die samenvattingen goed zijn, dus vraag je de AI: "Hoe goed is deze samenvatting op een schaal van 1 tot 5?"

Je denkt dat de AI een eerlijke, objectieve jury is. Maar dit nieuwe onderzoek laat zien dat de AI een geheim heeft: ze is gevoelig voor de cijferlijst.

Hier is wat de onderzoekers hebben ontdekt, vertaald naar een simpel verhaal:

1. Het probleem: De "Cijfer-Complot"

Stel je voor dat je een leraar hebt die altijd graag een 4 geeft, ongeacht of het werk een 2 of een 5 verdient.

Als je vraagt om cijfers tussen 0 en 4, geeft ze overal een 3 of 4.
Als je vraagt om cijfers tussen 1 en 5, geeft ze overal een 4 of 5.
Als je vraagt om cijfers tussen 2 en 6, geeft ze overal een 5.

De AI doet dit niet omdat ze dom is, maar omdat ze "geconditioneerd" is. Ze heeft in de training geleerd dat bepaalde getallen (zoals het midden van de lijst) veiliger of "normaler" zijn. Dit noemen de onderzoekers Score Range Bias (Cijferbereik-vooroordeel).

Het ergste is: als je de AI vraagt om een samenvatting te beoordelen op een schaal van 1 tot 5, krijg je een ander resultaat dan op een schaal van 2 tot 6, zelfs als de samenvatting exact hetzelfde is! De AI is dus niet echt eerlijk; ze kijkt alleen naar het "speelveld" waar ze op moet spelen.

2. De oplossing: De "Twee-Armen" methode (Contrastive Decoding)

Hoe los je dit op? De onderzoekers gebruiken een slimme truc die ze Contrastive Decoding noemen.

Stel je voor dat je een jury hebt die vaak fouten maakt. Je wilt hun oordeel verbeteren. Wat doe je? Je pakt een tweede jurylid (een assistent) die precies hetzelfde denkt als de eerste, maar misschien net iets minder sterk is.

De Hoofd-AI (De Jury): Geeft haar oordeel.
De Assistent-AI: Geeft ook haar oordeel.

De truc is nu: Je trekt het oordeel van de assistent af van het oordeel van de hoofd-AI.

Waarom werkt dit?
Omdat beide AI's uit dezelfde "familie" komen (bijvoorbeeld allebei van het Llama-merk), hebben ze dezelfde fouten. Ze denken allebei: "Oh, een 4 is een veilig getal!"

Als de hoofd-AI zegt: "Dit is een 4" (omdat ze dat graag doet).
En de assistent zegt: "Dit is ook een 4" (omdat ze dat ook graag doet).
Dan trek je ze van elkaar af: 4 - 4 = 0.

De "gekleurde" gedachte (dat 4 een goed getal is) verdwijnt! Wat overblijft, is het echte oordeel over de kwaliteit van de tekst, zonder de voorkeur voor een specifiek cijfer. Het is alsof je twee mensen die allebei een bril met roze glazen dragen, laat samenwerken; door hun visie te combineren, zie je de wereld weer in de echte kleuren.

3. Wat leverde dit op?

De onderzoekers hebben dit getest met verschillende AI-modellen (zoals Llama en Qwen) en verschillende cijferlijsten (0-4, 1-5, 2-6, etc.).

Zonder truc: De AI gaf willekeurige cijfers die sterk afhingen van de gekozen schaal. De correlatie met menselijke beoordelingen was vaak laag of zelfs negatief (ze gaf juist de verkeerde indruk!).
Met de truc: De AI werd veel consistenter. Of je nu vroeg om cijfers van 0-4 of 2-6, de AI gaf nu een eerlijker oordeel dat veel meer leek op wat een mens zou zeggen.

In sommige gevallen verbeterde de nauwkeurigheid met 11,7%. Dat is als een student die van een 6 naar een 7,5 springt door een slimme studietrick.

Samenvatting in één zin

AI's zijn vaak vooroordeelsvol over welke cijfers ze moeten geven, maar door een tweede, vergelijkbare AI als "spiegel" te gebruiken en hun antwoorden tegen elkaar af te wegen, kunnen we die vooroordelen weghalen en een eerlijker jury krijgen.

De moraal: Als je een AI vraagt om te beoordelen, zorg dan dat je niet alleen naar haar kijkt, maar dat je haar oordeel "ontkleurt" met een assistent, zodat je het echte werk ziet en niet de voorkeur voor een specifiek cijfer.

Titel: Contrastive Decoding Mitigeert Score Range Bias in LLM-as-a-Judge

Auteur: Yoshinari Fujinuma (Patronus AI)

1. Het Probleem: Score Range Bias

Hoewel Large Language Models (LLMs) steeds vaker worden ingezet als "rechter" (judge) voor het evalueren van AI-outputs, blijft de betrouwbaarheid van deze beoordelingen een uitdaging. Het artikel focust op een specifiek type evaluatie: directe beoordeling (direct assessment), waarbij een model een numerieke score toekent aan een enkele output binnen een vooraf gedefinieerd bereik (bijv. 1-5), zonder referentie naar een ander model.

De auteurs identificeren een nieuwe vorm van bias, genaamd Score Range Bias:

Definitie: De correlatie tussen de beoordelingen van het LLM en menselijke oordelen verandert significant afhankelijk van het gekozen scorebereik (bijv. 0-4, 1-5, 2-6, 3-7), zelfs als de inhoud van de te beoordelen tekst identiek blijft.
Observatie: Modellen vertonen een neiging om specifieke scores te favoriseren die niet noodzakelijk overeenkomen met de kwaliteit van de tekst, maar die gekoppeld zijn aan het bereik. Bijvoorbeeld, Llama-modellen neigen naar een score van 4 in het bereik 2-6, terwijl Qwen-modellen neigen naar een score van 2.
Familie-bias: Deze bias is niet uniek voor één model, maar komt voor binnen dezelfde model-familie (bijv. verschillende groottes van Llama-3 of Qwen-2.5), wat suggereert dat de bias is "gecodeerd" in de architectuur of training van de familie.

2. Methodologie: Contrastive Decoding

Om deze bias te mitigeren, passen de auteurs een techniek toe die bekend staat als Contrastive Decoding, aangepast voor dit specifieke probleem.

Principe: De methode gebruikt twee modellen:
1. Een Hoofdmodel (Main Model): Het model dat de uiteindelijke beoordeling moet geven.
2. Een Assistentmodel (Assistant Model): Een kleiner model uit dezelfde familie als het hoofdmodel.
Mechanisme: In plaats van alleen de waarschijnlijkheid van het hoofdmodel te gebruiken, wordt de output aangepast door de gewogen logit-distributie van het assistentmodel af te trekken van die van het hoofdmodel.
- De formule voor de aangepaste score is:
  $\log p_{main} - \lambda \log p_{asst}$
- Hierbij is $p_{main}$ de waarschijnlijkheid van het hoofdmodel, $p_{asst}$ die van het assistentmodel, en $\lambda$ een hyperparameter die de sterkte van de correctie regelt.
Redenering: Omdat modellen uit dezelfde familie vergelijkbare biases hebben (bijvoorbeeld beide neigen naar een specifieke score in een bepaald bereik), kan het assistentmodel fungeren als een "ruis" of "bias-anker". Door het gedrag van het assistentmodel af te trekken, worden de gedeelde, systematische biases geannuleerd, waardoor de output dichter bij de menselijke beoordeling komt.
Hyperparameters: De auteurs optimaliseren de temperatuur ( $t$ ) en de schalingsfactor ( $\lambda$ ) via een grid search voor verschillende modelcombinaties en scorebereiken.

3. Experimentele Opzet

Taak: Samenvattingsevaluatie (Summarization) op het SummEval-dataset (100 nieuwsartikelen met 16 samenvattingen per artikel, totaal 1600 samples).
Metrieken: Pearson, Spearman en Kendall correlatie met menselijke annotaties.
Modellen:
- Llama-3 Familie: Hoofdmodel Llama-3.1-8B; Assistentmodellen Llama-3.2-3B en 1B.
- Qwen-2.5 Familie: Hoofdmodellen Qwen-2.5-7B en 14B; Assistentmodel Qwen-2.5-3B.
Variatie: De experimenten werden uitgevoerd over vier verschillende scorebereiken: 0-4, 1-5, 2-6 en 3-7.

4. Belangrijkste Resultaten

De resultaten tonen aan dat contrastive decoding de prestaties aanzienlijk verbetert en de gevoeligheid voor het gekozen scorebereik vermindert.

Mitigatie van Bias: Zonder correctie (greedy decoding) vertonen modellen sterke schuivingen in hun scoreverdeling afhankelijk van het bereik. Contrastive decoding maakt de verdeling veel meer in lijn met menselijke annotaties.
Verbeterde Correlatie:
- Er is een relatieve verbetering van gemiddeld 11,7% in de Spearman-correlatie voor Qwen-14B over alle scorebereiken.
- Voor Llama-8B is er een verbetering van 6,7%.
- De grootste verbetering wordt vaak gezien in niet-standaard bereiken (zoals 2-6), waar standaard modellen vaak falen.
Stabiliteit: Waar de correlatie van een enkel model sterk daalt als het scorebereik verschuift, behoudt de contrastive decoding een stabiele correlatie met menselijke oordelen, ongeacht het bereik.
Invloed van het Assistentmodel:
- Kleinere assistentmodellen (bijv. 3B of 1B) werken beter dan grotere assistentmodellen (bijv. 7B voor een 14B hoofdmodel).
- Een te groot assistentmodel kan de correcte logits van het hoofdmodel "straffen" en de prestaties verslechteren.
Validatie: De methode werkt consistent voor verschillende evaluatiedimensies: coherentie, relevantie en consistentie.

5. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

Identificatie van een nieuwe bias: Het aantonen dat LLM-judges gevoelig zijn voor verschuivingen in scorebereiken (Score Range Bias), een fenomeen dat eerder onopgemerkt bleef en de betrouwbaarheid van directe beoordelingen ondermijnt.
Een effectieve mitigatiestrategie: Het introduceren van contrastive decoding als een robuuste methode om deze bias te elimineren door gebruik te maken van de gedeelde bias binnen model-families.
Praktische implicaties:
- Het stelt onderzoekers en ontwikkelaars in staat om LLM-judges te gebruiken in niet-standaard scorebereiken (bijv. 0-4 of 2-6) zonder dat de correlatie met menselijke oordelen instort.
- Het biedt een oplossing voor het "self-enhancement" en "family-enhancement" bias-probleem door het gebruik van een assistentmodel uit dezelfde familie.
- Het benadrukt dat de keuze van het scorebereik cruciaal is voor de evaluatiekwaliteit en dat deze keuze nu flexibeler kan worden gemaakt.

Conclusie

Het artikel demonstreert dat de betrouwbaarheid van LLM-as-a-judge systematisch kan worden verbeterd door de inherente biases van het model te "cancelen" via contrastive decoding. Dit opent de weg voor meer robuuste, schaalbare en kosteneffectieve evaluatiesystemen die minder afhankelijk zijn van strikt gedefinieerde, standaard scorebereiken. De methode is vooral krachtig omdat deze geen extra fine-tuning vereist, maar puur voortbouwt op de bestaande kennis van modellen binnen dezelfde familie.