💬 NLP

Am I More Pointwise or Pairwise? Revealing Position Bias in Rubric-Based LLM-as-a-Judge

Dit artikel onthult dat rubric-gebaseerde LLM-als-beoordelaar evaluatie inherent model-specifieke positiebias vertoont, vergelijkbaar met meerkeuzeopdrachten, waarbij de ordening van scoreopties en criteria de oordelen significant beïnvloedt, maar toont aan dat het toepassen van willekeurige permutaties op deze ordeningen de bias effectief kan mitigeren en de afstemming met menselijke annotaties kan verbeteren.

Oorspronkelijke auteurs: Yuzheng Xu, Tosho Hirasawa, Tadashi Kozuno, Yoshitaka Ushiku

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuzheng Xu, Tosho Hirasawa, Tadashi Kozuno, Yoshitaka Ushiku

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotrechter hebt (een Large Language Model, of LLM) wiens taak het is om essays van studenten te beoordelen. Je geeft de robot een rubric — een lijst met beoordelingsopties zoals "1: Verschrikkelijk," "2: Slecht," "3: Oké," "4: Goed," en "5: Uitstekend."

Het artikel "Am I More Pointwise or Pairwise?" stelt een eenvoudige maar verrassende vraag: Geeft de robot erom waar de opties op de pagina staan vermeld?

Hier is de uiteenzetting van hun bevindingen, gebruikmakend van alledaagse analogieën.

1. Het "Menu"-probleem

Normaal gesproken denken we bij deze rubrics aan een eenvoudige checklist. Maar de onderzoekers ontdekten dat deze AI-rechters een rubric eerder behandelen als een meerkeuzetoets.

Wanneer de robot de lijst leest, kijkt hij niet alleen naar de betekenis van de scores; hij kijkt ook naar hun positie. Net zoals een mens onbewust de eerste optie op een menu kan kiezen omdat dat de eerste is die hij ziet, of de laatste optie omdat dat de meest memorabele is, hebben deze AI-rechters een "positiebias".

De Bevinding: Sommige robots houden van de eerste optie (de "First-Biased" rechter). Anderen houden van de laatste optie (de "Last-Biased" rechter).
De Verrassing: Het is niet voor iedereen hetzelfde. Het ene model kiest misschien altijd "Goed" simpelweg omdat het bovenaan de lijst staat, terwijl een ander model "Uitstekend" kiest omdat het onderaan staat. Het is een persoonlijkheidskarakteristiek van de specifieke robot, niet een fout in de rubric zelf.

2. De "Opstelling"-bias

De onderzoekers keken ook naar een scenario waarin de robot een essay over meerdere zaken tegelijk moet beoordelen (bijv. Coherentie, Empathie en Verrassing).

Stel je een opstelling van verdachten voor. Als je de politie vraagt om de dader te identificeren, kunnen ze meer de aandacht richten op de persoon die vooraan in de rij staat. Vergelijkbaar daarmee vonden de onderzoekers dat de volgorde van de criteria ertoe doet.

Als "Coherentie" als eerste wordt vermeld, kan de robot het een iets andere score geven dan wanneer "Coerentie" als derde wordt vermeld.
Dit gebeurt zelfs als de robot perfect in staat is om de tekst te begrijpen. De volgorde van de vragen verandert de uiteindelijke score.

3. De "Shuffle"-oplossing

Hoe los je dus een robot op die gemakkelijk wordt afgeleid door waar dingen geschreven staan?

De onderzoekers probeerden een methode genaamd Balanced Permutation (Gebalanceerde Permutatie). Denk aan het schudden van een kaartspel.

In plaats van de robot één keer een essay te laten beoordelen met de lijst in de juiste volgorde (1, 2, 3, 4, 5), vroegen ze hem om hetzelfde essay tien keer te beoordelen.
Elke keer werd de volgorde van de scores geschud (bijv. 3, 1, 5, 2, 4; dan 5, 2, 1, 4, 3, enz.).
Door de resultaten te middelen, heft de "positiebias" zichzelf op, waardoor alleen de ware score overblijft.

De Haken en ogen: Het artikel stelde vast dat je geen perfecte shuffle nodig hebt. Je hoeft niet alle wiskunde te doen om een perfect gebalanceerde lijst te creëren.

De Analogie: Het is als het proberen te krijgen van een eerlijk gemiddelde temperatuur. Je hoeft de temperatuur niet elke seconde van de dag te meten. Als je gewoon een paar willekeurige metingen gedurende de dag doet, krijg je een heel goed gemiddelde.
Het Resultaat: Het willekeurig schudden van de lijst slechts een paar keer (ongeveer 3 tot 5 keer) werkt bijna net zo goed als een complexe, perfecte shuffle. Het is een goedkope en eenvoudige manier om de robot niet af te leiden door de volgorde.

4. Waarom dit ertoe doet (De "Winnaar" verandert)

Je zou kunnen denken: "Oké, de scores veranderen een beetje, maar maakt dat echt uit?"

Het artikel zegt ja, het maakt echt uit wanneer je een winnaar kiest.

Stel je een wedstrijd voor met 4 deelnemers. Als de bias van de robot de scores licht verandert, kan de top-gerangschikte deelnemer omdraaien.
De onderzoekers vonden dat het simpelweg veranderen van de volgorde van de rubric-opties de "winnaar" in 16% tot 39% van de gevallen veranderde.
De Metafoor: Het is als een race waarbij de finishlijn licht verschuift afhankelijk van welke baan je hebt. Als je een race beoordeelt om te bepalen wie een beurs krijgt, kan het verplaatsen van de finishlijn (het veranderen van de volgorde van de rubric) er per ongeluk voor zorgen dat je de verkeerde persoon de prijs geeft.

Samenvatting

Het Probleem: AI-rechters worden stiekem beïnvloed door de volgorde van de opties die ze zien, net als mensen.
De Knik: Sommige AI-modellen houden van de eerste optie; andere van de laatste.
De Oplossing: Je kunt dit oplossen door de AI dezelfde zaak meerdere keren te laten beoordelen met de lijst in verschillende volgordes geschud.
De Afkorting: Je hebt geen perfecte shuffle nodig; een paar willekeurige schudbeurten zijn genoeg om een eerlijk resultaat te krijgen.
De Impact: Als je dit niet oplost, kies je misschien per ongeluk het verkeerde "beste" antwoord, zelfs als de AI erg slim is.

Het artikel concludeert dat we deze op rubrics gebaseerde AI-rechters moeten behandelen als een student die een meerkeuzetoets maakt, waarbij de positie van het antwoord ertoe doet, en dat we het deck moeten schudden om de waarheid te achterhalen.

Technische Samenvatting: Ben ik meer puntgewijs of paargewijs? Het onthullen van positiebias in rubric-gebaseerde LLM-als-rechter

Probleemstelling

Terwijl Large Language Models (LLM's) steeds vaker worden gebruikt als evaluatoren (LLM-als-rechter), heeft eerder onderzoek zich voornamelijk gericht op biases in puntgewijze (scoring van een enkel antwoord) en paargewijze (comparatieve selectie) paradigma's. Dit artikel identificeert een voorheen onderbelichte bron van bias in rubric-gebaseerde evaluatie, een paradigma waarbij modellen scores toekennen op basis van expliciete criteria en scorebereiken.

De auteurs stellen dat rubric-gebaseerde evaluatie impliciet functioneert als een multiple-choice taak: gegeven een tekst, moet de LLM de rubric-optie selecteren die het beste bij de inhoud past. Gevolgelijk kan de ordening van score-opties (bijv. "1. Slechtste" tot "5. Perfecte") of de ordening van meerdere criteria binnen een enkele prompt positiebias induceren. In tegen tegenoverliegende paargewijze settings, waar het omdraaien van twee antwoorden een bekende mitigatiemethode is, omvat rubric-gebaseerde settings meerdere opties, waardoor eenvoudige wissels ineffectief zijn. Het artikel onderzoekt of LLM's systematische voorkeuren vertonen voor score-opties of criteria op basis van louter hun positie in de lijst van de prompt, en of deze bias de downstream rankings en menselijke alignment beïnvloedt.

Methodologie

De studie maakt gebruik van een gebalanceerd permutatieprotocol om de semantische waarde van scores/criteria te ontkoppelen van hun positionele invloed.

Experimentele Instellingen:
- Instelling 1 (Score-optie Ordening): Het model evalueert een tekst tegen een rubric met $n$ score-opties (bijv. 1–5). De volgorde van deze opties wordt gepermuteerd.
- Instelling 2 (Criterium Ordening): Het model evalueert een tekst tegen meerdere criteria (bijv. Coherentie, Empathie). De volgorde van deze criteria wordt gepermuteerd.
Gebalanceerde Permutatiestrategie:
Om positiebias te neutraliseren, construeren de auteurs gebalanceerde ordeningen waarbij elk score of criterium een gelijk aantal keren op elke positie verschijnt over meerdere evaluatieruns.
- Voor $n$ opties genereren zij $2n$ ordeningen met behulp van voorwaartse en achterwaartse cyclische rotaties (bijv. voor 5 scores: [1,2,3,4,5], [2,3,4,5,1], ..., [5,4,3,2,1], [4,3,2,1,5]).
- Dit zorgt ervoor dat als een model een positionele voorkeur heeft (bijv. een voorkeur voor de eerste optie), dit wordt gemiddeld bij het aggregeren van resultaten over de gebalanceerde set.
Vergelijkingsstrategieën:
De auteurs vergelijken drie budget-gematchte strategieën:
- BALANCED (GEBALANCEERD): De $2n$ cyclische rotaties.
- RANDOM (WILLEKEURIG): $K$ willekeurig geordende varianten (waarbij $K$ overeenkomt met het budget van de gebalanceerde set).
- FIXED (VAST): Een enkele canonieke ordening die $K$ keer wordt herhaald.
Datasets en Modellen:
- Datasets: MT-Bench, Vicuna-Bench, HANNA (verhaalgeneratie) en SummEval (samenvatting).
- Judges (Rechters): Zes open-weight modellen uit drie families (GPT-OSS, Qwen3.5, Gemma-3) met variërende groottes (9B tot 120B).
- Metrics (Metrieken): Chi-kwadraat ( $\chi^2$ ) goodness-of-fit testen voor uniformiteit, Cramér's $V$ voor biassterkte, Pearson/Spearman correlatie met menselijke beoordelingen, en Kendall $\tau$ voor downstream ranking stabiliteit.

Belangrijkste Resultaten

1. Bestaan en Aard van Positiebias

Statistische Significantie: Rubric-gebaseerde evaluatie vertoont statistisch significante positiebias over alle geteste modellen en datasets. De bias is niet uniform; het is modelspecifiek.
- Sommige modellen (bijv. GPT-OSS-20B) zijn first-biased (geven de voorkeur aan de eerste optie).
- Andere (bijv. Gemma-3-27B, Qwen3.5-27B) zijn last-biased (geven de voorkeur aan de laatste optie).
- Sommige (bijv. GPT-OSS-120B) zijn bijna uniform.
Orthogonale Bias-as: Een tweede, onafhankelijke bias bestaat met betrekking tot de volgorde van criteria in multi-criterium prompts. De positie van een criterium heeft een significante invloed op de toegewezen score, waarbij sommige criteria tot wel 0,80 punten winnen afhankelijk van hun plaatsing.

2. Mitigatie en Menselijke Alignment

Permutatie vs. Randomisatie: De studie stelt vast dat gebalanceerde permutatie geen significant voordeel biedt ten opzichte van willekeurige ordening wanneer het aantal geaggregeerde oordelen ( $K$ ) voldoende is (bijv. $K=10$ ). De verbetering in correlatie met menselijke scores komt primair voort uit variantiereductie (het aggregeren van verschillende ordeningen) in plaats van de mechanische eliminatie van positiebias.
Conditionele Verbetering: De-biasing (via permutatie) verbetert de menselijke correlatie alleen voor modellen die een sterke initiële bias vertonen. Voor modellen met een lage inherente bias levert permutatie geen significante winst op.
Budget Efficiëntie: De voordelen van aggregatie verzadigen snel. Voor modellen die er baat bij hebben, wordt ongeveer tweederde van de verbetering bereikt met slechts $K=3$ willekeurige ordeningen, en 85% met $K=5$ .

3. Downstream Impact

Rank Reversal (Rangschikkingsoverdraaiing): Zelfs als de gemiddelde scorecorrelaties met mensen vergelijkbaar blijven, heeft positiebias een significante impact op de ranking. Het wijzigen van de rubric-volgorde alleen al zorgde ervoor dat de top-1 kandidaat in 16% tot 39% van de prompts verschoof bij verschillende judges.
Implicaties: Deze variantie is cruciaal voor toepassingen zoals "Best-of-N" selectie, Reinforcement Learning from AI Feedback (RLAIF) en leaderboard rankings, waarbij de specifiek geselecteerde kandidaat belangrijker is dan de gemiddelde score.

Betekenis en Claims

Het artikel herformuleert rubric-gebaseerde LLM-als-rechter als een impliciet multiple-choice probleem dat onderhevig is aan meetbare, modelspecifieke positiebias.

Praktische Richtlijnen: De auteurs betogen dat hoewel het mechanisch "verwijderen van de bias" mogelijk is via gebalanceerde permutaties, het praktische doel van het verbeteren van de menselijke correlatie beter wordt gediend door eenvoudige randomisatie van de rubric-volgorde. Een klein aantal willekeurige permutaties ( $K \approx 3$ tot $5$) is voldoende om de fout die door deze bias wordt geïntroduceerd voor de meerderheid van de modellen te mitigeren.
Omvang van Impact: De bias is het meest schadelijk in selectiescenario's (het ranken van kandidaten) in plaats van bij absolute scoring. De auteurs waarschuwen dat het vertrouwen op een enkele canonieke rubric-volgorde kan leiden tot instabiele downstream beslissingen, zelfs als het model gemiddeld gezien onbevooroordeeld lijkt.
Beperkingen: De studie is beperkt tot open-weight modellen en strekt zich niet uit tot de meest recente closed-source modellen of directe toepassingen in model-trainingspipelines vanwege budgettaire beperkingen.

Concluderend toont het artikel aan dat de ordening van de rubric een niet-trivial bron van ruis is in de evaluatie van LLM's. Hoewel complexe balanceringsprotocollen theoretisch solide zijn, is een laag-kosten strategie van het aggregeren van een paar willekeurig geordende varianten statistisch niet te onderscheiden van exacte balancering en vermindert het effectief het risico op rank reversal in praktische toepassingen.