Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

In het moderne digitale landschap is kunstmatige intelligentie geëvolueerd van een hulpmiddel dat simpelweg vragen beantwoordt naar een systeem dat de kwaliteit van andere systemen beoordeelt. Deze nieuwe rol, vaak "AI als rechter" genoemd, wordt steeds vaker gebruikt om essays te beoordelen, code te controleren en inhoud te filteren voordat deze een menselijke lezer bereikt. De aanname achter deze praktijk is dat de AI-rechter elk stuk werk op zijn eigen verdiensten beoordeelt, waarbij elke inzending als een nieuw begin wordt behandeld. De menselijke psychologie kent echter al lang een fenomeen genaamd verankering (anchoring), waarbij de schatting of beslissing van een persoon subtiel wordt getrokken naar een getal dat eerder is gezien, zelfs als dat getal willekeurig of irrelevant is. Decennialang hebben onderzoekers dit bij mensen waargenomen, van strafmaatstaven in de rechtszaal tot prijsonderhandelingen. De kritische vraag voor het digitale tijdperk is of deze menselijke vooroordelen ook aanwezig zijn in de machines die we vertrouwen als onpartijdig. Als een AI-rechter wordt beïnvloed door een eerdere score die op de achtergrond verschijnt, zou het hele systeem van automatische evaluatie systematisch scheefgetrokken kunnen worden, wat leidt tot onrechtvaardige afwijzingen of goedkeuringen van inhoud.

Een team van onderzoekers van Infobip zette zich erin om deze aanname direct te testen. Zij ontwierpen een experiment om te zien of de score van een AI-rechter zou veranderen simpelweg omdat er een vorige score werd getoond van een andere rechter, zelfs wanneer die vorige score volledig ongerelateerd was aan het huidige werk. Ze verzamelden acht verschillende grote taalmodellen, variërend van massieve, krachtige systemen tot kleinere, efficiëntere versies, en vroegen hen twintig verschillende teksten te beoordelen. Deze teksten bestonden uit vier verschillende gebieden: het samenvatten van artikelen, het beoordelen van computercode, het schrijven van creatieve verhalen en het beantwoorden van feitelijke vragen. De onderzoekers creëerden drie verschillende scenario's voor de AI-rechters. In het eerste scenario zag de rechter alleen de taak en de tekst. In het tweede scenario zag de rechter de tekst met een opmerking dat het een revisie was. In het derde scenario zag de rechter de tekst samen met een opmerking die een specif specifiek getal bevatte dat een "vorige score" vertegenwoordigde van een eerdere poging. Cruciaal was dat deze vorige scores willekeurige getallen waren die altijd onder de slaagcijfergrens lagen, wat betekende dat ze ontworpen waren om niet-informatief en irrelevant te zijn voor de werkelijke kwaliteit van de tekst.

De resultaten waren duidelijk en consistent over de meeste geteste modellen. Wanneer de AI-rechters de willekeurige vorige score te zien kregen, verschoof hun beoordeling aanzienlijk naar beneden. In plaats van de tekst als een op zichzelf staand werk te behandelen, leken de modellen hun oordeel te verankeren aan dat lagere getal. In de studie vertoonden zeven van de acht modellen een statistisch significante daling in scores wanneer de vorige score aanwezig was. Het effect was niet slechts een kleine fluctuatie; voor sommige modellen was de verschuiving groot genoeg om de uitkomst van de evaluatie te veranderen. Bijvoorbeeld, in een van de meest krachtige geteste modellen zorgde de aanwezigheid van een vorige score ervoor dat het acceptatiepercentage van de tekst met bijna tweeëntwintig procentpunten daalde. Dit betekent dat inhoud die als kwalitatief goed zou zijn goedgekeurd, plotseling werd afgewezen simpelweg omdat de rechter een lager getal op de achtergrond had gezien. De onderzoekers ontdekten dat dit vooroordeel niet uniform was over alle soorten taken; het was het sterkst in creatief schrijven en feitelijke vragen, terwijl codebeoordeling een zwakkere, meer inconsistente reactie vertoonde.

Om te begrijpen hoe dit binnen de machine gebeurde, keken de onderzoekers naar de specifieke woorden die de modellen overwogen terwijl ze hun scores genereerden. Ze ontdekten een patroon dat meer leek op een schakelaar die omklapt dan op een geleidelijke glijvlucht. Wanneer de vorige score werd geïntroduceerd, daalde de waarschijnlijkheid dat het model een hoge score zou kiezen scherp, en de waarschijnlijkheid dat het een lagere score zou kiezen sprong omhoog. Het veranderen van de specifieke waarde van die vorige score leek echter niet veel uit te maken; de loutere aanwezigheid van het getal triggerde de verschuiving. Dit suggereert dat de modellen niet zorgvuldig een nieuw gemiddelde berekenen, maar reageren op de aanwezigheid van de metadata zelf. De onderzoekers testten ook of eenvoudige instructies het probleem konden oplossen. Ze probeerden de modellen te vragen om stap voor stap na te denken voordat ze beoordeelden, en ze probeerden expliciet te waarschuwen om de vorige scores te negeren. Geen van beide strategieën werkte. Sterker nog, in sommige gevallen maakten de stapsgewijze instructies het vooroordeel erger, en de expliciete waarschuwing faalde om de scores te laten dalen, hoewel het wel de neiging van de modellen verminderde om het specifieke getal te volgen als ze al bevooroordeeld waren.

De studie ging verder om te zien of dit vooroordeel echte beslissingen beïnvloedde, niet alleen abstracte getallen. Met behulp van een dataset van messagingcampagnes die al door mensen waren gelabeld als ofwel veilig of verboden, testten de onderzoekers hoe de AI-rechters presteerden wanneer ze een foutieve vorige label kregen. Wanneer de AI een onjuist vorige label te zien kreeg, slaagde het er in bijna de helft van de gevallen waar het dat anders wel zou hebben gedaan, niet in om de fout te corrigeren. In plaats daarvan hield het vaak vast aan het onjuiste label dat in de metadata werd verstrekt. In een gepaard test waarbij de AI eerder het juiste antwoord had gegeven, veroorzaakte de introductie van een onjuist vorige label dat het de juiste beoordeling in meer dan tien procent van de gevallen omzette naar de onjuiste. Dit demonstreert dat het vooroordeel verder gaat dan eenvoudige scoring en zich uitstrekt tot categorische beslissingen die bepalen of inhoud is toegestaan of geblokkeerd. De onderzoekers concludeerden dat de enige betrouwbare manier om dit vooroordeel te voorkomen, het volledig verwijderen van de irrelevante metadata uit de prompt is. Ze vonden dat geen enkele hoeveelheid prompting of waarschuwing de onafhankelijkheid van de rechter volledig kon herstellen zodra die voorheen verstrekte informatie aanwezig was.

De implicaties van deze bevindingen zijn aanzienlijk voor iedereen die vertrouwt op AI voor eerlijke evaluaties. De studie laat zien dat de aanname van onpartijdigheid in geautomatiseerde systemen fragiel is. Zelfs wanneer de verstrekte informatie duidelijk irrelevant is, zijn de modellen niet immuun voor de invloed van context. Het vooroordeel is geen bug die gemakkelijk kan worden gerepareerd met een eenvoudige instructie; het lijkt een fundamenteel onderdeel te zijn van hoe deze systemen informatie verwerken. De onderzoekers benadrukten dat hoewel hun tests een specifieke set modellen en taken besloegen, de resultaten wijzen op een bredere kwetsbaarheid. Om betrouwbare systemen te bouwen, moeten ontwikkelaars de context waarin de AI opereert zorgvuldig ontwerpen, zodat geen enkele overbodige numerieke waarde of label uit eerdere stappen in de huidige evaluatie lekt. De weg vooruit vereist actieve validatie voor elk specifiek model en elke specifieke taak, in plaats van een passief geloof dat de machine de wereld helder ziet op zichzelf.