💬 NLP

LLM Evaluators are Biased across Languages

Dit artikel toont aan dat meertalige LLM-evaluatoren een consistente, statistisch significante bias vertonen waarbij talen met minder middelen hogere scores krijgen en veiligheidsfilters gemakkelijker passeren dan talen met meer middelen, een kritiek gebrek dat onopgemerkt blijft door standaard paarwijze nauwkeurigheidsmetrieken ondanks de hoge mate van overeenstemming van de evaluatoren over relatieve rangschikkingen.

Oorspronkelijke auteurs: Ej Zhou, Lucas Resck, Zheng Hui, Anna Korhonen

Gepubliceerd 2026-07-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ej Zhou, Lucas Resck, Zheng Hui, Anna Korhonen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin elke keer dat je een vraag stelt aan een superintelligënte robot, deze antwoordt in jouw eigen taal. Deze robots, genaamd Large Language Models (LLM's), zijn als digitale encyclopedieën die verhalen kunnen schrijven, wiskundige problemen kunnen oplossen en over alles kunnen chatten. Maar hoe weten we of ze hun werk goed doen? We hebben een scheidsrechter nodig. In de wereld van AI worden deze scheidsrechters "evaluatoren" genoemd. Het zijn ofwel andere robots die getraind zijn om scores te geven, of mensachtige prompts die de AI vragen zichzelf te beoordelen. Meestal controleren we of deze scheidsrechters eerlijk zijn door te kijken of ze het "betere" antwoord tussen twee opties correct kunnen kiezen, een beetje zoals een rechter die beslist welk van twee schilderijen mooier is. Dit wordt "pairwise accuracy" genoemd. Als de scheidsrechter in 90% van de gevallen de juiste winnaar kiest, gaan we ervan uit dat ze een geweldig werk leveren en dat hun beoordeling eerlijk is, ongeacht welke taal er gesproken wordt.

Echter, er is een verborgen probleem met die aanname. Alleen omdat een scheidsrechter kan zien welk van twee schilderijen beter is, betekent dat nog niet dat ze met dezelfde liniaal meten. In de echte wereld kan een 4-sterrenrestaurant in Tokio als een culinair meesterwerk worden beschouwd, terwijl een 4-sterrenrestaurant in New York slechts als "oké" kan worden gezien. De sterren betekenen verschillende dingen afhankelijk van waar je bent. Dit artikel, getiteld "LLM Evaluators are Biased across Languages", duikt in de vraag of onze AI-scheidsrechters last hebben van dezelfde culturele verwarring. De onderzoekers wilden weten: als een AI een perfect antwoord geeft in het Engels, geeft het dan exact hetzelfde antwoord dezelfde score als het antwoord vertaald wordt naar het Hindi, Farsi of Oekraïens? Of verandert de taal zelf de score, zelfs als de betekenis exact hetzelfde blijft?

Het team zette een enorme experiment op om dit uit te zoeken. Ze namen exact dezelfde set instructies en reacties en vertaalden deze naar 23 verschillende talen, variërend van veel gesproken talen zoals Engels en Spaans tot andere talen zoals Hebreeuws en Hindi. Vervolgens vroegen ze acht verschillende soorten AI-evaluatoren — sommige die simpelweg worden aangestuurd om een score te geven, en andere die speciaal getraind zijn om een "beloningsgetal" te geven — om deze identieke antwoorden te beoordelen.

De resultaten waren een schok. De evaluatoren gebruikten niet dezelfde liniaal. Hoewel de inhoud semantisch identiek was (dat wil zeggen: het betekende exact hetzelfde), varieerden de scores enorm afhankelijk van de taal. De bias was groot: op een schaal van 1 tot 5 was het verschil tussen de hoogst scorende talen en de laagst scorende talen ongeveer 0,5 punt. Dat is een enorme kloof in de wereld van het beoordelen.

Hier komt de wending die het zo lastig maakt: de evaluatoren zagen er op papier nog steeds perfect uit. Wanneer de onderzoekers de "pairwise accuracy" controleerden (koos de scheidsrechter het betere antwoord?), waren de scores ongelooflijk hoog, vaak boven de 90%. De scheidsrechters waren consequent goed in zeggen dat "Antwoord A beter is dan Antwoord B". Maar ze waren verschrikkelijk in het consistent zijn over hoe goed Antwoord A eigenlijk was. Het is als een rechter die altijd correct de winnaar van een race kiest, maar de winnaar 100 punten geeft als hij in het Frans rent en slechts 50 punten als hij in het Duits rent.

Het artikel ontdekte een duidelijk patroon: de evaluatoren waren verrassend gul voor talen met minder middelen (low-resource languages, talen met minder beschikbare data online, zoals Hindi of Hebreeuws) en strenger voor talen met veel middelen zoals het Engels. Het is alsof de AI-rechters denken: "Ik weet niet voor de 100% zeker zeker wat een perfect antwoord in deze taal is, dus ik geef het maar een hoge score om veilig te zitten." Daarentegen voelden ze zich bij het Engels erg zelfverzekerd en streng, en hielden ze de antwoorden aan een hogere standaard.

Dit is niet alleen een getallenspel; het heeft gevolgen in de echte wereld. Veel AI-systemen gebruiken een "globale drempelwaarde" om te beslissen wat veilig is om aan gebruikers te tonen. Bijvoorbeeld, als een veiligheidsfilter is ingesteld om alles te blokkeren met een score onder een bepaalt niveau, betekent de bias dat schadelijke inhoud in talen met minder middelen veel vaker door de mazen van het net glipt. Het artikel vond dat onder een enkele globale regel, de acceptatiegraad van content met wel 43 procentpunt kon variëren tussen verschillende talen. In één specifiek voorbeeld werd een schadelijke vraag in het Engels correct geblokkeerd, maar werd exact dezelfde vraag in het Oekraïens toegelaten omdat de evaluator een hogere score gaf.

De onderzoekers onderzochten ook waarom dit gebeurt. Ze vermoedden dat het kwam doordat de AI minder zeker is over talen met minder middelen. Ze ontdekten dat wanneer de AI minder zelfverzekerd was (gemeten aan hoe verrast de AI was door de tekst), de AI de neiging had om hogere scores te geven. Echter, ze bewezen dat onzekerheid niet het hele verhaal was. Zelfs nadat ze rekening hadden gehouden met hoe verward de AI was, voorspelde de taal zelf nog steeds de score. Dit betekent dat de bias een diepgeworteld, structureel probleem is in de manier waarop deze modellen zijn gebouwd, en niet slechts een simpel geval van "ik ken deze taal niet goed".

Het artikel concludeert dat we de ruwe scores van deze AI-evaluatoren over verschillende talen heen niet simpelweg kunnen vertrouwen. Hoewel we een deel van het probleem kunnen oplossen door de scores voor elke taal aan te passen, creëert dit een nieuwe kwetsbaarheid: als iemand talen mengt in een enkele prompt (code-switching), kan het systeem in de war raken over welke taalregel toegepast moet worden en schadelijke inhoud doorlaten. De auteurs suggereren dat we, in plaats van alleen te controleren of evaluatoren de "winnaar" kunnen kiezen, systemen moeten bouwen die gekalibreerd zijn om eerlijk en consistent te zijn over alle talen, zodat een 5-sterren antwoord in het Hindi werkelijk even waardevol is als een 5-sterren antwoord in het Engels.

Technische Samenvatting: LLM-evaluatoren zijn bevooroordeeld over talen heen

1. Probleemstelling

LLM-evaluatoren, variërend van geprompte "LLM-as-a-Judge"-systemen tot getrainde beloningsmodellen (reward models), zijn standaardinstrumenten voor geautomatiseerde benchmarking, veiligheidsaudits en Reinforcement Learning from Human Feedback (RLHF). Deze systemen worden routinematig gevalideerd met behulp van pairwise accuracy (paarwijze nauwkeurigheid), wat meet of een evaluator een voorkeursrespons correct rangschikt boven een afgewezen respons.

De heersende aanname in meertalige omgevingen is dat een hoge pairwise accuracy duidt op taalneutrale scoring: semantisch identieke inhoud zou dezelfde absolute score moeten ontvangen, ongeacht de taal waarin deze wordt uitgedrukt. Dit artikel daagt die aanname uit door aan te tonen dat LLM-evaluatoren systematische, taalafhankelijke verschuivingen vertonen in pointwise scores. Gevolgelijk induceren evaluatoren die robuust lijken onder pairwise metrieken aanzienlijke verschillen in drempelwaarde-gebaseerde beslissingen, wat met name nadelig is voor of verkeerd gekalibreerd is voor minder rijke talen (lower-resource languages).

2. Methodologie

Datasets en Omvang

De auteurs voerden experimenten uit over 23 talen met semantisch identieke instructie–respons paren. De data werd afkomstig van RewardBench en de door mensen gevalideerde meertalige uitbreiding daarvan, M-RewardBench. Deze benchmarks dekken vier verschillende categorieën: Chat, Chat-Hard, Safety en Reasoning, waardoor de bevindingen een breed scala aan heterogene taakformaten en domeinen beslaan. Alle data in M-RewardBench is professioneel vertaald en door mensen gevalideerd om semantische parallelliteit te waarborgen en artefacten van machinevertaling te vermijden.

Evaluatoren

De studie evalueerde acht verschillende modellen die verschillende architecturen en trainingsparadigma's vertegenwoordigen:

LLM-as-a-Judge (4 modellen): Aya Expanse 32B, Qwen 2.5 72B, LLaMA 3.1 70B Instruct, en M-Prometheus 14B. Deze werden geprompt met een standaard 1–5 Likert-schaal rubric.
Reward Models (4 modellen): URM-LLaMA-3.1-8B, BTRM-Qwen-2-7B, Skywork-Reward-Gemma-2-27B, en Skywork-Reward-LLaMA-3.1-8B-v0.2. Deze geven continue scalaire scores zonder expliciete rubrics.

Experimenteel Ontwerp

Scoring Shift Analyse: De auteurs vergeleken de gemiddelde pointwise scores over talen heen voor identieke inhoud.
Pairwise vs. Absolute Validatie: Ze analyseerden de relatie tussen pairwise accuracy en acceptatiepercentages onder een vaste globale beslissingsdrempel.
Mechanisme Onderzoek: Om te begrijpen waarom minder rijke talen hogere scores kregen, modelleerden de auteurs de relatie tussen modelonzekerheid (gemeten via Negative Log-Likelihood, NLL) en beloningsscores. Ze gebruikten geneste Ordinary Least Squares (OLS) regressies om de variantie in scores te ontleden in componenten verklaard door onzekerheid, taalidentiteit en hun interactie.
Attack Surface Analyse: Ze testten de kwetsbaarheid van per-taal drempelstrategieën tegen code-switching prompts.

3. Belangrijkste Resultaten

Systematische Scoring Bias

Directionele Verschuiving: Evaluatoren wijzen aanzienlijk verschillende absolute scores toe aan semantisch identieke inhoud op basis van taal. De bias is substantieel en bedraagt een verschuiving van ~0,4–0,5 punt op een schaal van 1–5.
Resource Correlatie: In tegen tegenstelling tot de verwachting dat modellen slechter presteren in minder rijke talen, geven evaluatoren minder rijke talen ruimere scores. Er is een sterke negatieve correlatie tussen het taalniveau van resources (beschikbaarheid van trainingsdata) en de strengheid van de scoring (Spearman $\rho = -0,81$ voor reward modellen). Talen zoals Hindi, Hebreeuws en Arabisch ontvangen de hoogste scores, terwijl Engels, Italiaans en Frans de laagste ontvangen.
Cross-Model Consistentie: Deze bias is geen artefact van een enkel model. Het houdt stand bij alle acht evaluatoren, inclus\n bij frontier modellen (GPT-4.1-mini, Qwen3-32B), en is consistent over verschillende architecturen (LLaMA, Qwen, Gemma) en trainingsparadigma's.

De Blinde Vlek van Pairwise Accuracy

Hoge Nauwkeurigheid, Divergerende Uitkomsten: Evaluatoren behouden een uniform hoge pairwise accuracy (>90%) over alle talen heen. Echter, onder een vaste globale beslissingsdrempel (bijv. de 50ste percentiel), variëren de acceptatiepercentages met wel 43 procentpunten tussen talen.
Veiligheidsimplicaties: Deze discrepantie betekent dat schadelijke inhoud in minder rijke talen aanzienlijk vaker door veiligheidsfilters komt dan identieke inhoud in rijke talen. Bijvoorbeeld: een afgewezen Engelse respons kan een score van -4,51 hebben (gefilterd), terwijl de Oekraïense tegenhanger +3,57 scoort (doorgelaten), ondanks identieke semantische inhoud.

Mechanisme: Onzekerheid vs. Structurele Bias

Onzekerheid Correlatie: Er is een sterke positieve correlatie tussen modelonzekerheid (hogere NLL) en beloningsscores. Modellen hebben de neiging hogere scores te geven wanneer ze minder zelfverzekerd zijn over de inhoud.
Onzekerheid is Niet de Enige Oorzaak: Hoewel onzekerheid een deel van de variantie verklaart, blijft taalidentiteit een significante voorspeller, zelfs na controle voor NLL.
Structurele Misalignment: Regressies binnen één taal laten zien dat de relatie tussen de moeilijkheid van een instantie (NLL) en de score inconsistent en domeinafhankelijk is (vaak negatief in Chat-taken). Dit bevestigt dat de bias een structurele, taal-niveau misalignment is in plaats van een eenvoudige reactie op de moeilijkheid van de inhoud.

Kwetsbaarheid van Mitigatiestrategieën

Code-Switching Attacks: Een voorgestelde mitigatie—het gebruik van per-taal drempelwaarden—vereist betrouwbare taalidentificatie (LID). De auteurs demonstreren dat code-switched prompts (bijv. een Engelse wrapper rondom Hindi-inhoud) LID-tools kunnen verslaan. Als het systeem de taal als Engels identificeert, past het een milde Engelse drempel toe op inhoud die de evaluator eigenlijk tegen een striktere Hindi-baseline beoordeelt, waardoor de acceptatiepercentages kunstmatig stijgen van 50% naar 75%.

4. Bijdragen

Taalafhankelijke Scoring Verschuivingen: Het artikel toont aan dat LLM-evaluatoren een systematische, cross-model consistente bias vertonen in pointwise scores, waarbij minder rijke talen genereuzer worden gescoord. Deze bias blijft aanwezig in frontier judges.
Blinde Vlek van Pairwise Accuracy: Het stelt vast dat pairwise accuracy structureel blind is voor deze verschuivingen, waardoor ernstige verschillen in acceptatiepercentages onder globale drempels worden gemaskeerd. Het benadrukt dat per-taal drempelwaarden kwetsbaar zijn voor code-switched inputs.
Mechanisme Analyse: De studie onderzoekt het "waarom" en vindt dat hoewel modelonzekerheid correleert met de bias, taalidentiteit een voorspellende factor blijft na controle voor onzekerheid. Het effect kan niet louter worden gereduceerd tot het niveau van de moeilijkheid van de instantie.

5. Betekenis en Claims

De auteurs stellen dat de huidige afhankelijkheid van pairwise accuracy als de primaire validatiemetriek voor meertalige evaluatoren onvoldoende is. De bevindingen suggereren dat niet-gekalibreerde cross-linguale biases een risico vormen voor de inzet van minder rijke talen in veiligheidsauditing en RLHF.

Praktische Implicatie: Het behandelen van ruwe evaluator scores als vergelijkbaar over talen heen zonder kalibratie is gevaarlijk. Hoewel per-taal offset-correcties de verschillen in acceptatiepercentages met ~60% kunnen verkleinen, elimineren ze de structurele variantie (taal $\times$ item interacties) niet en introduceren ze nieuwe aanvalsoppervlakken via LID-fouten.
Toekomstige Richting: Het artikel pleit voor een verschuiving van post-hoc correctie naar principiële oplossingen in de training, zoals taalbewuste kalibratie van beloningsmodellen, normalisatie van taal-geconditioneerde scores tijdens RLHF, en evaluatieprotocollen die expliciet testen op cross-linguale score-consistentie naast pairwise accuracy.

De studie concludeert dat de gemeenschap de meertalige bias in LLM-evaluatoren moet erkennen als een structureel probleem, waarbij men verder moet kijken dan relatieve rangschikkingsmetrieken om eerlijke en betrouwbare absolute scoring over talen heen te garanderen.