💬 NLP

Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation

Dit artikel onderzoekt de betrouwbaarheid van meertalige LLM-evaluaties door aan te tonen dat vertaalfouten in machinevertaalde benchmarks significant bijdragen aan dalingen in nauwkeurigheid en dat methoden voor automatische foutdetectie een niet-triviale overeenkomst vertonen met menselijke annotaties.

Oorspronkelijke auteurs: Klaudia-Doris Thellmann, Bernhard Stadler, Michael Färber, Jens Lehmann

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Klaudia-Doris Thellmann, Bernhard Stadler, Michael Färber, Jens Lehmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een klas leerlingen moet beoordelen die verschillende talen spreken. Je hebt een beroemde toets in het Engels (de "Gouden Standaard"). Om te zien hoe goed je leerlingen Spaans, Frans of Duits spreken, neem je die Engelstalige toets, voer je deze door een vertaalmachine en geef je de vertaalde versies aan je leerlingen.

De grote vraag die dit artikel stelt is: Wat gebeurt er als de vertaalmachine fouten maakt?

De auteurs, een team onderzoekers, ontdekten dat deze vertaalfouten niet zomaar kleine typefouten zijn; ze zijn als kuilen in de weg die zelfs de slimste leerlingen kunnen laten crashen, zelfs als ze het antwoord in het Engels perfect wisten.

Hier is een uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. De "Robotleeraar" versus de Menselijke Expert

De onderzoekers wilden weten: Kunnen we andere AI-modellen vertrouwen om deze vertaalkuilen op te sporen, of hebben we een menselijke expert nodig?

Het Experiment: Ze namen een reeks vertaalde toetsvragen en vroegen vier verschillende "Robotleeraren" (AI-modellen zoals GPT-5.2, Mistral, enz.) om exact aan te geven waar de vertaling fout ging. Ze vergeleken het werk van de robots met een "Gouden Standaard" die door professionele menselijke taalkundigen was opgesteld.
Het Resultaat: De robots waren goed, maar niet perfect. Een robot, GPT-5.2, was het beste in het vinden van de kuilen en stemde ongeveer de helft van de tijd overeen met de menselijke experts. De andere robots waren veel minder nauwkeurig.
De Vangst: De robots raakten vaak in de war over waar de fout begon en eindigde. Het is alsof twee mensen proberen een kring om een vlek op een overhemd te tekenen; ze kunnen het erover eens zijn dat er een vlek is, maar de ene tekent een heel klein cirkeltje om het midden, terwijl de andere een enorm cirkeltje tekent dat de hele mouw omvat.

2. De "Bron van het Probleem" (Wie is er schuldig?)

Soms is de Engelstalige toetsvraag zelf raar of verwarrend. Soms maakt de vertaling het erger. De onderzoekers wilden weten: Faalt de leerling omdat de Engelse vraag slecht was, of omdat de vertaling het verpest heeft?

De Analogie: Stel je een wiskundeprobleem voor dat zegt: "Als een auto 50 mijl aflegt in 2 uur..."
- Bronprobleem: De Engelse vraag is gebroken en zegt: "Als een auto 50 mijl aflegt in 2 appels..." (Het origineel is onzin).
- Vertaalprobleem: Het Engels is prima, maar de vertaler verandert "mijl" in "kilometer" en "uren" in "minuten", waardoor het wiskundeprobleem onoplosbaar wordt.
De Bevinding: De onderzoekers ontdekten dat vertaalfouten de echte veroorzakers van problemen zijn. Zelfs wanneer de Engelse vraag perfect en oplosbaar was, zorgde de vertaalde versie ervoor dat de AI-leerlingen het antwoord ongeveer 6 tot 11 procentpunten vaker fout hadden, puur vanwege de vertaalfouten.

3. De "Scoredaling" versus de "Rangschikking"

Dit is het meest verrassende deel. De onderzoekers vroegen zich af: Als we magisch alle vertaalfouten zouden oplossen, zou de ranglijst van AI-modellen dan veranderen?

De Analogie: Stel je een race voor waarbij elke renner 10 meter achter de startlijn begint vanwege een vertaalfout.
- Het Resultaat: Als je iedereen 10 meter naar voren zet (de vertaling corrigeer), wordt iedereen sneller. De renner die op de 1e plaats stond, staat nog steeds op de 1e plaats. De renner op de 10e plaats staat nog steeds op de 10e plaats. De volgorde van de winnaars verandert niet.
- Het Probleem: Echter, de tijden zijn allemaal verkeerd. Je denkt dat de winnaar een race van 10 seconden heeft gelopen, maar ze hebben eigenlijk een race van 9 seconden gelopen. Je onderschat het ware vermogen van iedereen.
De Conclusie: Vertaalfouten werken als een universeel gewicht dat aan elk AI-model is bevestigd. Ze trekken ieders score evenveel naar beneden. Dus, terwijl de "Ranglijst" (wie nummer 1 is) hetzelfde blijft, zijn de werkelijke scores bevooroordeeld en te laag. We vertellen de wereld: "Deze AI is maar 80% slim", terwijl ze misschien eigenlijk 85% slim is, puur omdat de toets slecht was vertaald.

Samenvatting van de Kernboodschap

Het artikel concludeert dat het gebruik van machine-vertaalde benchmarks om AI te testen riskant is.

Robots zijn nog niet perfect in het opsporen van vertaalfouten.
Vertaalfouten veroorzaken echte, meetbare dalingen in prestaties (ongeveer 6–11 punten lagere nauwkeurigheid).
De rangschikking van AI-modellen is stabiel (de winnaar is nog steeds de winnaar), maar de scores zijn onterecht laag.

Het is alsof je een kookwedstrijd beoordeelt waarbij de ingrediënten zijn vertaald vanuit een andere taal. De beste chef-kok wint misschien nog steeds, maar de jury denkt dat het eten slechter smaakt dan het eigenlijk doet, omdat het recept bij vertaling een beetje verward was.

Technische Samenvatting: Kwantificering van de Impact van Vertaalfouten op Meertalige LLM-Evaluatie

Probleemstelling

Machinevertaalde benchmarks zijn de standaard voor het beoordelen van de meertalige capaciteiten van Large Language Models (LLM's). De kwaliteit van deze vertalingen wordt echter vaak over het hoofd gezien, wat "vertaalarifacten" introduceert die de betrouwbaarheid en vergelijkbaarheid van evaluatieresultaten ondermijnen. Hoewel eerdere studies hebben vastgesteld dat vertaalfouten cross-linguale benchmarks kunnen bevooroordelen (bijv. XNLI, MMLU), vertrouwen bestaande studies vaak op handmatige inspectie van kleine steekproeven of grove heuristieken (bijv. verhoudingen van zinslengte) die niet nauwkeurig genoeg zijn om specifieke fouttypen en locaties te identificeren. Bovendien is het onduidelijk hoe goed geautomatiseerde tools voor foutdetectie op span-niveau (zoals LLM's die fungeren als beoordelaars of modellen voor kwalitatieve schatting) overeenkomen met deskundige menselijke annotaties op natuurlijk voorkomende benchmarkvertalingen, en in welke mate vertaalfouten aan de doeltaal specifiek dalingen in nauwkeurigheid veroorzaken in vergelijking met anomalieën aan de brontaal.

Methodologie

De auteurs sluiten deze gaten aan met een drievoudige aanpak die menselijke annotatie, geautomatiseerde span-localisatie en statistische prestatiemodellering omvat.

1. Menselijke en LLM-spanannotatie (EU20-subset)

De studie maakt gebruik van een subset van de EU20-benchmarksuite, bestaande uit DeepL-vertalingen van MMLU, ARC, HellaSwag, GSM8K en TruthfulQA naar 20 EU-talen.

Menselijke Referentie: Professionele taalkundigen hebben handmatig 225 segmenten geannoteerd over negen doeltalen (Germaans, Romaans, Oeraals, Slavisch, Baltisch) met behulp van een door MQM geïnspireerd, span-gebaseerd protocol. Annotatoren identificeerden foutspans, wezen ernst toe (Groot/Klein) en onderscheidden tussen Nauwkeurigheid (trouw) en Vloeiendheid/Stijl-fouten.
Geautomatiseerde Annotatie: Vier instructie-getrainde LLM's (GPT-5.2, GPT-4o-mini, LLaMA-4, Mistral-Large) en een span-bewuste Kwaliteitsschatting-baseline (xCOMET-XXL) kregen de opdracht om MQM-stijl foutspans te genereren op dezelfde data.
Metingen: De overeenkomst werd gemeten met behulp van greedy 1:1-matchen met positie-gebaseerde overlapcoëfficiënten (OC) en string-gebaseerde 3-gram Dice-ähnelijkheid (SIM). Drempelvrije karakter-overlapmetrieken (Char-F1) en Krippendorff's unitizing alpha werden ook ingezet om robuustheid te beoordelen.

2. Meta-evaluatie (Span-ACESRef)

Om de natuurlijk voorkomende EU20-data aan te vullen, construeerden de auteurs Span-ACESRef, een opgeschoonde projectie van de SPAN-ACES-dataset. Deze bron isoleert enkele, gerichte foutverschijnselen door bewerkingen tussen "goede" en "onjuiste" vertalingen af te beelden op een menselijke referentie. Deze dataset (1.407 items) maakt een gecontroleerde evaluatie van de precisie van span-localisatie mogelijk, waarbij wordt onderscheid gemaakt tussen "klassieke" (exacte match) en "tolerante" (grens-flexibele) matchmetrieken.

3. Analyse van Prestatie-impact

De auteurs koppelden foutannotaties op span-niveau aan downstream LLM-prestaties met behulp van logistische regressie.

Data: Een gepaarde subset van 651 item-taalparen (4.993 observaties) uit MMLU, ARC en GSM8K.
Variabelen: Binaire indicatoren voor Fouten aan de doeltaal (T) en Problemen aan de brontaal (S).
Controles: De modellen controleerden voor of het evaluatiemodel het Engelse origineel had opgelost ( $y_{EN}$ ), evenals voor vaste effecten voor taal, dataset en het evaluatiemodel zelf.
Analyse: Gemiddelde marginale effecten (AME's) werden berekend om de daling in nauwkeurigheid in punten te schatten die geassocieerd is met vertaalfouten. Een contrafactuele analyse ( $T=0$ ) werd uitgevoerd om te bepalen of het verwijderen van vertaalfouten de relatieve systeemrangschikkingen zou veranderen.

Belangrijkste Bijdragen

Mens-LLM-spanovereenkomst: Het paper publiceert een professionele MQM-referentie op span-niveau voor een EU20-subset en evalueert geautomatiseerde annotatoren hierop. GPT-5.2 toont de hoogste overeenkomst met menselijke annotaties (gemiddelde OC Span-F1 van 0,55), en presteert beter dan andere LLM's en de xCOMET-XXL-baseline.
Span-ACESRef-validatie: De auteurs introduceren Span-ACESRef als een gecontroleerde benchmark voor span-localisatie. Resultaten geven aan dat hoewel klassieke matchscores laag zijn, tolerante match-scores aanzienlijk hoger zijn, wat suggereert dat veel meningsverschillen grens-nabij-misses zijn in plaats van volledige detectiefouten.
Gekwantificeerde Prestatie-impact: Met behulp van logistische regressie met Engelse controles isoleert de studie de impact van vertaalfouten. Fouten aan de doeltaal zijn consistent geassocieerd met dalingen in nauwkeurigheid van 6–8 procentpunten (pp) in het volledige model en 6–11 pp wanneer beperkt tot items die in het Engels oplosbaar zijn.

Resultaten

Kwaliteit van Annotatie: GPT-5.2 is de sterkste geautomatiseerde annotator, hoewel de absolute overeenkomst met mensen niet triviaal blijft (F1 ~0,55). Andere modellen (Mistral-Large, GPT-4o-mini, LLaMA-4) vertonen aanzienlijk lagere overeenkomst. xCOMET-XXL presteert beter dan kleinere LLM's maar slechter dan GPT-5.2.
Bron- versus Doelfouten: Anomalieën aan de brontaal (S) tonen een zwakkere en minder stabiele negatieve associatie met nauwkeurigheid in vergelijking met fouten aan de doeltaal (T). Het effect van vertaalfouten blijft bestaan, zelfs na controle voor bronproblemen en Engelse correctheid.
Omvang van Impact: Een vertaling met ten minste één geannoteerde fout is geassocieerd met een aanzienlijk verlies aan nauwkeurigheid. Bijvoorbeeld, met behulp van GPT-5.2-annotaties, is de geschatte totale verliezen ongeveer 4,3 pp in het volledige model en 5,6 pp in de subset die in het Engels oplosbaar is.
Stabiliteit van Rangschikking: Contrafactuele analyse toont aan dat hoewel vertaalfouten absolute scores significant verlagen, ze zich gedragen als een relatief uniforme straf over systemen heen. Bijgevolg blijven relatieve systeemrangschikkingen (leaderboard-volgorde) zeer stabiel (Spearman's $\rho \approx 1,0$ ), zelfs wanneer vertaalfouten hypothetisch worden verwijderd.

Betekenis en Claims

Het paper claimt dat vertaalde leaderboards intern stabiel kunnen blijven in hun relatieve volgorde, terwijl ze tegelijkertijd de absolute meertalige prestaties onderschatten. De aanwezigheid van vertaalfouten introduceert een systematische neerwaartse bias in de gemeten nauwkeurigheid die niet louter een artefact is van problemen aan de brontaal.

De auteurs benadrukken dat huidige evaluatiepraktijken weliswaar de rangschikking van modellen kunnen behouden, maar dat de absolute prestatieschattingen bevooroordeeld zijn. Dit suggereert dat de gemeenschap niet uitsluitend kan vertrouwen op machinevertaalde benchmarks voor precieze prestatiekwantificering zonder rekening te houden met vertaalkwaliteit. Het werk pleit voor de integratie van foutanalyse op span-niveau in protocollen voor benchmarkpublicatie om deze bias beter te begrijpen en te mitigeren.

De auteurs blijven bescheiden wat betreft hun claims, en merken op dat hun bevindingen correlatief zijn en specifiek voor de geselecteerde benchmarks, MT-systemen en geëvalueerde LLM's. Zij erkennen beperkingen zoals het gebrek aan hoogwaardige, op spans geannoteerde referenties voor low-resource talen en de inherente subjectiviteit bij het definiëren van span-grenzen.