The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks

Technische Samenvatting: De Translatiebelasting Is Geen Scalar

Probleemstelling
De evaluatie van Large Language Models (LLM's) in meertalige contexten vertrouwt vaak op vertaalde benchmarks (bijv. MMMLU, Belebele, XCOPA). Een heersende aanname, de "Translatiebelasting" genoemd, stelt dat vertaalde benchmarks modelscores kunstmatig opblazen omdat modellen restant-Engelse bronkoppelingen benutten die door de vertaling behouden blijven, in plaats van oprechte taalbegrip te demonstreren. De literatuur mist echter een rigoureuze kwantificering van dit effect. Bestaande zorgen over vertalingsartefacten (bijv. Artetxe et al., 2020) en representativiteitsgaten (bijv. Sitaram, 2025; Wu et al., 2025) suggereren dat door vertaling veroorzaakte scoreschommelingen complex zijn, maar nog geen enkele studie heeft deze schommelingen systematisch ontleed in door koppelingen gedreven inflatie versus semantische degradatie over meerdere schattingsstrategieën heen.

Methodologie
Dit artikel voert een counterfactuele audit uit van Engels-naar-Chinese benchmarks met behulp van een triangulatiebenadering met vier verschillende schatters om de "Translatiebelasting" (TT) te isoleren. De studie maakt gebruik van een gestratificeerde subset van 228 items uit MMMLU en 100 items uit Belebele, geëvalueerd over negen modellen (Groep A: Engels-gecentreerde frontier; Groep B: Chinees-geoptimaliseerd; Groep C: Open-source meertalig).

1. Schatter E1 (Terugvertaling): Meet het scoreverschil tussen originele Engelse items en items die via het Chinees terug naar het Engels zijn "geround-tripped". Dit dient als proxy voor structurele koppingsresidu's, maar wordt erkend als een ruisende bovengrens vanwege ruis bij terugvertaling en verlies aan natuurlijkheid.
2. Schatter E2 (Tweetalige Moedertaalannotatie): Een kalibratiepoging waarbij annotatoren items scoren op koppingsidentificeerbaarheid, cultureel residu en syntactisch residu. In deze studie werd dit uitgevoerd als een kalibratie van een rubric met 30 items door één annotator met behulp van een LLM, dienend als controle op de dekking van de rubric in plaats van als een volledige menselijke schatter.
3. Schatter E3 (INCLUDE Non-Translation Control): Vergelijkt prestaties op vertaalde MMMLU-Chinees met INCLUDE-Chinees, een dataset die oorspronkelijk uit regionale examens is afkomstig. Dit biedt een vergelijking voor externe validiteit, hoewel er geen matching op item-niveau is.
4. Schatter E4 (Matched LLM-Naturalisatie Stress Test): Een counterfactueel scenario waarbij de inhoud van het item (antwoord, opties, semantiek) vastgehouden wordt terwijl de Chinese oppervlaktevorm door een LLM wordt herschreven om "natuurlijker" te zijn. Dit is de enige schatter die de natuurlijke oppervlakte varieert terwijl de inhoud vastgehouden wordt. Een kritieke methodologische stap bestond uit het corrigeren van een bug bij het opstellen van prompts (dubbele keuzelabels) in de eerste run, wat de resultaten aanzienlijk veranderde.

Belangrijkste Resultaten
De studie concludeert dat de Translatiebelasting geen uniforme scalar correctie is, maar een set validiteitsrisico's die afhankelijk zijn van de schatter en het item.

• E1 (Terugvertaling): Puntschattingen zijn klein (variërend van 0,000 tot +0,047). Hoewel vijf van de zes model-benchmark-cellen positieve schattingen toonden, bevatten de betrouwbaarheidsintervallen voor de meeste nul. De enige cel die nul net niet uitsloot (MMMLU/gpt-5.4-mini) werd geïdentificeerd als kwetsbaar voor de parser. Item-geclusterde bootstrapping leverde een klein positief gemiddeld effect op (+0,022, 95% CI [0,001, 0,044]), wat suggereert dat een kleine translatiebelasting bestaat, maar deze zeer gevoelig is voor de validiteit van de parser.
• E2 (Annotatie): De kalibratierun vond geen correlatie tussen koppelingsscores en prestatiewinst op item-niveau. Het gpt-4o-model toonde een negatieve correlatie, en de data werd gedomineerd door gelijke scores, waardoor deze schatter op deze schaal inconclusief is voor koppelingsexploitaties.
• E3 (INCLUDE Control): Engels-gecentreerde modellen (Groep A) toonden bijna nulverschillen tussen vertaalde MMMLU en native INCLUDE. Chinees-geoptimaliseerde modellen (Groep B) toonden gemengde resultaten: twee modellen (deepseek-chat, qwen-max) presteerden aanzienlijk slechter op vertaalde MMMLU dan op native INCLUDE, terwijl een derde (glm-4.5) een positief verschil toonde. Dit suggereert dat interacties tussen model-families mogelijk zijn, maar verward worden door domeinverschillen (academisch versus regionaal examen).
• E4 (Naturalisatie): Na correctie van de prompt-bug vond de studie geen statistisch significante interactie tussen model-families. De eerdere claim in het concept van een sterke interactie was een artefact van de bug in combinatie met de kwetsbaarheid van de parser van glm-4.5. Een dosis-respons effect bleef echter bestaan: items met een hoog "translatieresidu" (waar modellen eerder faalden in het Chinees maar slaagden in het Engels) toonden een prestatiewinst bij naturalisatie (+0,103), terwijl items met laag residu geen winst toonden (-0,015).

Betekenis en Claims
Het artikel betoogt dat de "Translatiebelasting" niet kan worden behandeld als een enkele scalar waarde die van benchmarkscores moet worden afgetrokken. In plaats daarvan zijn validiteitsrisico's heterogeen:

1. Afhankelijkheid van de Schatter: Verschillende proxies leveren verschillende groottes en richtingen van effect op.
2. Afhankelijkheid van het Item: De belasting is geconcentreerd op specifieke items met hoog translatieresidu, niet uniform verdeeld over de benchmark.
3. Afhankelijkheid van het Model: Hoewel geaggregeerde effecten van model-families grotendeels afwezig waren of verward werden door domeinfit, spelen kwetsbaarheid van de parser en prompt-gevoeligheid een kritieke rol in waargenomen scores.

De auteurs concluderen dat vertaalde benchmarks validiteitsrisico's introduceren die het beste worden begrepen als een set voorwaarden in plaats van een vaste straf. Zij publiceren een rapportagechecklist voor toekomstige papers over vertaalde benchmarks, met nadruk op de noodzaak om de reikwijdte van de schatter, kwetsbaarheid van de parser en contrasten tussen subgroepen te onthullen. De studie claimt niet de "latente" Translatiebelasting direct te hebben gemeten, maar biedt wel een kader om te identificeren wanneer en waar vertalingskoppelingen scores kunstmatig kunnen opblazen.