💬 NLP

Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss

Dit paper toont aan dat bestaande meertalige benchmarks voornamelijk wiskundig redeneren en feitelijke kennis meten in plaats van echte meertalige vaardigheden, en introduceert daarom 'Lost in Translation', een nieuw evaluatiekader gebaseerd op heen-en-weer vertaling dat sterk correleert met gebruikersbeoordelingen zonder menselijke referenties nodig te hebben.

Oorspronkelijke auteurs: Ronald Skorobogat, Ameya Prabhu, Matthias Bethge

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ronald Skorobogat, Ameya Prabhu, Matthias Bethge

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom de "Meertalige" Testen van AI vaak misleidend zijn (en een nieuwe manier om ze te testen)

Stel je voor dat je een kok wilt testen om te zien of hij goed kan koken in verschillende talen. De huidige manier om dit te doen, is alsof je de kok vraagt: "Los deze ingewikkelde wiskundepuzzel op in het Frans" of "Noem de hoofdstad van Brazilië in het Spaans."

Volgens de makers van dit nieuwe onderzoek (Ronald, Ameya en Matthias) is dit een groot misverstand.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het probleem: De "Wiskunde-valstrik"

De huidige tests voor de slimste AI-modellen (zoals de modellen van Kimi, DeepSeek en Qwen) lijken op schoolproefjes. Ze vragen de AI om wiskundige problemen op te lossen of feitelijke vragen te beantwoorden in verschillende talen.

De vergelijking: Het is alsof je een tolk test door hem een moeilijke natuurkunde-examen te laten maken in het Duits. Als hij het examen haalt, betekent dat niet dat hij goed Duits spreekt. Het betekent alleen dat hij goed is in natuurkunde.
De ontdekking: De onderzoekers ontdekten dat AI-modellen die "nadenken" (thinking models) deze testen fantastisch doen, maar in het echte leven (waar mensen gewoon praten en chatten) vaak slecht presteren. De tests meten eigenlijk alleen hoe goed de AI kan rekenen of feiten onthouden, niet hoe goed hij een gesprek voert of een tekst vertaalt.

2. De oplossing: De "Terugreis" (Round-Trip Translation)

Hoe testen we dan echt of een AI goed meertalig is? De auteurs stellen een simpele, slimme methode voor: De Terugreis.

De analogie: Stel je voor dat je een brief schrijft in het Nederlands. Je geeft deze brief aan de AI en vraagt: "Vertaal dit naar het Japans en vertaal het daarna direct terug naar het Nederlands."
De test: Als de AI het goed doet, zou de teruggekregen brief precies hetzelfde moeten zijn als je originele brief. Als de AI de betekenis verliest, de toon verandert of dingen vergeten, zie je dat direct in de teruggekregen tekst.
Waarom is dit beter? Je hebt geen menselijke expert nodig om te kijken of het goed is. Je vergelijkt gewoon twee teksten in je eigen taal. Als de terugreis rommelig is, is de vertaling slecht.

3. De nieuwe "LiT"-test (Lost in Translation)

De onderzoekers hebben een nieuwe test gemaakt, genaamd LiT (Lost in Translation). Dit is een soort "obstakelbaan" voor AI.

De inhoud: In plaats van droge wiskundevragen, gebruiken ze echte, levendige teksten. Denk aan:
- Formele teksten: Wetenschappelijke artikelen.
- Sociale situaties: Hoe beleefd je iemand aanspreekt.
- Straattaal: Slang, grappen en uitdrukkingen die je niet letterlijk kunt vertalen.
Het resultaat: De tests tonen een schokkend beeld.
- Voor talen die veel worden gebruikt (zoals Frans of Chinees) doen de AI's het prima.
- Voor minder bekende talen (zoals Swahili of Quechua) stort de prestatie in. De AI's produceren dan vaak onzin of teksten die niemand begrijpt. Het is alsof de AI een "kloof" heeft: hij is een superheld voor grote talen, maar een beginnende leerling voor de rest.

4. Waarom "nadenken" soms juist slecht werkt

Een verrassende bevinding is dat AI-modellen die eerst "nadenken" (een stapje terugzetten om een oplossing te bedenken) vaak slechter vertalen dan modellen die direct antwoorden.

De metafoor: Een "nadenkende" AI is als een reiziger die te veel nadenkt over de route. Hij probeert zo precies te zijn dat hij de sfeer van de reis verliest. Hij vertaalt een grap letterlijk, waardoor het geen grap meer is. Een "directe" AI is soms spontaan en houdt de geest van de tekst beter vast, zelfs als hij niet perfect is.

Conclusie: Wat betekent dit voor ons?

De boodschap van dit papier is helder: We moeten stoppen met het testen van AI met schoolproefjes.

Als we willen weten of een AI echt goed is voor de miljarden mensen die niet Engels spreken, moeten we kijken naar of de AI de betekenis en de sfeer van een tekst kan bewaren, niet of hij een wiskundepuzzel kan oplossen.

De nieuwe "Terugreis"-methode is als een eerlijke spiegel: hij laat zien waar de AI echt goed in is en waar hij faalt. En tot nu toe laat hij zien dat er nog een lange weg te gaan is voordat AI voor iedereen even goed werkt.

Titel: Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss

Auteurs: Ronald Skorobogat, Ameya Prabhu, Matthias Bethge (Tübingen AI Center)

1. Het Probleem: De Illusie van Meertalige Vooruitgang

De huidige ontwikkeling van geavanceerde meertalige modellen (frontier models) wordt sterk gestuurd door bestaande benchmarks. De auteurs stellen echter dat deze benchmarks fundamenteel misleidend zijn voor het meten van echte meertalige competentie.

Huidige Benchmarks: De standaardevaluaties (zoals MT-AIME24 voor wiskundig redeneren en INCLUDE of Global-MMLU voor algemene kennis) zijn vaak vertaalde versies van Engelstalige taken of multiple-choice vragen.
De Kernproblematiek: De auteurs tonen aan dat prestaties op deze benchmarks voornamelijk wiskundig redeneren en feitelijke kennisherinnering meten, en niet de capaciteit om taal te genereren of te begrijpen in verschillende talen.
- Bewijs: Modellen met "Thinking"-varianten (die uitgebreid redeneren) scoren veel hoger op deze benchmarks dan hun "Instruct"-varianten, maar presteren vaak slechter of gelijk op in real-world scenario's zoals LMArena (waar gebruikers echte meertalige outputs beoordelen).
- Correlatie: Er is een bijna nihilische correlatie ( $\rho = -0.09$ ) tussen MT-AIME24 scores en LMArena ratings, en een negatieve correlatie ( $\rho = -0.26$ ) voor INCLUDE.
Foutanalyse: Fouten in deze benchmarks blijken voornamelijk logische of rekenfouten te zijn, of gebrek aan feitelijke kennis, en zelden semantische misverstanden van de vertaalde vraag. Modellen redeneren vaak intern in het Engels, ongeacht de invoertaal.

2. Methodologie: Round-Trip Translation en de LiT Benchmark

Om dit probleem op te lossen, stellen de auteurs een nieuwe evaluatiemethode voor die zich richt op semantische behoud in plaats van kennisafvragen.

A. Round-Trip Translation (RTT)

In plaats van een model te vragen een vraag te beantwoorden, wordt de volgende cyclus gebruikt:

Bron: Een tekst in een brontaal (bijv. Engels).
Vertaling: Vertaal naar een doeltaal (bijv. Swahili).
Back-translation: Vertaal de output terug naar de brontaal.
Evaluatie: Vergelijk de oorspronkelijke tekst met de terugvertaalde tekst.

Voordeel: Semantische gaten (verlies van betekenis, hallucinaties, registerfouten) worden direct zichtbaar. Het vereist geen menselijke referentievertalingen en kan worden geëvalueerd door een LLM-judge zonder dat deze krachtiger hoeft te zijn dan het geteste model.

B. De "Lost in Translation" (LiT) Benchmark

De auteurs introduceren LiT, een nieuwe benchmark specifiek ontworpen voor deze methode:

Opzet: 1600 samples (200 unieke teksten x 8 taalsequenties).
Taalsequenties: 8 ketens van 4 talen die verschillende taalfamilies, scripts (Latijn, Cyrillisch, Devanagari, etc.) en hulpbronneniveaus (hoog, medium, laag) bestrijken. Voorbeelden: Japans → Koreaans → Chinees → Russisch of Swahili → Arabisch → Hausa → Amharic.
Categorieën:
- Abstracts (20%): Wetenschappelijke en humanistische teksten (test terminologische precisie).
- Pragmatics (60%): Test impliciete betekenis, discourscoherentie, beleefdheid en sociale interactie.
- Informal (20%): Slang, idioom en registerwisselingen.
Evaluatie: Gebruik van MQM (Multidimensional Quality Metrics) met een LLM-as-a-Judge (Grok 4.1 Fast). Een score van $\ge 80$ wordt beschouwd als "fit-for-purpose".

3. Belangrijkste Resultaten

A. Correlatie met Menselijke Voorkeuren

De LiT-benchmark toont een bijna perfecte correlatie ( $\rho = 0.94$ ) met gebruikersratings op LMArena. Dit bevestigt dat RTT een betrouwbare proxy is voor echte meertalige kwaliteit, in tegenstelling tot de huidige benchmarks.

B. Prestatieverschillen per Taalbron

Hoge vs. Lage Hulpbronnen: Er is een catastrofale "accuracy cliff".
- Hoge hulpbronnen: Topmodellen (zoals Gemini-3-Flash) behalen scores >90%.
- Lage hulpbronnen: Prestaties storten in. Veel modellen (zoals Qwen3-235B) halen scores onder de 50% of zelfs 0% op talen zoals Quechua of Amharic, wat betekent dat de output onbruikbaar is.
Redeneren vs. Vertalen: "Thinking"-modellen presteren vaak slechter op informele teksten dan instruct-modellen. Redeneren helpt bij het oplossen van complexe logica, maar leidt vaak tot overcomplicatie van eenvoudige, informele taal (registerfouten).

C. Robuustheid

De methode is robuust tegen klassieke kritiek op RTT (zoals het verlies van nuances in de tussenliggende stappen). Zelfs bij complexe fenomenen zoals idiomen, polysemie en syntactische ambiguïteit, blijft de rangschikking van modellen consistent met de hoofdbenchmark.

4. Bijdragen en Significantie

Kritische Analyse van Bestaande Benchmarks: Het artikel levert het bewijs dat huidige multilinguale benchmarks (MT-AIME, INCLUDE) in feite Engelstalige redenerings- en kennisbenchmarks zijn die toevallig in andere talen worden gepresenteerd. Ze meten niet of een model de taal beheerst, maar of het de taak (wiskunde/facten) kan oplossen.
Nieuwe Evaluatiestandaard (LiT): De introductie van LiT biedt een schaalbare, referentie-vrije methode om echte meertalige generatiekwaliteit te meten. Het benadrukt het belang van semantische behoud over taalbarrières.
Insight in Modelgedrag: Het onthult dat modellen intern vaak in het Engels redeneren, zelfs bij invoer in andere talen, en dat "Thinking"-mechanismen niet altijd leiden tot betere vertalingen (soms zelfs slechter bij informele taal).
Impact op de Gemeenschap: De auteurs pleiten voor een verschuiving in de evaluatie van frontier-modellen. Om modellen daadwerkelijk bruikbaar te maken voor de miljarden mensen die geen Engels als moedertaal spreken, moeten we stoppen met het meten van "Engelse redenering in andere talen" en beginnen met het meten van "echte semantische overdracht".

Conclusie

De paper concludeert dat de huidige "meertalige vooruitgang" in de AI-gemeenschap grotendeels een illusie is die wordt gecreëerd door benchmarks die redeneervermogen meten in plaats van taalvaardigheid. Round-Trip Translation via de LiT-benchmark biedt een robuust, schaalbaar en menselijk-georiënteerd alternatief om de werkelijke capaciteiten van modellen in een echte meertalige context te beoordelen.