💬 NLP

Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets

Dit artikel introduceert een volledig geautomatiseerd framework dat test-tijd berekeningsstrategieën, waaronder T-RANK, gebruikt om hoge-kwaliteit vertalingen van benchmarks en datasets te genereren in acht Oost- en Zuid-Europese talen, waardoor de betrouwbaarheid van multilinguale LLM-evaluatie aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Hanna Yukhymenko, Anton Alexandrov, Martin Vechev

Gepubliceerd 2026-02-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanna Yukhymenko, Anton Alexandrov, Martin Vechev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De "Vertaal-Remixer": Hoe we AI-benchmarks eindelijk goed vertalen

Stel je voor dat je een heel moeilijk, internationaal examen hebt. Het is ontworpen om te testen hoe slim een computer (een AI) is. Maar nu wil je dit examen ook gebruiken voor mensen die in Oost- en Zuid-Europa wonen, zoals in Oekraïne, Roemenië of Griekenland.

Het probleem? Als je dit examen simpelweg vertaalt met een standaard tool (zoals Google Translate), gaat er veel verloren. Het is alsof je een complexe puzzel uit elkaar haalt, de stukjes vertaalt en ze weer in elkaar zet, maar dan past de vorm van de stukjes niet meer. De vragen en de antwoorden kloppen niet meer met elkaar, of de grammatica verraat per ongeluk het juiste antwoord. De AI haalt dan niet de test, maar leest alleen maar de "grammaticale hints".

De auteurs van dit paper hebben een oplossing bedacht: Recovered in Translation. Laten we kijken hoe dit werkt met een paar creatieve vergelijkingen.

1. Het Probleem: De "Losse Prik"

Bij de oude methoden werden vragen en antwoorden vaak apart vertaald.

De Analogie: Stel je voor dat je een recept voor een taart vertaalt. Je vertaalt de ingrediëntenlijst in het Nederlands, maar de instructies "bak 30 minuten" vertaal je in het Frans. Als je de taart nu probeert te maken, krijg je een rommeltje.
In de AI-wereld: Als een vraag vraagt: "Welk dier heeft een staart?" en de opties zijn "een hond" en "een vis", maar door een vertaalfout staat er in de vraag een woord dat alleen bij "hond" past, dan weet de AI het antwoord al zonder na te denken. Dat is niet eerlijk.

2. De Oplossing: De "Super-Vertaal-Workshop"

De auteurs hebben een nieuw systeem gebouwd dat werkt als een slimme workshop met vier verschillende teams (methoden). In plaats van één persoon die vertaalt, laten ze een team van AI's samenwerken om het beste resultaat te krijgen.

Hier zijn de vier "teams" in hun workshop:

Team 1: De Snelle Schrijver (Self-Check)
Dit is de basis. De AI vertaalt snel en kijkt daarna even zelf na: "Zit hier iets raars in?". Dit werkt goed voor simpele teksten, maar bij moeilijke examenvragen kan de AI soms zelf fouten verzinnen terwijl hij probeert ze te vinden.
Team 2: De Loterij (Best-of-N)
De AI maakt 5 of 10 verschillende versies van dezelfde vertaling. Vervolgens laat een andere AI (de "jury") deze versies beoordelen en kiest de beste.
- Het nadeel: De jury heeft soms een voorkeur voor de eerste versie die hij ziet, of hij is niet goed genoeg in het geven van cijfers. Het is alsof je 10 schilderijen laat beoordelen, maar de jury kijkt alleen naar het eerste en zegt: "Ja, dit is wel oké."
Team 3: De Mosaïek-Maker (USI - Universal Self-Improvement)
Dit team maakt ook 5 versies, maar in plaats van er één te kiezen, vraagt de AI: "Neem het beste stukje van versie 1, het beste stukje van versie 2, en combineer ze tot één perfecte versie."
- De analogie: Het is alsof je een collage maakt van de beste foto's van een vakantiegroep. Je neemt de beste lach van de ene foto, de beste achtergrond van de andere, en maakt er één perfecte foto van.
Team 4: De Strijdkamp (T-RANK - De Sterkste)
Dit is de ster van het verhaal. Hier maken ze ook 5 versies, maar ze laten ze niet zomaar beoordelen. Ze zetten ze in een competitie.
- De truc: Om te voorkomen dat de jury voorkeur heeft voor het eerste of laatste item, draaien ze de volgorde elke ronde een beetje. Versie A is eerst, dan is het tweede, dan derde. Zo ziet de jury elke versie in elke positie.
- Het resultaat: De AI moet echt nadenken en vergelijken: "Is versie 3 echt beter dan versie 1, of vind ik het alleen maar beter omdat het nu als eerste staat?" Uiteindelijk kiezen ze de winnaar en maken ze hem nog even perfect.
- De analogie: Het is alsof je 5 zangers laat zingen, maar je wisselt de volgorde van optreden elke ronde. De jury moet eerlijk oordelen op kwaliteit, niet op wie het eerst hoorde.

3. Wat hebben ze bereikt?

Ze hebben dit systeem gebruikt om beroemde AI-examens (zoals MMLU en Winogrande) te vertalen naar 8 talen (Oekraïens, Bulgaars, Turks, etc.).

Het resultaat: De vertalingen zijn veel natuurlijker en eerlijker.
De test: Toen ze nieuwe AI-modellen (zoals Llama en Gemma) op deze nieuwe, betere examens lieten testen, scoorden ze hoger dan op de oude, slecht vertaalde versies.
De les: Het bleek dat de AI's niet per se "dommer" waren dan gedacht; de oude examens waren gewoon slecht vertaald, waardoor de AI's faalden door vertaalfouten, niet door gebrek aan intelligentie.

Conclusie

Dit paper is als een kwaliteitscontrole-laboratorium voor vertalingen. Ze tonen aan dat als je slimme AI-methoden gebruikt om vertalingen te "remixeren" en te vergelijken (in plaats van ze simpelweg te kopiëren), je veel eerlijkere en betere tests krijgt voor AI's in talen die vaak worden vergeten.

Het is alsof ze zeggen: "Stop met het vertalen van examens met een simpele vertaalmachine. Gebruik een team van slimme AI's die tegen elkaar strijden en samenwerken, zodat de test echt meet wat de AI kan, en niet wat de vertaler niet kan."

Probleemstelling

De betrouwbaarheid van evaluaties voor meertalige Large Language Models (LLM's) wordt momenteel ondermijnd door de inconsistente kwaliteit van vertaalde benchmarks. Bestaande resources lijden vaak onder:

Semantische drift en contextverlies: Vertalingen van vragen en antwoorden die apart worden uitgevoerd, leiden tot grammaticale en contextuele mismatches.
Onvolledige vertalingen: Bestaande benchmarks (zoals MuBench of Global-MMLU) vertrouwen vaak op oudere LLM's of klassieke machinevertalingstools (zoals Google Translate) zonder adequate instructie-prompting.
Specifieke taalkundige valkuilen: Voor talen met complexe grammatica (zoals geslachtsgebonden bijvoeglijke naamwoorden in Oost- en Zuid-Europese talen) kan een onnauwkeurige vertaling per ongeluk het juiste antwoord onthullen ("answer leakage"), waardoor modellen presteren op basis van taalvaardigheid in plaats van redeneervermogen.
Gebrek aan schaalbaarheid: Er is geen efficiënte, geautomatiseerde pipeline die hoge kwaliteit vertalingen garandeert voor mid-resource talen zonder intensief menselijk toezicht.

Methodologie

De auteurs presenteren een volledig geautomatiseerd framework dat test-time compute scaling-strategieën toepast om datasets en benchmarks te vertalen. Het framework ondersteunt twee configuratiemodi: Dataset (rechttoe-rechtaan) en Benchmark (waarbij de relatie tussen vraag en antwoord behouden moet blijven).

Het framework implementeert vier vertaalmethoden, variërend van lichtgewicht tot geavanceerd:

SC (Self-Check): Een eenvoudige 0-shot vertaling, optioneel gevolgd door een zelfcontrole-fase waarbij het model de vertaling evalueert en corrigeert. Dit is kostenefficiënt maar kan leiden tot hallucinaties.
Best-of-N (BoN): Het genereren van $N$ vertalingen bij een hogere temperatuur (diversiteit), waarna het model elke kandidaat scoort (1-10) op basis van criteria. De hoogst gescoorde wordt gekozen. Dit heeft beperkingen door positionele bias (het model geeft vaak de eerste opties een hogere score).
USI (Universal Self-Improvement): Gebaseerd op Universal Self-Consistency en Fusion-of-N. Het model genereert $N$ kandidaten en vraagt vervolgens aan een evaluator om de beste kenmerken van alle kandidaten te combineren tot één optimale versie. Dit is kostenefficiënt ( $N+1$ calls).
T-RANK (Translation Ranking): De voorgestelde innovatie.
- Het genereert $N$ kandidaten.
- Een "judge"-model rangschikt deze kandidaten in meerdere rondes.
- Cruciaal: Om positionele bias te minimaliseren, worden de kandidaten systematisch door verschillende posities geschoven in een sequentiële grid-strategie (elke kandidaat komt elke positie een keer voor).
- Na de ranking wordt de beste kandidaat geoptimaliseerd en gecorrigeerd door het model, waarbij het de sterke en zwakke punten van alle varianten in overweging neemt.
- Dit vereist $2N+1$ calls, maar levert de hoogste kwaliteit op door subtielere fouten te detecteren.

Het framework is volledig configureerbaar, waardoor gebruikers kunnen kiezen tussen kosten en kwaliteit per taal.

Belangrijkste Bijdragen

Analyse van bestaande benchmarks: Een grondig onderzoek dat de oorzaken van vertaalfouten in huidige meertalige benchmarks (zoals MuBench, Global-MMLU, Okapi) blootlegt, met name de impact van gescheiden vertaling van vragen en antwoorden.
Nieuw Geautomatiseerd Framework: Een flexibele pipeline die schaalbare vertaling mogelijk maakt voor zowel open-weight als gesloten modellen, met specifieke aandacht voor de behoud van de QA-structuur.
Nieuwe Methodologie (T-RANK): De introductie van een competitieve ranking-methode die positionele bias reduceert en superieure vertaalkwaliteit bereikt ten opzichte van Best-of-N en USI, vooral bij complexe vraagstructuren.
Publicatie van Verbeterde Resources: De release van vertaalde versies van populaire benchmarks (MMLU, Hellaswag, ARC, Winogrande) in acht Oost- en Zuid-Europese talen: Oekraïens, Roemeens, Slowaaks, Litouws, Bulgaars, Turks, Grieks en Ests.

Resultaten

De evaluatie toont aan dat het framework aanzienlijke verbeteringen levert:

Machine Vertaling Benchmarks: Op WMT24++ en FLORES benchmarks behalen USI en T-RANK de hoogste COMET-scores (referentie-gebaseerd), wat aangeeft dat ze beter presteren dan traditionele methoden en zelfs betere scores halen dan de baseline.
LLM-as-a-Judge Evaluatie: Bij het vergelijken van de vertalingen met bestaande resources (zoals Global-MMLU) wint het framework significant vaker (bijvoorbeeld 8750 overwinningen tegen 2016 verliezen voor Oekraïens).
Impact op Model Evaluatie: Wanneer mid-sized modellen (zoals Gemma 3, Qwen 3, Llama 3.1) worden getest op de nieuwe vertalingen versus de oude vertalingen, stijgen de scores aanzienlijk (gemiddeld +0.94% tot +3.42% afhankelijk van de benchmark).
- De grootste winst (+3.42%) werd geobserveerd bij Winogrande, wat bevestigt dat het behoud van context en het voorkomen van grammaticale "lekkage" essentieel is voor eerlijke evaluatie.
T-RANK vs. USI: T-RANK presteert over het algemeen beter bij complexe benchmarks, terwijl USI efficiënter is voor kortere, eenvoudigere datasets.

Betekenis en Conclusie

Dit werk is van groot belang voor de ontwikkeling van eerlijke en reproduceerbare meertalige AI. Het toont aan dat:

De kwaliteit van vertaalde benchmarks direct de betrouwbaarheid van model-evaluaties beïnvloedt.
Test-time compute scaling (zoals T-RANK en USI) een praktische oplossing biedt om hoge kwaliteit vertalingen te genereren zonder afhankelijk te zijn van dure menselijke curatie.
Er een kritische noodzaak is voor frameworks die rekening houden met taalspecifieke grammaticale eigenschappen, vooral voor mid-resource talen die vaak worden genegeerd.

De auteurs maken de code en de verbeterde benchmarks openbaar beschikbaar, wat de gemeenschap in staat stelt robuustere meertalige AI-systemen te ontwikkelen. Toekomstig werk richt zich op het uitbreiden van de methoden naar nog meer talen en het integreren van gespecialiseerde kwaliteitsmodellen.