A Dataset for Probing Translationese Preferences in English-to-Swedish Translation

Dit paper introduceert het eerste gratis Engels-Zweedse dataset om 'translationese' te onderzoeken, waarbij blijkt dat taalmodellen vaak voorkeur geven aan letterlijke vertalingen boven idiomatische alternatieven, zelfs zonder broncontext.

De kern

Hier is een uitleg van het onderzoek, vertaald naar gewoon Nederlands, met behulp van wat creatieve vergelijkingen.

Het Probleem: De "Reisgids" vs. De "Lokale Inwoner"

Stel je voor dat je een boek leest dat is vertaald uit het Engels naar het Zweeds. Vaak voelt het alsof de schrijver nog steeds met een Engels accent praat. De zinnen zijn grammaticaal correct, maar ze klinken stijf, onnatuurlijk en een beetje als een reiskoffer die net is uitgepakt. Taalkundigen noemen dit translationese (of "vertaal-taal"). Het is alsof iemand een tekst letterlijk overneemt, woord voor woord, zonder te denken aan hoe een echte Zweed dat zou zeggen.

De auteurs van dit paper (Jenny Kunz en haar team) zeggen: "Dit is een probleem, vooral voor de nieuwe, slimme AI-modellen (zoals ChatGPT)." Zelfs als die AI's heel goed zijn, maken ze vaak dezelfde fout: ze vertalen te letterlijk.

De Oplossing: Een "Spiegel" voor AI

Om dit te onderzoeken, hebben de onderzoekers een speciaal speelgoed (een dataset) gemaakt.
Stel je dit voor als een spiegel met twee kanten:

1. Kant A (De AI): Een zin die door een computer is vertaald (de stijve, letterlijke versie).
2. Kant B (De Mens): Dezelfde zin, maar vertaald door een native speaker (de natuurlijke, vloeiende versie).

Ze hebben 600 van deze zinnen verzameld uit films en series (OpenSubtitles). Voor elke zin hebben ze ook een "diagnose" gemaakt: Waarom klinkt de AI-versie raar? Is het een foutje in de grammatica? Is het een spreekwoord dat verkeerd is vertaald? Of klinkt het gewoon alsof iemand een woordenboek heeft opengeslagen?

Het Experiment: Wat kiest de AI?

Vervolgens hebben ze verschillende AI-modellen (van klein tot groot) voor deze spiegel gezet. Ze vroegen de AI: "Welke van deze twee zinnen klinkt het meest als een echte Zweed?"

De verrassende bevindingen:

• De AI houdt van de "Reisgids": De meeste AI's kozen vaker de stijve, letterlijke vertaling (Kant A) dan de natuurlijke menselijke versie (Kant B). Het is alsof de AI denkt: "Dit klinkt veilig en precies zoals in het origineel, dus dit moet goed zijn."
• De bron maakt uit: Als je de AI de Engelse originele zin laat zien, kiest hij nog sneller voor de stijve vertaling. Het is alsof de AI de Engelse zin als een "recept" ziet en denkt: "Ik moet dit exact volgen." Als je de Engelse zin weglaat en alleen de Zweedse zinnen laat zien, kiezen de AI's iets vaker voor de menselijke versie.
• Context helpt (maar niet genoeg): Als je de AI meer context geeft (bijvoorbeeld de vorige zinnen uit het gesprek), wordt hij iets beter. Maar zelfs dan blijft hij vaak hangen in de stijve vertaling.

Waarom is dit belangrijk?

Stel je voor dat je een robot hebt die Zweeds leert. Als je die robot alleen maar vertaalde teksten laat zien, zal hij denken dat Zweeds klinkt als een vertaling. Hij zal nooit leren hoe mensen écht praten, met hun slang, hun spreekwoorden en hun gevoel.

De onderzoekers zeggen: "We moeten AI's trainen om niet alleen 'correct' te zijn, maar ook 'natuurlijk'."

De Analogie: De Chef-kok

Laten we het vergelijken met koken:

• De AI is een robot-chef die een Engels recept volgt. Als het recept zegt "voeg een beetje zout toe", doet de robot dat. Maar als het recept zegt "voeg een snufje liefde toe", probeert de robot misschien een flesje liefde te kopen. Het resultaat is technisch correct, maar het smaakt niet goed.
• De Menselijke vertaler is een chef die weet dat je in Zweden geen "liefde" toevoegt, maar misschien een beetje dille of een specifieke saus.
• Dit onderzoek is een proefkeuken waar ze de robot-chef laten zien: "Kijk, dit gerecht smaakt als plastic (de AI-versie), en dit smaakt als thuis (de mens-versie). Leer het verschil!"

Conclusie

De onderzoekers hebben een gratis "speelgoed" gemaakt voor iedereen die AI's wil verbeteren. Ze tonen aan dat AI's momenteel nog te veel vastzitten in de letterlijke vertaling. Om echt goede, natuurlijke Zweedse teksten te krijgen, moeten we AI's leren om niet alleen naar de woorden te kijken, maar ook naar de sfeer en de cultuur erachter.

Kortom: AI's zijn slim, maar ze zijn nog steeds een beetje stijf. Ze moeten leren om niet alleen te vertalen, maar om te 'voelen' hoe een taal klinkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A Dataset for Probing Translationese Preferences in English-to-Swedish Translation", geschreven in het Nederlands.

Probleemstelling

Vertalingen vertonen vaak sporen van de brontaal, een fenomeen dat bekend staat als translationese. Dit leidt tot teksten die minder idiomatisch, lexicaal armer en syntactisch eenvoudiger zijn dan originele teksten in de doeltaal. Hoewel recente Large Language Models (LLMs) minder letterlijke vertalingen produceren dan traditionele neurale machinenevertalingssystemen (NMT), blijken hun outputs nog steeds onderscheidbaar van menselijk geschreven tekst en vertonen ze een voorkeur voor translationese.

Een specifiek probleem is dat veel datasets voor het evalueren en fine-tunen van LLMs (zowel voor instructies als voor evaluatie) bestaan uit vertaalde data. Voor talen met minder middelen, maar ook voor Engels, vormen vertalingen een groot deel van de trainingsdata. Dit creëert een vicieuze cirkel waarbij modellen worden getraind op en geëvalueerd met data die de eigenlijke "translationese" bias versterkt, in plaats van natuurlijke, idiomatische output te bevorderen. Er ontbreekt momenteel een vrij beschikbaar, gestructureerd dataset om deze bias in het Zweeds specifiek te meten en te analyseren.

Methodologie

1. Dataset Constructie
De auteurs hebben een dataset samengesteld met 600 zinnen afkomstig uit de Engelse sectie van OpenSubtitles (gesproken dialoog).

• Bronnen: De zinnen zijn vertaald naar het Zweeds met twee systemen:
  • OPUS-MT: Een traditioneel, niet-LLM gebaseerd vertaalsysteem (als voorbeeld van een gespecialiseerd systeem).
  • GPT-5: Een state-of-the-art LLM (OpenAI, 2025).
• Menselijke Referentie: Voor elke zin is een idiomatische, menselijke alternatieve vertaling gemaakt door native sprekers.
• Context: De dataset bevat de Engelse brontekst, de context (voorafgaande zinnen), en gedetailleerde annotaties.

2. Annotatie en Error Tags
De dataset is handmatig geannoteerd door twee studenten met linguïstische achtergrond. Er is een aangepast error-tagging systeem ontwikkeld (in tegenstelling tot het standaard MQM-framework, dat te technisch is voor conversatie). De tags omvatten:

• Foutcategorieën: Grammatica (GR), Ontbrekende woorden (SAK), Onjuiste woorden (LF), Verlies van betekenis (BET), Toegevoegde woorden (ADD).
• Subtiele afwijkingen: Semantische verschuivingen (SEM), Lexicale voorkeur (PR) – onnatuurlijke woordkeuze.
• Oorzaken: Idioom (ID), Slang (SL), Domeinspecifiek taalgebruik (ST), Directe vertaling (DIR).

3. Experimenteel Opzet
De auteurs hebben experimenten uitgevoerd om de intrinsieke voorkeuren van verschillende LLMs te testen.

• Modellen: Verschillende schalen en talen: LLaMA-3 (8B), AI Sweden LLaMA (8B), EuroLLM (1.7B, 9B) en Gemma (270M tot 12B), inclusief instructie-gefine-tuneerde versies.
• Prompting Setups:
  • Zonder vertaalkontext: Het model krijgt alleen de Zweedse zin (minimale paren: translationese vs. idiomatisch).
  • Met vertaalkontext: Het model krijgt de Engelse brontekst en moet vertalen.
  • Contextlengte: Variatie van 0 tot 10 voorafgaande Engelse zinnen om te testen of context de bias vermindert.
• Meting: Gebruik van Mean Log Probability (MeanLP) om te bepalen welk alternatief het model als waarschijnlijker beschouwt.

Belangrijkste Bijdragen

1. Eerste Open Dataset: Dit is het eerste vrij beschikbare dataset dat translationese in het Engels-Zweeds expliciet contrasteert met idiomatische alternatieven, inclusief error-tags en context.
2. Gedetailleerde Analyse: Een kwalitatieve en kwantitatieve analyse van translationese in zowel traditionele NMT (OPUS-MT) als moderne LLMs (GPT-5), waarbij wordt aangetoond dat LLMs beter zijn in idiomatische formulering maar nog steeds fouten maken.
3. Bias-onderzoek: Een systematische studie naar hoe de aanwezigheid van de brontekst en context de voorkeur van modellen beïnvloedt.

Resultaten

• Sterke Bias naar Translationese: Alle geteste modellen vertonen een duidelijke bias naar de translationese varianten (zowel OPUS als GPT-5), zelfs wanneer deze onnatuurlijk zijn. Menselijke alternatieven worden zelden verkozen.
• Invloed van de Brontekst: Modellen kiezen vaker voor het menselijke alternatief wanneer de Engelse brontekst niet in de prompt staat. Dit suggereert dat de blootstelling aan de brontekst modellen beïnvloedt om letterlijker te vertalen.
• Invloed van Context: Het toevoegen van context (1-10 zinnen) helpt modellen om de intentie beter te interpreteren en leidt vaak tot een hogere keuze voor het menselijke alternatief, vooral bij grotere modellen. Echter, zelfs met context blijft de voorkeur voor translationese vaak aanwezig.
• Modelprestaties:
  • Grotere modellen (bijv. Gemma-12B) presteren over het algemeen beter dan kleinere modellen.
  • Instructie-gefine-tuneerde modellen tonen soms een sterkere bias naar translationese dan hun base-versies (specifiek bij AI Sweden LLaMA).
  • Bij vergelijking met GPT-5 (in plaats van OPUS) presteren de geteste modellen slechter, omdat GPT-5 vaak al redelijk idiomatisch is, waardoor het onderscheid moeilijker is.
• Fouttypes:
  • Directe vertalingen (DIR) en Slang (SL) leiden tot de hoogste voorkeur voor translationese, vooral met context.
  • Grote fouten (zoals ontbrekende woorden of grammaticafouten) worden door modellen sneller herkend en vermeden dan subtiele semantische verschuivingen (SEM) of lexicale voorkeursfouten (PR).

Betekenis en Conclusie

De studie onderstreept dat huidige LLMs, ondanks hun geavanceerde capaciteiten, nog steeds sterk beïnvloed worden door de brontekst en de neiging hebben om translationese te reproduceren. Dit heeft belangrijke implicaties voor:

• Evaluatie: Het gebruik van vertaalde datasets voor evaluatie kan leiden tot een overschatting van de idiomatische kwaliteit van modellen.
• Training: Modellen moeten mogelijk specifiek worden getraind of geëvalueerd om translationese te vermijden, in plaats van alleen letterlijke correctheid na te streven.
• Toekomstig Werk: De dataset biedt een benchmark voor het ontwikkelen van modellen die natuurlijker, idiomatischer output genereren in niet-Engelse talen. De auteurs wijzen erop dat hun dataset beperkt is tot gesproken dialoog en dat uitbreiding naar andere domeinen (zoals geschreven tekst) waardevol is voor toekomstig onderzoek.

Kortom, dit werk levert een cruciaal instrument aan om de "vertaalgeur" in AI-modellen te meten en te bestrijden, wat essentieel is voor het creëren van echt natuurlijke meertalige taalmodellen.