Fluency and Faithfulness in Human and Machine Literary Translation

Technische Samenvatting: Vloeiendheid en Getrouwheid in Menselijke en Machine Literaire Vertaling

Probleemstelling
Literaire vertaling vereist een evenwicht tussen twee vaak concurrerende doelen: het produceren van tekst die vloeiend en natuurlijk is in de doeltaal (vloeiendheid) terwijl de semantische en stilistische inhoud van de brontekst behouden blijft (getrouwheid). Hoewel vertaaltheorie, met name de formulering van Friedrich Schleiermacher, deze als tegenpolen beschouwt, is deze spanning zelden empirisch op grote schaal onderzocht. Recente Large Language Models (LLM's) vertonen een hoge vloeiendheid in machinevertaling van literatuur, maar het blijft onduidelijk of deze vloeiendheid overeenkomt met semantische behouding. Bovendien worden referentievrije kwalitatieve schattingsmetrieken (zoals COMET-KIWI) steeds vaker gebruikt om vertalingen te evalueren zonder gouden standaardreferenties, maar hun relatie met syntactische vloeiendheid in literaire contexten is niet goed begrepen.

Methodologie
De auteurs analyseren een corpus van 130.486 vertaalde alinea's uit 106 romans afkomstig uit 16 brontalen. De dataset bevat menselijke vertalingen, Google Translate-outputs en vertalingen gegenereerd door TranslateGemma (een fijngefineerd model gebaseerd op de Gemma3-architectuur).

Om de relatie tussen vloeiendheid en getrouwheid te meten, hanteert de studie twee distincte, onafhankelijke metrieken:

1. Vloeiendheid (Originaliteitsgelijkenis): Vloeiendheid wordt geoperationaliseerd als de mate waarin een vertaalde alinea lijkt op originele Engelse tekst. Om de syntactische structuur te isoleren van de semantische inhoud, anonimiseren de auteurs de tekst door tokens te vervangen door fijnmazige woordsoort-tags (Part-of-Speech of POS). Een logistische regressie-classificator, getraind op POS-n-grammen (unigrammen, bigrammen, trigrammen), onderscheidt originele Engelse alinea's (uit een corpus van 1800–1930 romans) van vertaalde alinea's. De classificator wordt getraind met boekniveau-groeps-crossvalidatie en lengte-gestratificeerde downsampling om de segmentlengte te controleren. Vloeiendheid wordt gedefinieerd als $1 - P(\text{vertaling} | x)$, waarbij hogere scores een grotere gelijkenis met originele Engelse syntaxis aangeven.
2. Getrouwheid (Semantische Adequaatheid): Getrouwheid wordt gemeten met COMET-KIWI, een referentievrije neurale metriek die vertaalkwaliteit voorspelt op basis van paren van brontekst en doelttekst. De auteurs valideren COMET-KIWI als een proxy voor getrouwheid door een sterke positieve correlatie aan te tonen tussen zijn scores en semantische gelijkenis bij heen-en-weer vertaling (met behulp van BGE-M3-embeddings).

Belangrijkste Bijdragen

• Empirische Analyse op Grote Schaal: De studie biedt een analyse op alinea-niveau van meer dan 130.000 vertalingen van mens, Google Translate en LLM-outputs, waarbij de wisselwerking tussen vloeiendheid en getrouwheid wordt onderzocht.
• POS-gebaseerd Vloeiendheidskader: De auteurs stellen een schaalbare methode voor het meten van syntactische vloeiendheid onafhankelijk van semantische trouw voor, gebruikmakend van POS-gebaseerde 'translationese'-classificatie met strikte boekniveau-houd-out-evaluatie.
• Toepassing van Referentievrije Evaluatie: Het werk past COMET-KIWI toe op literaire vertaling om semantische getrouwheid te beoordelen zonder gouden referenties, en correleert dit met signalen van syntactische vloeiendheid.
• Empirisch Bewijs van Trade-offs: De studie levert bewijs voor een negatieve relatie tussen vloeiendheids- en getrouwheidssignalen, met name in menselijke vertalingen van vergelijkbare lengte.

Resultaten

• Verwarring door Lengte: De auteurs constateerden dat de alinea-lengte beide metrieken significant verwarde. Langere alinea's correleren negatief met zowel COMET-KIWI-scores als vloeiendheidsscores.
• Negatieve Correlatie: Na controle voor alinea-lengte met behulp van partiële Spearman-correlatie, ontstaat een consistente negatieve relatie tussen vloeiendheid en getrouwheid. Dit geeft aan dat naarmate een vertaling syntactisch meer 'origineel-achtig' (vloeiend) wordt, de voorspelde semantische adequaatheid neigt af te nemen.
• Bronspecifieke Variaties:
  • Menselijke Vertalingen: Vertonen een statistisch significante negatieve correlatie ($\rho \approx -0,078$), wat wijst op een onderscheidende trade-off waarbij het bereiken van native-achtige syntaxis semantische verschuivingen kan impliceren.
  • Google Translate: Toont ook een negatieve correlatie ($\rho \approx -0,051$), zij het iets zwakker dan menselijke vertalingen.
  • TranslateGemma (LLM): Toont een zwakke, vaak niet-significante en soms positieve correlatie. Dit suggereert dat LLM's mogelijk niet dezelfde spanning vertonen tussen vloeiendheid en getrouwheid als menselijke vertalers of traditionele MT-systemen, of dat de metrieken verschillende aspecten van hun output vastleggen.
• Metric Divergentie: De resultaten suggereren dat COMET-KIWI niet overeenkomt met POS-gebaseerde signalen van vloeiendheid. Hoge vloeiendheid (in de zin van origineel-achtigheid) betekent niet noodzakelijk hoge semantische getrouwheid zoals gemeten door COMET-KIWI.

Betekenis en Aanspraken
Het paper beweert dat deze bevindingen empirisch bewijs leveren voor een systematische, zij het bescheiden, spanning tussen het produceren van syntactisch native-achtig Engels en het behouden van semantische correspondentie in literaire vertaling. De auteurs betogen dat deze trade-off duidelijker wordt waargenomen in menselijke literaire vertalingen van vergelijkbare lengte.

De studie suggereert dat automatische evaluatiemetrieken zoals COMET-KIWI impliciet vertalingen kunnen bevoordelen die structurele patronen behouden die zijn uitgelijnd met de brontekst, en mogelijk 'translationese'-signalen belonen wanneer deze correleren met oppervlakkige trouw. Omgekeerd vangt de POS-gebaseerde vloeiendheidsmetriek syntactische natuurlijkheid op die kan afwijken van semantische adequaatheid. De auteurs concluderen dat hoewel de omvang van de relatie bescheiden is, de consistentie van het patroon over analytische benaderingen heen aangeeft dat vloeiendheid en getrouwheid niet volledig onafhankelijke signalen zijn in literaire vertaling. Zij merken ook op dat het gedrag van de vloeiendheid-classificator een lens biedt om stilistische verschillen te onderzoeken tussen historische menselijke vertalingen (getraind op teksten uit 1800–1930) en moderne machine-outputs die zijn geoptimaliseerd voor hedendaags standaard-Engels.