Technische Samenvatting: Het Vertalen van het Onvertaalbare

Probleemstelling

Hoewel machinale vertaling (MT) en grote taalmodellen (LLM's) hoge prestaties hebben behaald op standaard benchmarks, blijven er aanzienlijke uitdagingen bestaan in "long-tail" gevallen waarbij de betekenis niet volledig behouden kan blijven over talen heen. Deze gevallen, getermineerd als onvertaalbaarheid, ontstaan door linguïstische, culturele of stilistische mismatches waarbij geen enkele doelzin alle aspecten van de bronbetekenis kan vatten. Huidige NLP-benaderingen behandelen vertaling vaak als een één-op-één mapping tussen semantisch equivalente teksten, waarbij ze er niet in slagen scenario's aan te pakken waarin directe vertaling onmogelijk is. Bestaande bronnen in de taalkunde en vertaalstudies bieden theoretische definities, maar missen grootschalige, operationaliseerbare kaders die geschikt zijn voor computationele experimenten.

Methodologie

1. Gestructureerd Kader

De auteurs introduceren een formeel kader om onvertaalbaarheid te deconstrueren in twee kerncomponenten:

• Onvertaalbaarheids-typen (uTypes): Een gestructureerde ontologie die de bron van de mismatch categoriseert in drie domeinen:
  • Linguïstisch: Nieuwe woorden, Specificiteit, Syntaxis, Werkwoordsvormen, Andere inflecties, Fonetiek, Orthografie.
  • Figuratief: Woordspelingen, Idiomen.
  • Cultureel: Religie, Geschiedenis, Gebruiken.
• Compensatiestrategieën (cStrats): Een taxonomie van zes technieken die worden gebruikt om betekenis over te brengen wanneer directe vertaling faalt:
  • Adaptatie (AD): Het vervangen van bron-elementen door doel-equivalenten om het effect te behouden (bijv. humor).
  • Annotatie (AN): Het toevoegen van verklarende context of voetnoten.
  • Overname (BO): Het behouden van de term uit de brontaal.
  • Calque (CA): Letterlijke vertaling om de structuur te behouden.
  • Opties (OP): Het bieden van meerdere geldige vertalingen voor ondergespecificeerde bronnen.
  • Parafrase (PA): Het opnieuw uitdrukken van de betekenis in eenvoudige doeltaal.

De auteurs stellen een herformulering voor van de vertaalwaarschijnlijkheid $P(e|f)$ door de identificatie van de uType ($u$), de context ($m$) en de selectie van een compensatiestrategie ($c$) op te nemen, in plaats van vertaling te behandelen als een eenvoudige token-niveau voorspelling.

2. Dataset Constructie

Om dit kader te operationaliseren, hebben de auteurs een meertalige dataset geconstrueerd met Spaans en Japans als brontalen en Engels als doeltaal.

• Generatieproces: Een iteratieve pipeline die menselijke expert-seedvoorbeelden combineert met LLM-generatie (GPT-4o). Menselijke experts leverden initiële seeds voor elke uType en cStrat, die werden gebruikt om de LLM te instrueren extra voorbeelden en vertalingen te genereren.
• Schaal: De dataset bevat 1.300 bronzinnen per taal (100 voorbeelden voor elk van de 13 uTypes). Elke bronzin wordt gekoppeld aan vertalingen gegenereerd met de zes cStrats plus een standaard (niet-geprompt) vertaling, wat resulteert in 18.200 vertalingen in totaal.
• Validatie: Menselijke taalexperts verifieerden een steekproef van de data en vonden dat ongeveer 96% van de Spaanse en 95% van de Japanse voorbeelden geldige instanties waren van hun toegewezen uTypes.

3. Menselijke Voorkeurstudie

De auteurs voerden een studie uit om te evalueren hoe compensatiestrategieën de waargenomen vertaalingskwaliteit beïnvloeden.

• Opzet: Bilinguale annotatoren rangschikten zeven kandidaat-vertalingen (één per strategie plus een standaard) voor diverse bronzinnen.
• Variabelen: De studie onderzocht voorkeuren over verschillende uTypes, vertaalcontexten (algemeen, tekstboek, film) en brontalen (Spaans versus Japans).
• Metrieken: Mean Reciprocal Rank (MRR) werd gebruikt om de rangschikking van annotatoren te aggregeren.

Belangrijkste Resultaten

1. Strategievoorkeur varieert per type onvertaalbaarheid:

   • Annotatie (AN) was de meest geprefereerde strategie over het algemeen. Annotatoren gaven consequent de voorkeur aan outputs die extra verklarende context bevatten, wat wijst op een voorkeur voor helderheid en volledigheid boven strikte naleving van conventionele vertaalformaten in onvertaalbare gevallen.
   • Adaptatie (AD) presteerde goed voor linguïstische mismatches (bijv. Nieuwe Woorden, Werkwoordsvormen) maar slecht voor culturele/figuratieve mismatches waar het wijzigen van de inhoud de betekenis vertekende.
   • Overname (BO) was over het algemeen de minst geprefereerde strategie, hoewel het relatief beter presteerde voor cultureel gewortelde gevallen (Gebruiken).
   • Opties (OP) was zeer effectief voor Specificiteits-mismatches waar meerdere interpretaties bestaan.

2. Context beïnvloedt strategie:

   • In Tekstboek-contexten (prioriteit voor nauwkeurige begrip) werd Annotatie aanzienlijk meer geprefereerd.
   • In Film-contexten (prioriteit voor natuurlijkheid en beknoptheid) werd Annotatie minder geprefereerd, hoewel het nog steeds de standaardvertaling overtrof.
   • De standaardvertaling (zonder expliciete strategie) werd consequent minder geprefereerd in contextafhankelijke scenario's, wat aangeeft dat expliciete toepassing van strategieën beter aansluit bij de verwachtingen van de gebruiker.

3. Verschillen in Brontaal:

   • Hoewel Annotatie de topkeuze was voor zowel Spaans als Japans, was de voorkeur sterker voor Japans. Dit weerspiegelt de grotere linguïstische en culturele afstand tussen Japans en Engels, wat meer expliciete uitleg noodzakelijk maakt.
   • Adaptatie werd veel meer geprefereerd voor Spaans dan voor Japans, wat suggereert dat structurele en culturele verschillen adaptatie moeilijker maken voor Japans.

4. Downstream Nut:

   • Een voorlopig experiment toonde aan dat het opnemen van voorbeelden uit de dataset de nauwkeurigheid verbeterde van een classifier met de taak om onvertaalbare zinnen te detecteren, vergeleken met een zero-shot baseline (0,761 vs. 0,704 nauwkeurigheid).

Betekenis en Bijdragen

Het artikel beweert het eerste gestructureerde kader te hebben vastgesteld voor het bestuderen van onvertaalbaarheid in NLP, waarmee het veld verder komt dan het behandelen van deze gevallen als geïsoleerde randgevallen. De specifieke bijdragen zijn:

1. Een gestructureerde ontologie van onvertaalbaarheids-typen voor machinale vertaling.
2. Een taxonomie van compensatiestrategieën.
3. Een meertalige dataset (18.200 voorbeelden) die dit kader operationaliseert.
4. Empirisch bewijs dat de vertaalingskwaliteit afhangt van de gebruikte strategie, met een consistente menselijke voorkeur voor verklarende context (Annotatie).
5. Een formulering van strategie-geïnformeerde machinale vertaling, waarbij wordt voorgesteld dat vertaling moet worden gezien als een gestructureerd proces dat bestaat uit het identificeren van mismatches en het selecteren van een strategie, in plaats van eenvoudige semantische equivalentie.

De auteurs concluderen dat hun werk een basis biedt voor het modelleren van vertaling als een proces van het onderhandelen over betekenis over linguïstische en culturele grenzen heen, waarbij zij wijzen op een kloof tussen huidige MT-doelstellingen en menselijke verwachtingen.