Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction

Probleemstelling

Het vertalen van talen met weinig digitale bronnen (low-resource languages) vormt een grote uitdaging voor grote taalmodellen (LLMs), aangezien deze modellen doorgaans afhankelijk zijn van enorme hoeveelheden parallelle trainingsdata. Een mogelijke oplossing is In-Context Machine Translation (ICMT): het gebruik van taalmodellen die een taal kunnen vertalen op basis van beschrijvingen (zoals grammatica's, woordenboeken en tekstboeken) die in de prompt worden verstrekt, zonder dat extra training nodig is.

Echter, eerdere studies (zoals Aycock et al., 2024) hebben betwijfeld of modellen daadwerkelijk gebruikmaken van deze grammaticale beschrijvingen, of dat ze zich eerder baseren op voorbeeldzinnen in de context. Bovendien is het evalueren van ICMT met natuurlijke talen complex vanwege de variatie in mogelijke vertalingen en de afhankelijkheid van string-overlap-maatstaven (zoals BLEU), die de kwaliteit vaak te rooskleurig inschatten.

Methodologie

De auteurs introduceren een gecontroleerde, formele benadering om de vaardigheid van LLMs om grammaticale regels te gebruiken voor vertaling te isoleren. In plaats van natuurlijke talen gebruiken ze Synchrone Context-Vrije Grammatica's (SCFGs).

1. Formele Analogie: Een SCFG definieert een paar formele talen (bron en doel) via productieregels die gelijktijdig een structuur in beide talen genereren. Dit creëert een "gouden standaard" vertaling: elke gegenereerde zin heeft een exacte, correcte tegenhanger.
2. Experimenteel Ontwerp: De auteurs genereren linguïstisch interpreteerbare grammatica's en variëren systematisch de volgende hyperparameters:
   • Grootte van de grammatica: Het aantal productieregels (variërend van enkele tientallen tot 10.000).
   • Zinlengte: Het aantal woorden in de zin (3 tot 50 woorden).
   • Woordvolgorde: Variatie tussen SVO (onderwerp-werkwoord-object), SOV en OVS.
   • Morfologie: Aan- of afwezigheid van persoons- en getalsovereenkomst (agreement) in werkwoorden.
   • Orthografie: Het gebruik van verschillende scripts (Latijn, Cyrillisch, Hebreeuws, met en zonder diakritische tekens).
3. Modellen: Er wordt getest op verschillende LLMs, waaronder de GPT-5-serie (gpt-5, mini, nano) en de Gemma 3-serie (1b, 4b, 12b).
4. Evaluatiemetrics: De primaire metriek is Exact Match Accuracy (de gegenereerde zin moet exact overeenkomen met de door de grammatica gegenereerde gouden zin). Daarnaast worden Bag-of-Words, BLEU en chrF++ gebruikt om te zien hoe goed deze gangbare metrics de werkelijke prestaties inschatten.

Belangrijkste Bijdragen

• Formeel Kader voor ICMT: Het introduceren van SCFGs als een robuust, controlexperiment om de capaciteit van modellen om grammaticale regels te volgen te meten, zonder de ruis van natuurlijke taalambiguïteit.
• Isolatie van Factoren: Het vermogen om specifieke linguïstische eigenschappen (zoals woordvolgorde of morfologie) te manipuleren om hun specifieke impact op de vertaalsuccessen te meten.
• Kritische Evaluatie van Metrics: Het aantonen dat gangbare metrics (BLEU, chrF++) de prestaties van modellen sterk overschatten, vooral bij complexere taken.

Resultaten

De studie levert drie kernbevindingen op:

1. Schaalbaarheid en Complexiteit:

   • De vertaalcijfers dalen drastisch naarmate de grootte van de grammatica toeneemt. Modellen presteren goed bij kleine grammatica's (honderden regels), maar falen bij groottes die nodig zijn om menselijke taal te modelleren (duizenden regels).
   • Zinlengte heeft een vergelijkbaar negatief effect; prestaties dalen merkbaar bij zinnen langer dan 20 woorden.
   • Dit suggereert dat de beperking niet ligt in het begrijpen van de regels zelf, maar in het bijhouden en correct toepassen van een groot aantal symbolische regels over langere afgeleiden (derivations).

2. Linguïstische Eigenschappen:

   • Woordvolgorde: Verschillen in woordvolgorde (bijv. SVO naar SOV) hebben een verwaarloosbaar effect op de prestaties. Modellen kunnen de volgorde aanpassen op basis van de gegeven regels.
   • Morfologie: Modellen presteren het beste bij talen zonder complexe vervoegingen. Het vertalen van een taal zonder overeenkomst (agreement) naar een taal met overeenkomst is het moeilijkst, omdat dit een "one-to-many" mapping vereist die modellen moeite hebben te generaliseren.
   • Orthografie: Er is een sterke daling in prestaties naarmate het script van de doeltaal minder voorkomt in de trainingsdata. Modellen presteren het beste met Latijnse scripts, slechter met Cyrillisch, en het slechtst met Hebreeuws. Bij Hebreeuws met klinkerpointering (nikkud) daalt de exacte match-accuracy naar 0%, ongeacht de grammaticale complexiteit.

3. Foutanalyse:

   • De meest voorkomende fouten zijn: het recallen van het verkeerde woord uit de doelvocabulaire, het hallucineren van nieuwe woorden die niet in de grammatica staan, en het laten staan van bronwoorden zonder ze te vertalen.
   • Bij orthografie-experimenten maken modellen vaak fouten door tekens uit het verkeerde script te gebruiken.

Significantie en Conclusie

De resultaten tonen aan dat LLMs in staat zijn om expliciete grammaticale beschrijvingen te gebruiken voor vertaling (wat de kritiek van Aycock et al. nuanceert), maar dat hun robuustheid ernstig beperkt wordt door de complexiteit van de grammatica en de lengte van de zinnen.

Een cruciale bevinding is dat de prestaties sterk afhankelijk zijn van de vertrouwdheid met het script. Zelfs als de grammaticale regels perfect worden doorgegeven, falen modellen volledig bij onbekende of complexe orthografieën (zoals Hebreeuws met klinkers). Dit suggereert dat ICMT niet alleen draait om abstracte regelinductie, maar ook om de robuustheid van het model bij het kopiëren en segmenteren van onbekende karakterreeksen.

Voor de praktijk betekent dit dat in-context vertaling voor lage-bronstalen mogelijk is voor korte zinnen en eenvoudige grammatica's, maar dat de huidige modellen nog niet schaalbaar zijn voor complexe, menselijke talen zonder aanvullende training of voorbeelden. De studie benadrukt ook dat automatische evaluatiemetrics zoals BLEU onbetrouwbaar zijn voor het beoordelen van deze specifieke taak, omdat ze vaak een veel hogere kwaliteit suggereren dan er feitelijk is.