Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation

Probleemstelling

Neurale Machine Vertaling (NMT) systemen zijn sterk afhankelijk van expliciete leestekens om semantische ambiguïteiten in bronteksten op te lossen. Gebruikergenerieke zinnen bevatten vaak ontbrekende of onjuiste leestekens. Wanneer deze zinnen worden ingevoerd in bestaande NMT-systemen, resulteert dit vaak in vloeiende, maar semantisch desastreuze vertalingen.

Het paper focust op het Engels-Marathi taalpaar. Marathi is een Indo-Arische taal met meer dan 80 miljoen sprekers, maar wordt beschouwd als een taal met een beperkte tot gemiddelde hoeveelheid digitale bronnen (low-to-mid-resource). Het onderzoek toont aan dat huidige modellen, zoals IndicTrans2, extreem gevoelig zijn voor variaties in leestekens. Een ontbrekend komma kan bijvoorbeeld de betekenis volledig verdraaien (bijvoorbeeld van "Laten we eten, oma" naar "Laten we oma eten"), wat in kritieke contexten (zoals veiligheidsinstructies) tot ernstige fouten kan leiden.

Methodologie

De auteurs presenteren een tweeledige aanpak om de robuustheid van vertalingen te verbeteren:

1. Het Viram Benchmark Dataset:

   • Er is een nieuw diagnostisch benchmark genaamd Viram (Marathi voor "leesteken") ontwikkeld.
   • Dit dataset bevat 54 handmatig gecurateerde zinnen die ambiguïteit veroorzaken door ontbrekende leestekens.
   • De structuur is: Engels (Geschreven) – Engels (Bedoeld) – Marathi (Bedoeld).
   • De data is afkomstig uit het werk van Kirkman (2006) en is vertaald door twee native Marathi-sprekers.

2. Twee Verbeterstrategieën:

   • Benadering 1: Herstellen dan Vertalen (Cascade):
     • Eerst wordt de leestekening in de Engelse brontekst hersteld, waarna de tekst wordt vertaald.
     • Er worden verschillende modellen getest voor het herstel: BERT-large-uncased, Microsoft MPNet (token classificatie) en Google T5-base (tekst-naar-tekst generatie). Ook het Cadence-model van AI4Bharat wordt geëvalueerd.
   • Benadering 2: Directe Fine-tuning:
     • Het IndicTrans2-model wordt direct gefinetuned op een dataset die variaties in leestekens bevat.
     • Er worden vier varianten van de trainingsdata gebruikt: alleen met leestekens, zonder leestekens, een combinatie van beide (2x), en een wisselende combinatie per zin.

3. Evaluatie van Large Language Models (LLMs):

   • Drie LLMs (Sarvam-2b-v0.5, Gemma-2-9b, LLaMA-3.1-8b) worden getest via zero-shot en few-shot prompting (3-shot) om te zien of ze de ambiguïteit kunnen oplossen zonder specifieke fine-tuning.

Belangrijkste Bijdragen

1. Eerste studie: Dit is het eerste onderzoek dat zich specifiek richt op de robuustheid van leestekens in Engels-Marathi machine vertaling.
2. Viram Benchmark: Introductie van een diagnostisch benchmark voor het analyseren van leesteken-gevoeligheid.
3. Vergelijkende Analyse: Een systematische vergelijking tussen een cascade-herstelbenadering en directe fine-tuning.
4. Kwalitatieve Analyse: Een diepgaande analyse van foutpatronen, waarbij wordt aangetoond dat standaard automatische metrics (zoals BLEU) vaak onvoldoende zijn om semantische verschuivingen door leestekens te detecteren.

Resultaten

• Prestatieverbetering: Beide strategieën (herstel-vertaal en directe fine-tuning) leiden tot aanzienlijke verbeteringen in de vertaalkwaliteit op de Viram-benchmark ten opzichte van het baseline-model.
  • De pipeline-benadering (herstel eerst) presteert het beste wanneer het herstelmodel van hoge kwaliteit is (bijv. T5-base of MPNet), wat resulteert in scores die dicht bij de "oracle" (perfecte leestekening) liggen.
  • Directe fine-tuning op data zonder leestekens of een mix van data verbetert de robuustheid aanzienlijk, vooral op semantische metrics zoals COMET en chrF.
• LLM Prestaties: De geteste LLMs (tot 9 miljard parameters) presteren over het algemeen slechter dan de gespecialiseerde, taakspecifieke benaderingen, zelfs met few-shot prompting. DeepSeek-V3.2 (een gesloten model) presteert beter dan de open-source modellen, maar blijft achter bij de beste fine-tuned modellen.
• Trade-offs: Er wordt een trade-off waargenomen. Hoewel de robuustheid voor leestekens verbetert, kan dit leiden tot een lichte daling in standaard evaluatiemetrics (zoals BLEU) op algemene benchmarks (IN22, FLORES-22). Dit suggereert dat modellen die robuust zijn voor ruis, soms iets minder "perfect" scoren op schone data volgens traditionele maten.
• Kwalitatieve Analyse: Het originele model faalt vaak bij zinnen zonder leestekens, waarbij het de verkeerde zinsdelen aan elkaar koppelt (bijv. het verkeerde onderwerp toekennen aan een werkwoord). De gefinetuned modellen en de cascade-benadering lossen deze structurele ambiguïteiten succesvol op.

Betekenis en Conclusie

Dit onderzoek benadrukt dat de afhankelijkheid van NMT-systemen van expliciete leestekens een kritieke zwakte is, vooral voor low-resource talen zoals Marathi. De studie toont aan dat:

1. Gespecialiseerde strategieën (zoals fine-tuning op ruis of cascade-herstel) essentieel zijn voor betrouwbare vertalingen in real-world scenario's waar gebruikers vaak geen leestekens gebruiken.
2. Huidige LLMs, ondanks hun grootte, nog niet voldoende robuust zijn voor dit specifieke probleem zonder verdere aanpassing.
3. Er een behoefte is aan nieuwe evaluatiemethoden die semantische nauwkeurigheid beter meten dan traditionele n-gram-overeenkomsten.

De auteurs concluderen dat toekomstig onderzoek zich moet richten op hybride architecturen die ambiguïteit native kunnen hanteren en op het uitbreiden van deze bevindingen naar andere Indo-Arische talen. De code en het Viram-dataset zijn openbaar beschikbaar gesteld om verdere research te stimuleren.