LuxMT Technical Report

Probleemstelling

Het vertalen van het Luxemburgs (LB) naar andere talen, zoals Frans (FR), Engels (EN) en Duits (DE), vormt een uitdaging vanwege de beperkte beschikbaarheid van hoogwaardige parallelle trainingsdata. Bestaande benchmarks zoals FLORES-200 lopen het risico op data-contaminatie, aangezien deze vaak in de trainingsdata van grote taalmodellen (LLM's) zijn opgenomen. Er is dus behoefte aan een specifiek, schoon benchmark voor Luxemburgs en een effectieve strategie om bestaande LLM's te fine-tunen voor deze taak, met name met beperkte resources.

Methodologie

1. Modelselectie en Benchmarking

• Benchmark: In plaats van bestaande datasets te gebruiken, hebben de auteurs een nieuw benchmark opgezet gebaseerd op Luci, een meertalig toeristisch magazine over Luxemburg (edities 1-63). De data is gesegmenteerd en uitgelijnd met behulp van LUXEMBEDDER (Luxemburgse zins-embeddings).
• Filtering: Segmenten met een bronlengte van minder dan vijf woorden en dubbelingen zijn verwijderd. De beste 500 segmentparen per taalpaar (LB-FR, LB-EN, LB-DE) zijn geselecteerd op basis van cosine-相似heid en handmatig geverifieerd.
• Modelkeuze: Verschillende lokale LLM's (o.a. GEMMA 3, LLAMA 3.1/4, AYA EXPANSE, COMMAND R) zijn getest op dit benchmark. GEMMA 3 (27B) bleek de beste prestaties te leveren voor de taak LB→FR, LB→EN en LB→DE.

2. Data Curation en Fine-tuning

• Bronnen: De trainingsdata komt uit twee bronnen:
  1. LUXALIGN: Een parallel corpus van RTL-nieuwsartikelen (LB-FR en LB-EN).
  2. Parlementaire transcripties: Luxemburgse parlementaire debatten, verrijkt met vertalingen naar EN en FR gegenereerd door Google Translate.
• Data-filtering: Om de kwaliteit van de trainingsdata te waarborgen, is LUXEMBEDDER gebruikt om segmentparen met lage equivalentie te filteren. Experimenten toonden aan dat een hoge drempelwaarde (0.99) voor LUXALIGN het beste resultaat gaf, ondanks dat dit 85% van de data verwijderde (waarschijnlijk omdat RTL-artikelen geen 1-op-1 vertalingen zijn). Voor de parlementaire data werd een lagere drempel (0.98) gebruikt omdat deze vertalingen wel 1-op-1 waren.
• Training: Het GEMMA 3-model is gefine-tuned voor één epoch met een learning rate van 2e-5. De totale dataset bestond uit ongeveer 54.500 segmentparen.

3. Evaluatie

• Metrics: Er is gebruikgemaakt van een ensemble van neurale metrics (BLEURT-20, XCOMETXL, BERTSCORE) en oppervlakte-overlap metrics (BLEU, CHRF2, TER). Oppervlakte-overlap metrics zijn uitgesloten van de hoofdresultaten vanwege hun beperkte betrouwbaarheid voor systeemvergelijking.
• Kwaliteitsschatting (QE): De auteurs hebben onderzocht of LUXEMBEDDER zelf kan dienen als een referentievrije kwaliteitsmeting (Quality Estimation).

Belangrijkste Bijdragen

1. LUXMT: De introductie van een gespecialiseerd machine translation-systeem voor Luxemburgs, gebaseerd op GEMMA 3, dat significant beter presteert dan de basisversie.
2. Nieuwe Benchmark: De creatie van een schoon, menselijk vertaald benchmark voor LB→FR, LB→EN en LB→DE, specifiek ontworpen om data-contaminatie te voorkomen.
3. Data-strategie: Een effectieve methode voor het filteren van parallelle data voor low-resource talen met behulp van sentence embeddings (LUXEMBEDDER).
4. Cross-linguale Generalisatie: Het aantonen dat fine-tuning op FR en EN ook leidt tot verbeteringen in de vertaling naar Duits (DE), een taal die niet in de trainingsdata zat.

Resultaten

• Prestatieverbetering: LUXMT toont aanzienlijke verbeteringen ten opzichte van de GEMMA 3-baseline op alle geteste taalparen.
  • Voor LB→FR en LB→EN zijn de scores voor BERTSCORE en BLEURT-20 significant gestegen (bijv. +1.3 tot +1.9 punten op BLEURT-20).
  • Voor LB→DE (niet in training) werd eveneens een statistisch significante verbetering waargenomen, wat de cross-linguale leercapaciteiten van LLM's bevestigt.
• LUXEMBEDDER als QE-metric: Er werd een sterke correlatie gevonden tussen LUXEMBEDDER en andere gevestigde metrics (zoals CHRF2 en BERTSCORE). Echter, de auteurs waarschuwen dat deze correlatie verrassend hoog is voor een embedding-metric en dat LUXEMBEDDER vooralsnog met voorzichtigheid moet worden gebruikt als kwaliteitsmeting zonder menselijke validatie.

Betekenis en Toekomstperspectief

Dit rapport is significant omdat het een praktische oplossing biedt voor machine vertaling in een low-resource taal (Luxemburgs) door slimme data-curatie en het benutten van krachtige open-source foundation models. Het benadrukt het belang van domeinspecifieke benchmarks om eerlijke evaluaties mogelijk te maken.

De auteurs wijzen echter op beperkingen:

• De huidige benchmark is beperkt tot een toeristisch domein en een relatief kleine dataset (500 zinnen per paar).
• De bron van de Luxemburgse tekst in het magazine is onduidelijk (mogelijk vertaald uit een andere taal), wat "translationese" kan introduceren.
• Verdere human evaluation is nodig om de bruikbaarheid van LUXEMBEDDER als autonome kwaliteitsmeting te bevestigen.

Toekomstig werk zal gericht zijn op het uitbreiden van de benchmark, het testen van linguïstisch gemotiveerde test suites, en het verkennen van nieuwe fine-tuning strategieën met geschatte vertaalmoeilijkheidscores.