Open Machine Translation for Esperanto

Probleemstelling

Esperanto is een wereldwijd verspreide geconstrueerde taal met een actieve online gemeenschap en aanzienlijke digitale bronnen (zoals Wikipedia en Common Crawl). Desondanks blijft de taal onderbelicht in de context van moderne machinevertaling (MT). Hoewel er veel tekstuele bronnen beschikbaar zijn, ontbreekt er een state-of-the-art, open-source MT-systeem dat specifiek voor Esperanto is geoptimaliseerd. Bestaande systemen zijn vaak beperkt tot oude regelgebaseerde benaderingen of zijn niet openbaar beschikbaar. Het paper positioneert Esperanto als een "low-resource" taal in termen van NLP-ontwikkeling, ondanks de relatief grote webrepresentatie, en benadrukt de noodzaak van gedecentraliseerde, open technologie die aansluit bij de ideologische waarden van de Esperanto-gemeenschap.

Methodologie

De auteurs hebben een systematische benchmark uitgevoerd en eigen modellen getraind om de vertaalkwaliteit te evalueren tussen Esperanto (eo) en drie andere talen: Engels (en), Spaans (es) en Catalaans (ca).

1. Benchmarking van Bestaande Systemen:

   • Regelgebaseerd: Apertium (open-source toolkit).
   • Neurale Modellen: De NLLB-familie (No Language Left Behind) in verschillende maten (van 600M tot 3,3B parameters) en gedistilleerde varianten.
   • Generieke LLM's: Llama-3.1-8B-Instruct (zero-shot prompting).
   • MT-gespecialiseerde LLM's: TowerInstruct-7B-v0.2 en Tower-Plus-9B.

2. Ontwikkeling van Eigen Modellen:

   • Van Scratch: Training van compacte Transformer-modellen (Encoder-Decoder) met Marian toolkit. Twee configuraties: Transformer-base (60,6M parameters) en Transformer-tiny (17,4M parameters).
   • Fine-tuning: Supervised Fine-tuning (SFT) van Llama-3.1-8B-Instruct met LoRA (Low-Rank Adaptation) op instructie-gebaseerde prompts.
   • Data: Gebruik van Tatoeba Challenge data (OPUS-repository) met strikte filtering (lengte, taalidentificatie, HTML-removal). Voor de Transformer-modellen werd de Engelse data gesubsampled om balans te creëren; voor LLM-fine-tuning werden 100k zinnenparen per taalrichting gebruikt.

3. Evaluatie:

   • Datasets: FLORES+ benchmark (professioneel vertaalde testsets).
   • Metrieken: Oppervlakkige metrieken (BLEU, ChrF++) en neurale metrieken (COMET, MetricX).
   • Menselijke Evaluatie: Een paarsgewijze ranking van de beste modellen voor de Spaans-Esperanto richting door menselijke annotatoren, gevolgd door kwalitatieve foutanalyse.

Belangrijkste Bijdragen

• Eerste Systematische Benchmark: Dit is het eerste uitgebreide onderzoek dat open-source MT-systemen voor Esperanto vergelijkt, inclusief regelgebaseerde systemen, neurale netwerken en LLM's.
• Open Science: De auteurs hebben hun code (GitHub) en de beste getrainde modellen (Hugging Face) publiek vrijgegeven om de gemeenschap te ondersteunen.
• Compacte Modellen: Ze hebben bewezen dat zeer compacte modellen (zoals 17M parameters) concurrerend kunnen zijn met veel grotere systemen, wat essentieel is voor duurzaamheid en toegankelijkheid.
• Foutanalyse: Een gedetailleerde kwalitatieve analyse van de foutpatronen van verschillende modelarchitecturen.

Resultaten

• NLLB als Beste Baseline: De NLLB-familie presteert consequent het beste in alle taalparen, met name de 3,3B-parameter versie. Gedistilleerde varianten (1,3B) presteren verrassend goed en zijn soms zelfs beter dan de grotere niet-gedistilleerde versies.
• LLM's vs. Gespecialiseerde MT: Generieke LLM's (zoals Llama-3.1) presteren redelijk, maar blijven achter bij gespecialiseerde MT-systemen zoals NLLB. MT-gespecialiseerde LLM's (Tower-familie) presteerden opvallend slecht, vooral in het genereren van Esperanto, wat suggereert dat taalspecifieke fine-tuning de algemene vertaalcapaciteiten kan schaden bij low-resource talen.
• Efficiëntie van Compacte Modellen: De Transformer-base (60M) en Transformer-tiny (17M) modellen presteren vergelijkbaar met de fine-tuned Llama-3.1-8B, ondanks dat ze honderden keren kleiner zijn. Dit toont aan dat taalspecifieke architecturen efficiënter zijn dan het fine-tunen van enorme generieke modellen bij beperkte data.
• Asymmetrie: Vertalen van Esperanto levert over het algemeen hogere scores op dan vertalen naar Esperanto, wat wijst op de uitdaging om de taal te genereren gezien de beperktere trainingsdata in vergelijking met Engels of Spaans.
• Menselijke Evaluatie: Menselijke beoordelingen bevestigen de trend: NLLB wordt in ongeveer 50% van de gevallen verkozen als de beste vertaling, hoewel ook hier nog merkbare fouten voorkomen.
• Metriek Correlatie: Neuronale metrieken (MetricX en COMET) correleren significant beter met menselijke oordelen dan traditionele n-gram metrieken (BLEU, ChrF++), zelfs zonder expliciete fine-tuning op Esperanto-data.

Betekenis en Conclusie

Het paper onderstreept dat voor low-resource talen als Esperanto, de NLLB-familie momenteel de beste keuze is, maar dat er ruimte is voor efficiëntere, open alternatieven. De succesvolle training van zeer compacte modellen (die zelfs op standaard CPU's draaien) sluit naadloos aan bij de ideologie van Esperanto: toegankelijkheid, decentralisatie en technologische soevereiniteit.

De auteurs concluderen dat het ontwikkelen van vrije, open MT-systemen cruciaal is voor het behoud van een digitale taalinfrastructuur die door de gemeenschap zelf kan worden beheerd. Voor toekomstig werk wordt voorgesteld om te onderzoeken of de regelmatige morfologie van Esperanto het modelleren makkelijker maakt dan bij natuurlijke talen, en om hybride benaderingen (regelgebaseerd + neurale) te verkennen.