Open Machine Translation for Esperanto

Titre : Traduction Automatique Ouverte pour l'Espéranto

Auteurs : Ona de Gibert et Lluís de Gibert
Affiliations : Université d'Helsinki, Kataluna Esperanto-Asocio (KEA), Sennacieca Asocio Tutmonda (SAT)

---

1. Problématique

L'espéranto, bien que disposant d'une communauté en ligne active et de ressources textuelles substantielles (notamment via Wikipédia et le Common Crawl), reste sous-exploité dans le domaine de la traduction automatique (TA) moderne.

• Déficit d'évaluation : Il n'existe pas de système de TA open-source de pointe spécifiquement optimisé pour l'espéranto. Les systèmes commerciaux sont exclus de cette étude.
• Déficit de ressources ciblées : Malgré sa présence dans de grands corpus de pré-entraînement (comme MADLAD-400 ou HPLT), l'espéranto est considéré comme une langue « sous-dotée » (low-resource) en termes de développement ciblé d'outils NLP et de benchmarks d'évaluation dédiés.
• Objectif : Combler ce vide en présentant la première évaluation systématique et complète des systèmes de TA open-source pour l'espéranto, en comparant différentes architectures (règles, encodeurs-décodeurs, LLMs) et en développant de nouveaux modèles compacts.

2. Méthodologie

L'étude adopte une approche de science ouverte et se divise en deux volets principaux : l'évaluation de systèmes existants (benchmark) et le développement de nouveaux modèles.

A. Configuration Expérimentale

• Paires de langues : Traduction entre l'espéranto (eo) et trois langues européennes : l'anglais (en), l'espagnol (es) et le catalan (ca).
• Données d'évaluation : Utilisation du benchmark FLORES+, qui fournit des ensembles de tests traduits professionnellement.
• Données d'entraînement : Utilisation des données de défi Tatoeba (agrégat OPUS) nettoyées via OpusFilter.
  • Filtrage : Longueur des phrases, ratio de longueur, suppression des balises HTML, identification de la langue.
  • Volume : Environ 100k paires de phrases par direction pour le fine-tuning des LLMs, et jusqu'à 5M pour les modèles Transformer entraînés de zéro.

B. Modèles Évalués et Développés

1. Systèmes de Référence (Benchmark) :

   • Apertium : Système basé sur des règles (RBMT).
   • Famille NLLB (No Language Left Behind) : Modèles encodeur-décodeur multilingues de tailles variées (600M à 3,3B de paramètres), y compris des versions distillées.
   • LLMs Génériques : Llama-3.1-8B-Instruct (évalué en zero-shot).
   • LLMs Spécialisés TA : Famille Tower (TowerInstruct-7B et Tower-Plus-9B), conçus spécifiquement pour la traduction.

2. Développement de Nouveaux Modèles :

   • Modèles Transformer entraînés de zéro : Deux architectures légères (Marian) : Transformer-base (60,6M paramètres) et Transformer-tiny (17,4M paramètres).
   • Fine-tuning de LLM : Adaptation de Llama-3.1-8B-Instruct via LoRA (Low-Rank Adaptation) avec des instructions spécifiques (format de prompt similaire à FLORES+).

C. Métriques d'Évaluation

• Automatiques : BLEU, ChrF++ (métrique principale pour les langues morphologiquement riches), COMET et MetricX (métriques neuronales).
• Humaines : Évaluation par classement (pairwise ranking) sur 100 échantillons pour la paire espagnol-espéranto, comparant les meilleurs modèles de chaque catégorie.

3. Résultats Clés

A. Performance des Modèles

• NLLB domine : La famille NLLB obtient les meilleurs résultats sur toutes les paires de langues, confirmant l'efficacité de l'apprentissage par transfert multilingue massif. Le modèle NLLB-200-3.3B est le leader, suivi de près par sa version distillée 1.3B.
• LLMs Génériques vs Spécialisés :
  • Les LLMs génériques (Llama-3.1-8B) surpassent les modèles spécialisés TA (Tower) dans ce contexte.
  • Les modèles Tower (TowerInstruct-7B) échouent lamentablement sur l'espéranto, suggérant que le fine-tuning sur des langues à haute ressource peut dégrader la capacité de traduction vers des langues à faible ressource.
• Efficacité des petits modèles : Les modèles Transformer entraînés de zéro (60M et 17M de paramètres) sont compétitifs avec le Llama-3.1-8B fine-tuné, malgré une taille 500 fois inférieure. Le modèle Transformer-tiny offre un excellent compromis performance/efficacité.
• Asymétrie : La traduction depuis l'espéranto donne généralement de meilleurs scores que vers l'espéranto, reflétant la richesse des données d'entraînement pour les langues sources (en, es, ca) par rapport à l'espéranto.

B. Évaluation Humaine

• Préférence : NLLB est choisi comme la meilleure traduction dans environ 50 % des cas, confirmant les métriques automatiques.
• Qualité : Même le meilleur système (NLLB) commet des erreurs notables.
  • NLLB : Traductions fluides mais parfois trop littérales (ex: traduction compositionnelle de mots composés comme "neĝotabulo" -> "tabla de nieve" au lieu de "snowboard").
  • Transformer-base : Traductions plus littérales mais avec des erreurs grammaticales et lexicales (mots inexistants).
  • Llama-FT : Tendance à l'hallucination (ajout/suppression d'informations) et à l'intrusion d'anglais.

C. Corrélation des Métriques

• Les métriques neuronales (MetricX et COMET) corrèlent beaucoup mieux avec les jugements humains que les métriques traditionnelles (BLEU, ChrF++), même si elles n'ont pas été fine-tunées spécifiquement sur l'espéranto. Cela démontre la capacité de généralisation du transfer learning pour les métriques neuronales.

4. Contributions Principales

1. Premier Benchmark Complet : Établissement d'une référence standard pour l'évaluation de la TA pour l'espéranto, comparant RBMT, NMT et LLMs.
2. Modèles Open-Source : Publication de modèles compacts (Transformer-base et tiny) et d'un LLM fine-tuné, accessibles via HuggingFace et GitHub, alignés sur les valeurs de souveraineté technologique de la communauté espérantophone.
3. Analyse des Architectures : Démonstration que pour les langues à faible ressource, des modèles compacts entraînés de zéro peuvent rivaliser avec des LLMs massifs, offrant une alternative plus durable et accessible.
4. Insights sur les LLMs : Mise en évidence du fait que les LLMs spécialisés TA (comme Tower) peuvent être moins performants que les LLMs génériques pour les langues à faible ressource, probablement en raison d'un "catastrophic forgetting" ou d'un déséquilibre dans le fine-tuning.

5. Signification et Implications

• Souveraineté Linguistique : Ce travail soutient l'idée que la communauté espérantophone peut développer et maintenir ses propres infrastructures de TA sans dépendre de solutions propriétaires fermées.
• Efficacité Énergétique : La démonstration que des modèles de 17M à 60M de paramètres sont compétitifs ouvre la voie à des déploiements sur des appareils personnels (CPU), réduisant l'empreinte carbone de la TA.
• Avenir de la TA Low-Resource : L'étude suggère que pour les langues comme l'espéranto, l'approche par modèles compacts et spécialisés est plus viable et éthique que la course aux modèles géants. Elle remet également en question l'efficacité du fine-tuning de LLMs génériques pour des tâches de traduction spécifiques dans des contextes à faible ressource.

En conclusion, cette recherche fournit une base solide pour le développement futur de la TA pour l'espéranto, en privilégiant l'ouverture, l'efficacité et la collaboration communautaire.