No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data

Résumé technique : Pas de solution unique : Construire des systèmes pour la traduction vers le bashkir, le kazakh, le kirghize, le tatar et le tchouvache

Énoncé du problème
Le document traite du défi de la traduction automatique (MT) pour les langues turciques à faibles ressources, en se concentrant spécifiquement sur cinq paires de langues : russe-bashkir, russe-kazakh, russe-kirghize, anglais-tatar et anglais-tchouvache. Les auteurs notent que les données parallèles de haute qualité sont rares pour ces langues, ce qui nécessite l'étude de multiples approches pour améliorer la qualité de la traduction dans des conditions de rareté de données.

Méthodologie
Les auteurs ont employé une stratégie hybride combinant l'augmentation de données, le réglage fin efficace en paramètres (parameter-efficient fine-tuning) et le prompt avec augmentation par récupération (retrieval-augmented prompting).

• Construction et augmentation des données :

  • Données originales : L'étude a agrégé les corpus parallèles existants provenant de diverses sources (par exemple, l'équipe NLLB, Plotnikov et Antonov, Zhang et al.) pour les cinq paires de langues.
  • Données synthétiques : Pour remédier à la rareté des données, les auteurs ont augmenté les ensembles d'entraînement en utilisant Yandex.Translate. Ils ont traduit des phrases anglaises vers le russe (si nécessaire) puis vers les langues turciques cibles. Ce processus a utilisé les fonctionnalités de « traduction de documents » sur de grands blocs (50k–200k échantillons).
  • Filtrage : Les données synthétiques ont été méticuleusement filtrées pour éliminer toute phrase apparaissant dans les ensembles de test.
  • Pseudolabeling : Les auteurs ont utilisé le pseudolabeling de données, constatant que l'entraînement multilingue sans celui-ci produisait des résultats inférieurs lors des expériences préliminaires.
  • Jeu de données final : Après l'augmentation, la taille des données d'entraînement a atteint environ 2,46 millions d'échantillons par paire de langues. Un sous-ensemble spécifique, YaTURK-7lang, a été publié, contenant des données traduites en six langues.

• Approche 1 : Réglage fin avec LoRA (Kazakh et Bashkir)

  • Modèle de base : Les auteurs ont sélectionné facebook/nllb-200-distilled-600M comme modèle de base.
  • Tokenisation : Des préfixes de paires de langues personnalisés (par exemple, <prefix_rus_bash>) ont été ajoutés au tokenizer pour guider le modèle.
  • Stratégie d'entraînement : Deux modes ont été explorés :
    1. Un réglage fin multi-tâche sur toutes les langues pendant un époque, suivi de l'entraînement d'un adaptateur LoRA pour les langues spécifiques.
    2. Un réglage fin mono-tâche.
  • Configuration LoRA : Les auteurs ont utilisé DORA (Weight-Decomposed Low-Rank Adaptation), une extension de LoRA. Les hyperparamètres clés comprenaient $r=64$, $\alpha=64$, un dropout LoRA de 0,2 et une initialisation de poids PiSSA. Les modules cibles incluaient les couches de projection ($q, v, k, out$) et les couches feed-forward ($fc1, fc2$).
  • Optimisation : L'entraînement a utilisé l'optimiseur paged AdamW-8bit avec un scheduler de taux d'apprentissage linéaire (taux de départ $5e^{-4}$) pour LoRA et un scheduling cosinus pour le réglage fin complet.

• Approche 2 : Prompt avec augmentation par récupération (Tchouvache, Tatar, Kirghize)

  • Justification : Le réglage fin de NLLB sur le tchouvache a donné de mauvais résultats, probablement parce que le modèle de base n'a pas été pré-entraîné sur le tchouvache. De même, la performance zero-shot pour l'anglais-tchouvache était faible.
  • Système de récupération : Un index ANNOY a été construit en utilisant des phrases de la langue source du jeu de données. Pour les nouvelles requêtes, le système récupère les phrases sources les plus similaires et leurs traductions pour servir d'exemples de contexte.
  • Embeddings : thenlper/gte-small a été utilisé pour l'anglais-tchouvache, tandis que sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 a été utilisé pour les autres paires.
  • Prompting LLM : Plusieurs modèles ont été testés via API (DeepSeek-R1, DeepSeek-N1, MiMoV2, Gemma3, DeepSeek-V3.2). Le prompt instruisait le modèle de traduire une phrase en se basant sur des exemples similaires récupérés, avec des contraintes strictes pour ne retourner que la traduction.
  • Configuration : Pour l'anglais-tchouvache, une grande fenêtre de contexte (TOP_N=7000) a été utilisée. Pour l'anglais-tatar, le prompting zero-shot avec DeepSeek-V3.2 s'est avéré supérieur aux méthodes basées sur la récupération.

• Ensemblage (Stacking) :

  • Les auteurs ont tenté de sélectionner la meilleure traduction parmi plusieurs soumissions en utilisant la similitude sémantique (encodeur LaBSE) et un filtrage basé sur la perplexité. Cependant, ces méthodes ont généralement entraîné des détériorations mineures des scores de validation par rapport à la meilleure soumission individuelle.

Résultats clés
Les auteurs rapportent les scores chrF++ du classement de la compétition :

• Kazakh : L'approche basée sur LoRA a obtenu le score le plus élevé de 49,71.
• Bashkir : L'approche basée sur LoRA a atteint 46,94.
• Tchouvache : Le prompting de DeepSeek-V3.2 avec des exemples récupérés a atteint 39,47, surpassant nettement le modèle NLLB réglé finement (11,70) et les baselines zero-shot.
• Tatar : Une approche zero-shot ou basée sur la récupération a atteint 41,6. Notamment, le résultat zero-shot de DeepSeek-V3.2 (43,66) était imbattable par les méthodes de récupération.
• Kirghize : L'approche zero-shot a atteint 45,6, surpassant le prompting basé sur la récupération qui provoquait des baisses de performance lorsque les fenêtres de contexte étaient étendues.

Contributions et Signification
La principale contribution du papier est la démonstration qu'une stratégie « taille unique » est inefficace pour les langues turciques à faibles ressources ; au contraire, l'approche optimale dépend de la disponibilité des ressources et des caractéristiques spécifiques de la langue cible.

• Stratégies dépendantes des ressources : Pour les langues relativement bien dotées en ressources (bashkir, kazakh), le réglage fin de modèles pré-entraînés (NLLB) sur des données synthétiques via LoRA/DORA s'est avéré le plus efficace.
• Adaptation à la rareté : Pour les langues extrêmement rares comme le tchouvache, où le modèle de base manquait de pré-entraînement, le prompting avec augmentation par récupération et des modèles de langage de grande taille a apporté des améliorations significatives de qualité.
• Limites du Zero-Shot : Pour les langues ayant de bonnes performances zero-shot (kirghize, tatar), les mécanismes de récupération complexes n'ont pas surpassé le simple prompting zero-shot avec des modèles avancés comme DeepSeek-V3.2.
• Publication ouverte : Les auteurs ont publié le jeu de données YaTURK-7lang ainsi que les poids des modèles pour le kazakh et le bashkir (incluant le modèle multi-tâche réglé finement et les adaptateurs LoRA) pour faciliter la recherche ultérieure.

Conclusion
L'étude conclut que si le réglage fin sur des données synthétiques est la voie la plus prometteuse pour les langues possédant déjà certaines ressources, le prompting avec des exemples récupérés est une alternative viable pour les langues en situation d'extrême rareté de données. Les auteurs reconnaissent que les recherches futures pourraient explorer le réglage fin de modèles pré-entraînés spécifiquement sur des langues à faibles ressources, mais leur travail actuel établit une référence pour traiter ces paires de langues turciques spécifiques en utilisant les outils et les données disponibles.