Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

Résumé technique : Mix-MoE : Amélioration de la traduction automatique multilingue des grands modèles de langage grâce aux MoE mixtes

Énoncé du problème
Bien que les grands modèles de langage (LLM) démontrent de fortes capacités en traduction automatique multilingue (TA), leur fine-tuning sur des corpus parallèles introduit un défi majeur : l'interférence des paramètres. Lorsqu'un LLM est affiné pour une tâche en aval comme la traduction à l'aide de nouvelles données, ses paramètres se déplacent pour optimiser la nouvelle tâche, entraînant souvent la dégradation de ses capacités originales, pourtant solides, de compréhension et de génération monolingue. Les approches existantes, telles que les architectures génériques de mélange d'experts (MoE) ou les méthodes d'isolation des paramètres, manquent souvent de conceptions spécifiques à la tâche qui exploitent explicitement les connaissances monolingues pré-entraînées pour aider la traduction, ou elles s'appuient sur des mécanismes d'acheminement ne considérant que le contenu sémantique, risquant ainsi de négliger les motifs structurels ou rythmiques sous-jacents dans le texte.

Méthodologie
Les auteurs proposent Mix-MoE, un cadre de mélange d'experts conçu pour entraîner des LLM pour la TA multilingue tout en atténuant l'interférence des paramètres. Le cadre transforme un LLM dense en un modèle MoE épars avec deux groupes distincts d'experts et emploie une stratégie d'entraînement en deux étapes :

1. Groupes d'experts spécialisés :

   • Experts de modèle de langage (LM) : Conçus pour capturer et conserver les connaissances monolingues apprises lors du pré-entraînement. Ils sont initialisés par « upcycling » (réutilisation ascendante) des poids des couches originales de réseau de neurones feed-forward (FFN) du LLM.
   • Experts de traduction automatique (MT) : Spécialisés pour acquérir et stocker les connaissances de traduction bilingue. Ils sont initialisés à partir des experts LM pré-entraînés.
   • Le modèle cible les couches FFN pour la transformation MoE, car ces couches fonctionnent comme des mémoires clé-valeur pour les connaissances linguistiques, tout en maintenant les couches d'attention denses pour préserver la conscience du contexte.

2. Mécanisme d'acheminement amélioré par FFT :

   • Pour faciliter une interaction efficace entre les experts et capturer des indices linguistiques divers, les auteurs introduisent un mécanisme d'acheminement amélioré par des caractéristiques de transformée de Fourier rapide (FFT).
   • Des caractéristiques spectrales sont extraites des états cachés du modèle via la FFT et concaténées avec les représentations sémantiques originales.
   • Des réseaux d'acheminement séparés (un pour les experts LM, un pour les experts MT) utilisent ces représentations augmentées pour sélectionner les experts. Cela permet au routeur de considérer non seulement le contenu sémantique, mais aussi les motifs du domaine fréquentiel indicatifs de la structure du texte (par exemple, le rythme des phrases, la complexité morphologique).

3. Stratégie d'entraînement post-pré-entraînement en deux étapes :

   • Étape 1 (Entraînement des experts LM) : Le modèle est entraîné sur des corpus monolingues. Seuls les experts LM et leur réseau d'acheminement correspondant sont mis à jour. L'objectif est d'affiner la représentation des structures de chaque langue.
   • Étape 2 (Entraînement des experts MT) : Le modèle est entraîné sur des corpus parallèles bilingues. Les experts LM et leurs paramètres de routeur sont figés pour préserver les connaissances monolingues acquises. Seuls les experts MT et leur réseau d'acheminement sont entraînés pour se spécialiser dans la tâche de traduction.

Contributions clés

1. Architecture Mix-MoE : Une architecture MoE novatrice comportant des experts LM et MT spécialisés, couplée à un mécanisme d'acheminement amélioré par FFT qui exploite à la fois les indices sémantiques et structurels potentiels du texte.
2. Stratégie d'entraînement en deux étapes : Un pipeline d'entraînement adapté qui permet aux experts MT de bénéficier des connaissances pré-entraînées tout en se spécialisant dans la traduction, séparant efficacement les objectifs d'apprentissage monolingue et bilingue pour atténuer l'interférence des paramètres.
3. Validation empirique : Des expériences extensives démontrant que la méthode proposée atteint des résultats de pointe sur plusieurs tâches de traduction et paires de langues.

Résultats expérimentaux
Les auteurs ont évalué Mix-MoE sur 14 directions linguistiques en utilisant le jeu de données WMT (incluant le finnois, le tchèque, l'allemand, le russe, le turc, l'estonien et le chinois vers/depuis l'anglais) et le benchmark FLORES-200.

• Performance : Mix-MoE a constamment surpassé les références, incluant le fine-tuning complet, LoRA, LLaMA-Pro, et des variantes MoE génériques (par exemple, MoE-LPR, LLaMA-MoE v2). Par exemple, dans la tâche DE-EN, Mix-MoE a obtenu un score BLEU de 31,8, dépassant significativement la référence de fine-tuning complet en deux étapes (20,8).
• Atténuation de l'interférence des paramètres : Des études d'ablation ont confirmé que la séparation des experts est cruciale. Un entraînement MoE standard en deux étapes (mettant à jour tous les experts à l'étape 2) a donné de moins bons résultats que Mix-MoE, indiquant que le gel spécifique des experts LM empêche l'oubli catastrophique.
• Acheminement FFT : Des comparaisons avec la projection aléatoire et la transformée en cosinus discrète (DCT) ont montré que les caractéristiques dérivées de la FFT ont considérablement amélioré l'efficacité de l'acheminement, confirmant que les motifs du domaine fréquentiel fournissent des indices structurels précieux pour la sélection des experts.
• Évolutivité : La méthode a démontré sa robustesse et son évolutivité lorsqu'elle a été étendue à des modèles plus grands (Llama3.1-8B et Qwen2.5-14B), surpassant constamment les approches de fine-tuning complet.

Portée et affirmations
L'article affirme que Mix-MoE répond au défi critique de l'interférence des paramètres lors du fine-tuning des LLM pour la traduction multilingue. En séparant explicitement l'apprentissage de la modélisation du langage monolingue et de la traduction bilingue en groupes d'experts distincts, et en utilisant un mécanisme d'acheminement sensible aux motifs structurels du texte, le cadre préserve avec succès les capacités linguistiques originales du LLM tout en améliorant les performances de traduction. Les auteurs positionnent ce travail comme une avancée dans l'entraînement efficace de la TA, offrant une solution pratique pour déployer des systèmes de traduction multilingue qui maintiennent une compréhension linguistique de haute qualité sans la redondance de mises à jour massives de paramètres.