Résumé Technique : DeltaMoE – Une Voire Efficace en Données vers les LLM Multilingues

1. Énoncé du Problème

L'extension des Grands Modèles de Langage (LLM) à de nouvelles langues est actuellement un processus très coûteux en ressources. Le pipeline standard implique un Pré-entraînement Continu (CPT) sur d'immenses corpus multilingues, suivi d'une phase complexe d'alignement post-entraînement (par exemple, SFT et RL). Cette approche exige une réutilisation extensive de données pour éviter l'oubli catastrophique des capacités originales et nécessite d'énormes quantités de données d'instruction de haute qualité pour l'alignement.

Les techniques récentes de fusion « sans données » tentent de contourner la phase d'alignement en fusionnant un modèle amélioré par CPT avec un modèle d'instruction existant. Cependant, ces méthodes font face à un compromis critique :

• Moyenne Linéaire (Model Soups) : Dilue les connaissances linguistiques nouvellement acquises, limitant les gains dans les langues étendues.
• Fusion Delta : L'application directe des changements de paramètres provoque souvent un oubli catastrophique des capacités linguistiques originales du modèle.

Le défi central consiste à acquérir efficacement de nouvelles capacités linguistiques et d'alignement sans sacrifier les performances originales du modèle.

2. Méthodologie : DeltaMoE

Les auteurs proposent DeltaMoE, un cadre en deux étapes qui reconvertit un modèle dense en une architecture de Mélange d'Experts (MoE) pour résoudre le compromis susmentionné.

Étape 1 : Pré-entraînement Continu par Reconversion Sparse

Le modèle de base dense est transformé en une architecture MoE en créant des copies profondes des Réseaux de Neurones Feed-Forward (FFN) originaux pour servir d'« experts ».

• Architecture : Le modèle se compose de $N$ experts et d'un routeur. Les paramètres originaux (spécifiquement l'expert 0) sont figés pour agir comme un dépôt dédié aux connaissances linguistiques originales.
• Entraînement : Seuls les experts d'expansion nouvellement ajoutés et le routeur sont mis à jour lors du CPT sur les données de la nouvelle langue.
• Objectif : Le modèle minimise la perte de Prédiction du Prochain Token (NTP) tout en utilisant une perte d'équilibrage de charge (LLB) pour assurer une distribution efficace des tokens parmi les experts. Cela garantit que les connaissances originales restent intactes tandis que les nouvelles langues sont apprises par les experts actifs.

Étape 2 : Fusion de Modèle MoE (Intégration Delta)

Une fois le modèle de base MoE entraîné sur de nouvelles langues, il manque de capacités d'alignement. Au lieu d'un post-entraînement coûteux, les auteurs greffent un delta de paramètres ($\Delta_{post}$) provenant d'un modèle d'instruction dense bien aligné.

• Calcul du Delta : $\Delta_{post} = \theta_{post-trained} - \theta_{base}$, représentant les connaissances d'alignement acquises lors de l'entraînement du modèle d'instruction.
• Greffage Composant par Composant :
  • Paramètres Partagés : Pour les couches communes aux architectures dense et MoE (par exemple, Attention, Embeddings), le delta est appliqué directement.
  • Paramètres d'Experts : Pour les couches FFN, un seul delta spécifique au FFN est calculé à partir des poids FFN du modèle dense. Ce delta est ensuite appliqué uniformément à tous les experts de l'architecture MoE.
• Raison d'être : Cette stratégie traite tous les experts comme héritant de la même structure fondamentale, permettant à la connaissance d'alignement d'être diffusée à travers tous les experts sans diluer les connaissances linguistiques spécifiques stockées dans les experts figés ou entraînés.

3. Contributions Clés

1. Cadre Novel : Introduction de DeltaMoE, qui intègre la reconversion MoE avec une stratégie de fusion delta affinée pour étendre les langues et acquérir des capacités d'alignement sans procédures lourdes de post-entraînement.
2. Résolution des Compromis : La méthode découple efficacement l'acquisition de connaissances (via de nouveaux experts) de la rétention de connaissances (via des experts figés) et du transfert d'alignement (via le greffage delta), résolvant le conflit entre l'expansion des capacités et la préservation des capacités originales.
3. Généralisabilité : L'approche est validée sur différents modèles de base (Qwen2.5-7B, LLaMA-3.1-8B) et différentes sources de deltas d'alignement (instruction standard, Tulu3 SFT), démontrant une robustesse.

4. Résultats Expérimentaux

Des expériences ont été menées sur l'extension de Qwen2.5-7B et LLaMA-3.1-8B au hongrois, au serbe et au bengali, évaluées par rapport à des bases de référence avec des données, des FLOPs et des nombres de paramètres appariés.

• Performance sur les Langues Étendues : DeltaMoE a atteint des performances de pointe (SOTA), améliorant les scores moyens sur les langues étendues de 1,7 point par rapport à d'autres méthodes basées sur le delta avec des paramètres comparables.
• Préservation des Capacités Originales : Contrairement à la fusion delta dense qui a provoqué un oubli significatif, DeltaMoE a préservé les performances linguistiques originales, surpassant les bases de référence delta denses de 1,5 point dans les métriques de rétention.
• Efficacité : Même lorsque les bases de référence denses ont été entraînées sur le double de données de CPT (pour correspondre aux FLOPs de l'entraînement MoE), DeltaMoE a maintenu une avance significative (environ 1,94 point) dans les performances des langues étendues.
• Études d'Ablation :
  • Stratégie de Fusion : La moyenne linéaire au sein d'une architecture MoE a échoué à résoudre le compromis, confirmant la nécessité de l'approche de fusion delta.
  • Ajustement du Routeur : Une stratégie minimale de réutilisation de données (0,15 milliard de tokens) combinée à un ajustement du routeur a permis à DeltaMoE de surpasser les bases de référence de moyenne dense dans la rétention des connaissances.
  • Évolutivité : L'augmentation du nombre d'experts entraînables au-delà de trois a produit des gains négligeables, suggérant que 3 experts entraînables suffisent pour plusieurs langues étendues.

5. Signification et Revendications

Le papier revendique que DeltaMoE offre une voie pratique et évolutive pour étendre l'alignement multilingue des LLM existants. En reconvertissant les modèles denses en architectures MoE et en greffant des deltas d'alignement, la méthode :

• Élimine le besoin de vastes ensembles de données d'instruction et de phases complexes d'alignement RL pour les nouvelles langues.
• Résout le dilemme « oubli vs apprentissage » inhérent aux techniques de fusion actuelles.
• Fournit une alternative efficace en données qui atteint des performances supérieures avec une surcharge computationnelle significativement moindre par rapport à l'augmentation des données d'entraînement denses.

Les auteurs reconnaissent les limites, notant que les langues évaluées ne représentent pas pleinement la diversité linguistique mondiale et que l'architecture MoE introduit une surcharge computationnelle non négligeable par rapport aux modèles denses lors de l'inférence. Cependant, le cadre est présenté comme une solution robuste pour une expansion multilingue efficace.