Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation

Résumé technique : Exploitation des dynamiques de routage dans les modèles à mélange d'experts pour l'adaptation linguistique efficace

Énoncé du problème
Les modèles à mélange d'experts (MoE) constituent la norme pour la mise à l'échelle des grands modèles de langage (LLM) grâce à leur capacité à maintenir des nombres de paramètres massifs tout en maintenant des coûts d'inférence gérables via une activation éparsée. Cependant, le comportement de routage interne des modèles MoE dans des contextes multilingues reste sous-exploré. Bien qu'il soit établi que les modèles denses multilingues s'appuient sur l'anglais comme « pivot » interne dans les couches intermédiaires, avec des neurones spécifiques à la langue dans les première et dernière couches, il est incertain comment les MoE développent des stratégies de routage spécialisées pour différentes langues. De plus, l'adaptation de grands MoE à de nouvelles langues à ressources limitées est coûteuse en calcul. Bien que leur structure modulaire permette théoriquement une adaptation efficace en termes de paramètres en mettant à jour uniquement un sous-ensemble d'experts, il est actuellement inconnu quels experts mettre à jour sans une compréhension préalable des dynamiques de routage multilingue.

Méthodologie
Les auteurs mènent une étude contrôlée utilisant le modèle OLMoE-Base (un transformateur uniquement décodeur avec 64 experts par couche, sélectionnant les 8 meilleurs) pour investiguer les dynamiques de routage durant le pré-entraînement continu.

1. Configuration du pré-entraînement continu : Le modèle OLMoE-Base centré sur l'anglais est pré-entraîné de manière continue sur un corpus équilibré de 35 milliards de tokens couvrant sept langues à ressources élevées (anglais, arabe, tchèque, espagnol, finnois, hindi, russe) échantillonnées à partir du jeu de données CulturaX. Le modèle résultant est désigné sous le nom de OLMoE-M7.
2. Métriques d'analyse du routage : Pour caractériser la distribution de la masse de routage, les auteurs analysent :
   • Entropie du routeur : Mesure la concentration de l'activation des experts pour une langue donnée. Une entropie plus faible implique que les tokens sont routés vers un petit sous-ensemble d'experts.
   • Divergence de routage interlingue (JSD) : Divergence de Jensen–Shannon entre les distributions d'utilisation des experts au niveau des langues pour quantifier la distinctivité des motifs de routage entre paires de langues.
   • Chevauchement du vocabulaire : Le chevauchement de vocabulaire au niveau des tokens entre paires de langues est analysé pour déterminer s'il entraîne une similarité de routage plus forte que la similarité typologique ou familiale.
3. Stratégie d'adaptation (SSFT) : Motivés par l'analyse du routage, les auteurs proposent le Finetuning Sélectif et Partagé des Experts (SSFT) pour l'adaptation aux langues à ressources limitées.
   • Sélection des experts : Ils définissent un « écart d'activation » (la différence de fréquence d'activation entre les deux langues principales d'un expert) pour identifier les experts spécifiques à une langue.
   • Mise à jour hybride : Le SSFT met à jour uniquement les deux dernières couches du modèle. Il sélectionne un petit ensemble d'experts spécifiques à la langue (ceux ayant un écart d'activation élevé pour la langue cible) et les complète avec un petit ensemble d'« experts partagés » (hautement actifs dans toutes les langues).
   • Lignes de base : La méthode est comparée au Finetuning Sélectif des Experts (SEFT, uniquement spécifique à la langue), au Finetuning Aléatoire des Experts, au Finetuning de Tous les Experts (AEFT) et au Finetuning du Modèle Complet (Full-FT).

Principales découvertes sur les dynamiques de routage

• Spécialisation par couche : Contrairement à l'hypothèse selon laquelle un entraînement multilingue équilibré induit une séparation des langues dans tout le modèle, l'étude révèle que le routage reste diffus et agnostique à la langue dans les couches initiales et intermédiaires. Une spécialisation linguistique distincte émerge principalement dans les dernières couches.
• Chevauchement du vocabulaire vs Famille de langues : Dans les dernières couches, la similarité de routage corrèle plus fortement avec le chevauchement de vocabulaire au niveau des tokens qu'avec la famille de langues, la similarité syntaxique ou géographique. Par exemple, l'hindi et le marathi (fort chevauchement de vocabulaire) montrent des motifs de routage similaires, tandis que l'anglais et le néerlandais (famille partagée mais faible chevauchement) montrent des motifs divergents.
• Domination de l'anglais : Le modèle de base présente des motifs de routage dominés par l'anglais. Le pré-entraînement continu réduit cette domination mais ne l'élimine pas ; les tokens anglais maintiennent toujours des motifs de routage distincts par rapport aux langues non anglaises dans les dernières couches.

Résultats sur l'adaptation aux langues à ressources limitées
Les auteurs évaluent le SSFT sur six langues à ressources limitées (catalan, estonien, marathi, slovaque, ukrainien, ourdou) appariées avec des ancres à ressources élevées.

• Performance : Le SSFT atteint un compromis performance-efficacité solide. Sur le benchmark MultiBLiMP, le SSFT atteint une précision moyenne de 83,6 %, surpassant le SEFT (78,7 %) et le Random-SEFT (73,8 %). Il s'approche de la performance du Full-FT (90,5 %) tout en mettant à jour significativement moins de paramètres.
• Efficacité : Le SSFT met à jour moins de 2 % des paramètres du modèle (environ 75–138 millions de paramètres). En termes de coût computationnel, le SSFT nécessite environ 10 fois moins d'heures GPU et 100 fois moins de FLOPs par rapport au Full-FT.
• Experts partagés : L'inclusion d'experts partagés dans le SSFT est cruciale ; la mise à jour uniquement des experts spécifiques à la langue (SEFT) donne des performances inférieures, et l'augmentation simple du nombre d'experts spécifiques à la langue (SEFT-Top20) ne correspond pas aux performances de l'approche hybride SSFT.
• Robustesse : Les auteurs notent que tandis que le Full-FT conduit à un oubli catastrophique des langues précédemment apprises lors de l'entraînement sur des ensembles de données plus vastes, le SSFT démontre un oubli catastrophique moindre.

Signification et affirmations
L'article prétend fournir des insights pratiques pour l'adaptation multilingue à ressources limitées dans les modèles MoE. En démontrant que la spécialisation linguistique dans les MoE est concentrée dans les dernières couches et pilotée par le chevauchement de vocabulaire, les auteurs montrent que l'adaptation efficace ne nécessite pas un finetuning complet du modèle. La stratégie SSFT proposée exploite ces dynamiques pour atteindre des performances compétitives avec des mises à jour de paramètres minimales. Le travail suggère que l'adaptation efficace repose sur une approche hybride : cibler les experts spécialisés pour la nouvelle langue tout en préservant les experts partagés pour maintenir la stabilité interlingue. Les auteurs concluent que ces découvertes offrent une voie vers une adaptation linguistique évolutive et efficace sans la charge computationnelle du finetuning complet.

Limites
Les auteurs reconnaissent que leurs expériences sont limitées à l'architecture OLMoE-Base (1 milliard de paramètres actifs / 7 milliards de paramètres au total) en raison de contraintes computationnelles. Ils notent également que leur stratégie repose sur l'existence d'une langue « ancre » à ressources élevées avec un chevauchement de vocabulaire significatif, ce qui peut limiter l'applicabilité aux langues isolées ou aux langues à ressources limitées sans proches parents dans les données de pré-entraînement. Enfin, les découvertes sont spécifiques au pré-entraînement continu sur des corpus équilibrés et peuvent différer sous d'autres régimes d'entraînement.