💬 NLP

Routing-Aligned Fine-Tuning for Multilingual Downstream Tasks in Mixture-of-Experts Models

Ce papier propose RA-MoE, un cadre de fine-tuning en trois étapes qui exploite la zone d'alignement universelle aux langues des couches intermédiaires des modèles Mixture-of-Experts pour aligner les schémas de routage vers la langue cible avec les activations des experts de tâches en anglais, améliorant ainsi considérablement les performances en aval multilingues.

Auteurs originaux : Guanzhi Deng, Kuan Wu, Haibo Wang, Shing Yin Wong, Sichun Luo, Linqi Song

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guanzhi Deng, Kuan Wu, Haibo Wang, Shing Yin Wong, Sichun Luo, Linqi Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque de connaissances massive et ultra-intelligente (un Modèle de Langage de Grande Taille) qui parle un anglais parfait. À l'intérieur de cette bibliothèque, il n'y a pas un seul cerveau géant qui fait tout le travail. Au contraire, elle est organisée comme un système de Mélange d'Experts (MoE) : imaginez une immense équipe de consultants spécialisés. Lorsque vous posez une question, un « routeur » (comme un réceptionniste) décide quels consultants spécifiques appeler dans la pièce pour aider à répondre.

Le problème est que, bien que cette bibliothèque soit un génie en anglais, elle trébuche souvent lorsqu'on lui demande d'accomplir les mêmes tâches dans d'autres langues (comme l'espagnol, le chinois ou l'arabe).

La Découverte : Le « Milieu » est la Zone Magique

Les chercheurs ont remarqué quelque chose d'étrange concernant le fonctionnement de cette bibliothèque. Ils ont découvert que le « réceptionniste » se comporte différemment selon l'étage du bâtiment où vous vous trouvez :

Le Hall d'entrée (Couches précoces) : Le réceptionniste est très pointilleux sur la langue ici. Si vous parlez anglais, il appelle des consultants anglophones. Si vous parlez espagnol, il appelle des consultants hispanophones.
Le Penthouse (Couches tardives) : Même chose. La barrière linguistique est forte.
Les Étages du Milieu : Ici, le réceptionniste arrête de se soucier de la langue. Que vous parliez anglais ou espagnol, il appelle le même groupe exact d'experts pour résoudre un problème de mathématiques ou suivre des instructions.

Les chercheurs ont réalisé que pour de nombreuses tâches, la bibliothèque sait déjà comment résoudre le problème dans la langue cible (car les experts du milieu sont les mêmes), mais le « réceptionniste » échoue à envoyer la demande aux bonnes personnes. C'est comme avoir un chef brillant dans la cuisine capable de préparer un plat parfait dans n'importe quelle langue, mais où le serveur continue d'envoyer la mauvaise commande au mauvais poste.

La Solution : RA-MoE (La Méthode « Guidez le Réceptionniste »)

L'article propose une nouvelle méthode d'entraînement appelée RA-MoE (Mélange d'Experts Aligné au Routage). Au lieu d'enseigner simplement de nouveaux mots à toute la bibliothèque, ils apprennent au « réceptionniste » à mieux se comporter.

Voici comment cela fonctionne en trois étapes simples :

1. L'Audit « Double Vérification » (Étape 1)
Ils prennent une liste de questions et posent la même question à la bibliothèque en anglais et dans la langue cible (par exemple, l'espagnol). Ils classent les résultats en quatre groupes :

CC : Correct dans les deux cas.
II : Incorrect dans les deux cas (la bibliothèque ne connaît tout simplement pas la réponse).
IC : Incorrect en anglais mais correct en espagnol (rare).
CI (La Mine d'Or) : Correct en anglais mais incorrect en espagnol.

Les chercheurs se concentrent uniquement sur le groupe CI. Ce sont les cas où la bibliothèque possède la connaissance (elle a résolu le problème en anglais) mais a échoué en espagnol. Cela prouve que le problème n'est pas un manque de connaissances ; c'est une erreur de routage.

2. Cartographie des Experts (Étape 2)
Ils examinent les « étages du milieu » de la bibliothèque où la langue n'a pas d'importance. Ils identifient exactement quels consultants spécifiques (experts) la version anglaise a appelés pour résoudre le problème. Ils disent : « D'accord, pour ce problème de mathématiques, la version anglaise a appelé les Experts n°4, n°7 et n°12. Ce sont les « Experts Tâche ». »

3. La Leçon d'Alignement (Étape 3)
Maintenant, ils affinent la bibliothèque en utilisant les questions en espagnol. Mais ils ajoutent une règle spéciale :

Lorsque la bibliothèque voit un exemple CI (où elle a échoué en espagnol mais aurait réussi en anglais), ils disent au réceptionniste : « Hé, regarde comment la version anglaise a géré cela. Elle a appelé les Experts n°4, n°7 et n°12. Tu dois appeler ces mêmes experts pour la version espagnole aussi. »

Ils n'apprennent pas seulement au modèle à parler espagnol ; ils apprennent au modèle à router la question espagnole vers les mêmes experts qui ont résolu la version anglaise.

Pourquoi Cela Fonctionne

Imaginez une école. Si un élève sait résoudre un problème de mathématiques en anglais mais échoue en français, vous n'avez pas besoin de lui enseigner les mathématiques depuis zéro. Vous devez simplement lui apprendre que le même professeur de mathématiques devrait l'aider, quelle que soit la langue dans laquelle il pose la question.

L'article a révélé que :

Cette méthode fonctionne mieux que l'entraînement standard (qui tente simplement de mémoriser des réponses dans la nouvelle langue).
Elle fonctionne mieux que d'autres méthodes qui tentent de « diriger » le modèle sans modifier réellement son câblage interne.
Plus un tâche a d'exemples « CI » (ce qui signifie que le modèle connaît la réponse en anglais mais échoue dans la langue cible), plus cette méthode est utile.
Les « Experts Tâche » qu'ils ont trouvés dans les couches du milieu sont universels. Une fois qu'ils ont déterminé quels experts gèrent un problème de mathématiques pour l'anglais, ces mêmes experts fonctionnent pour l'espagnol, le français et le japonais sans avoir besoin d'être réidentifiés.

La Conclusion

RA-MoE est une méthode intelligente pour corriger l'IA multilingue. Au lieu d'essayer de construire un nouveau cerveau pour chaque langue, elle corrige le « réceptionniste » à l'intérieur du cerveau existant afin qu'il envoie les questions aux bons experts, quelle que soit la langue dans laquelle la question est posée. Elle transforme une barrière linguistique en une simple erreur de routage qui peut être facilement corrigée.

Résumé Technique : Affinage Fin Aligné au Routage pour les Tâches en Aval Multilingues dans les Modèles à Mélange d'Experts

Énoncé du Problème

Les modèles à Mélange d'Experts (MoE) sont devenus le paradigme dominant pour mettre à l'échelle efficacement les Grands Modèles de Langage (LLM). Cependant, l'adaptation de ces modèles MoE préentraînés à des tâches en aval non anglaises reste difficile. Les approches d'affinage fin existantes traitent généralement les modèles MoE comme des apprenants monolithiques, appliquant un Affinage Fin Supervisé (SFT) standard sur des données dans la langue cible. Cette approche ignore la structure hétérogène de routage qui se développe durant le préentraînement.

Des études récentes indiquent un motif en forme de « U » dans la divergence de routage interlingue : les premières et dernières couches sont hautement spécifiques à la langue, tandis que les couches intermédiaires présentent une forte alignement interlingue. Malgré cet alignement, les performances en langues non anglaises se dégradent souvent car le modèle ne parvient pas à mobiliser les experts spécifiques à la tâche pour les entrées non anglaises. Le problème central consiste à exploiter cette structure de routage interlingue pour améliorer l'affinage fin des tâches non anglaises sans réentraîner l'ensemble du modèle ni ignorer la dynamique de routage parcimonieux.

Méthodologie : RA-MoE

Les auteurs proposent RA-MoE (Affinage Fin de MoE Aligné au Routage), un cadre en trois étapes conçu pour aligner les motifs de routage de la langue cible sur les motifs d'activation d'experts de tâche en anglais dans les couches intermédiaires du modèle.

Étape 1 : Construction et Catégorisation de Données Parallèles

La méthode commence par la construction d'un jeu de données parallèle où des exemples de tâche en anglais $(x_{en}, y_{en})$ sont traduits dans une langue cible $(x_{tgt}, y_{tgt})$ . Le modèle MoE effectue une inférence sur les deux versions, et les exemples sont catégorisés selon une taxonomie à quatre voies basée sur la justesse :

cc : Correct en anglais et en langue cible.
ci : Correct en anglais, incorrect en langue cible.
ic : Incorrect en anglais, correct en langue cible.
ii : Incorrect dans les deux cas.

Les auteurs émettent l'hypothèse que la catégorie ci représente un écart de performance « piloté par la langue » où le modèle possède les connaissances de tâche requises (démontrées en anglais) mais échoue à les appliquer en langue cible en raison d'un désalignement de routage.

Étape 2 : Identification de la Couche Intermédiaire et des Experts de Tâche

Cette étape analyse le comportement de routage du modèle pour identifier les cibles optimales pour l'alignement :

Identification de la Couche Intermédiaire : Les auteurs calculent la divergence de Jensen-Shannon (JS) entre les distributions de routage en anglais et en langue cible à travers les couches. Ils confirment le motif en forme de U, identifiant une plage contiguë de couches intermédiaires ( $L_{mid}$ ) où la divergence est minimale. Ces couches servent de « zone d'alignement universelle à la langue ».
Identification des Experts de Tâche : Au sein de ces couches intermédiaires, les auteurs identifient les « experts de tâche » en contrastant les poids de routage sur les données de tâche en anglais (restreintes aux exemples correctement répondus) par rapport à un corpus général en anglais. Les experts qui sont activés préférentiellement pour la tâche (score de spécificité élevé) sont sélectionnés comme ensemble cible ( $E_{task}$ ).

Étape 3 : SFT Aligné au Routage

L'étape finale consiste à affiner le modèle sur les données en langue cible avec une fonction objectif modifiée :
$\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{align}$

$\mathcal{L}_{CE}$ : Perte d'entropie croisée standard appliquée à tous les exemples.
$\mathcal{L}_{align}$ : Une perte d'alignement de routage appliquée sélectivement aux exemples de type ci. Pour ces exemples, le modèle est encouragé à acheminer les entrées en langue cible via les mêmes experts de tâche dans les couches intermédiaires que la référence en anglais. La perte est calculée comme la divergence KL entre la distribution de routage renormalisée de la langue cible (restreinte à $E_{task}$ ) et la distribution de référence en anglais.

Cette application sélective garantit que le signal d'alignement est ancré dans des cas où le motif de routage en anglais constitue une référence valide et fiable pour la tâche.

Contributions Clés

Validation de la Divergence en Forme de U dans les Contextes de Tâche : L'article valide empiriquement que le motif de divergence de routage interlingue en forme de U s'applique dans des contextes spécifiques à la tâche, démontrant que la divergence de routage des couches intermédiaires prédit de manière fiable les écarts de performance par tâche et par langue.
Taxonomie à Quatre Catégories et Prédicteur : Les auteurs introduisent la taxonomie cc/ci/ic/ii pour diagnostiquer les écarts interlingues. Ils fournissent des preuves empiriques que la proportion d'exemples ci dans une paire tâche-langue est un prédicteur fort (corrélation $r=0,70$ ) du bénéfice potentiel de l'alignement de routage.
Identification des Experts de Tâche et Objectif d'Alignement : Une procédure est proposée pour localiser les experts pertinents pour la tâche dans les couches intermédiaires en utilisant des données en anglais, couplée à un objectif d'affinage fin qui comble l'écart d'activation d'experts interlingue sans nécessiter de réidentification d'experts spécifique à la langue.
Transférabilité Interlingue : L'étude démontre que les experts de tâche identifiés dans une langue (par exemple, le chinois) peuvent être transférés pour affiner le modèle pour des langues linguistiquement éloignées (par exemple, l'arabe, le bengali) sans relancer l'étape d'identification, suggérant que l'expertise de tâche des couches intermédiaires est largement agnostique à la langue.

Résultats Expérimentaux

Les auteurs ont évalué RA-MoE sur trois modèles MoE (OLMoE-1B-7B, Qwen1.5-MoE, DeepSeek-V2-Lite), trois tâches en aval (GSM8K, IFEval, MMLU) et six langues cibles (arabe, bengali, chinois, français, japonais, espagnol).

Gains de Performance : RA-MoE a systématiquement surpassé le SFT standard et des bases solides, notamment le Guidage de Routage (intervention au moment de l'inférence) et RISE (affinage fin sélectif de sous-réseaux spécifiques à la langue).
Corrélation avec la Proportion de CI : Les gains de performance étaient les plus prononcés sur les paires tâche-langue avec une proportion plus élevée d'exemples ci, confirmant l'hypothèse que la méthode cible des écarts pilotés par la langue plutôt que des écarts de connaissances.
Changements Mécanistiques : L'analyse a montré que RA-MoE réduisait substantiellement la divergence de routage des couches intermédiaires par rapport au SFT standard, rapprochant le routage en langue cible de la référence en anglais. De plus, le taux de sélection d'experts de tâche pour les langues cibles augmentait plus rapidement et convergait vers un plateau plus élevé sous RA-MoE.
Efficacité : La méthode engendre une surcharge de calcul négligeable. La perte d'alignement ajoute moins de $10^{-3}\%$ aux FLOPs totaux, et les étapes préparatoires (annotation des données et profilage de routage) ajoutent au maximum 15 % au temps d'exécution total, réductible à moins de 10 % si les experts de tâche sont partagés entre les langues.

Importance et Limites

L'article affirme que RA-MoE comble le fossé entre l'alignement interlingue théorique des couches intermédiaires des MoE et les performances pratiques des tâches en aval. En alignant explicitement les motifs de routage plutôt que simplement les probabilités de sortie, la méthode exploite la structure parcimonieuse des MoE pour améliorer les capacités multilingues.

Les auteurs notent des limites spécifiques :

Dépendance aux Performances en Anglais : La méthode présuppose que le modèle de base a de solides performances de tâche en anglais ; si le motif de routage en anglais manque d'informations pertinentes pour la tâche, le signal d'alignement est peu fiable.
Couverture du Préentraînement : Pour les langues sévèrement sous-représentées dans le corpus de préentraînement, RA-MoE offre des gains limités car le goulot d'étranglement est un manque de capacité linguistique fondamentale, et non un désalignement de routage.
Modalité : Les expériences sont limitées aux modèles textuels uniquement ; la généralisation aux LLM multimodaux reste une question ouverte.

Ce travail suggère que pour les modèles MoE, les couches intermédiaires servent de zone stable et universelle à la langue où l'expertise de tâche peut être efficacement transférée entre les langues grâce à l'alignement de routage.