Résumé Technique : Quand les Experts sont-ils Mal Routés ? Analyse Contrefactuelle du Routage dans les Modèles de Langage à Mélange d'Experts

1. Énoncé du Problème

Les modèles de langage à Mélange d'Experts (MoE) augmentent leur capacité en acheminant chaque token vers un petit sous-ensemble d'experts ($k$) parmi un grand pool ($N$). Bien que le routeur soit généralement entraîné via une perte standard de modélisation du langage et des objectifs auxiliaires d'équilibrage de charge, la qualité des décisions de routage spécifiques prises par un routeur top-$k$ entraîné a rarement été évaluée directement.

La question centrale abordée est : Les routes sélectionnées par un routeur standard entraîné sont-elles réellement les meilleures disponibles au sein du modèle figé ?

Les travaux antérieurs supposent que le routage se stabilise tôt et que les performances en aval constituent une preuve suffisante d'un bon routage. Cependant, la réussite du raisonnement dépend souvent de manière disproportionnée d'un petit sous-ensemble de tokens « pivots » ou à haute entropie. Les auteurs émettent l'hypothèse que l'entraînement standard peut échouer à optimiser le routage pour ces tokens critiques et à faible confiance, car le signal d'entraînement n'évalue pas les routes alternatives offrant une puissance de calcul équivalente.

2. Méthodologie

Analyse Contrefactuelle du Routage

Les auteurs proposent un protocole pour évaluer la qualité du routage sans modifier les poids du modèle (sauf pour une expérience d'intervention spécifique).

1. Configuration : En utilisant des trajectoires de raisonnement vérifiées et correctes (par exemple, issues de MATH Niveau 5, AIME, HMMT), les auteurs analysent les tokens à des couches MoE spécifiques.
2. Échantillonnage des Alternatives : Pour un token $t$ donné à la couche $\ell$, au lieu d'observer uniquement la route top-$k$ standard ($S^{\text{std}}_{t,\ell}$), ils échantillonnent $G=32$ routes top-$k$ alternatives depuis le même pool d'experts à haut score en utilisant l'échantillonnage Gumbel-top-$k$. Toutes les alternatives ont le même coût de calcul (même $k$).
3. Notation : Pour chaque route (standard et alternatives), le modèle est exécuté vers l'avant avec cette route spécifique active à la couche $\ell$ (tous les autres paramètres figés). L'utilité d'une route est notée par la probabilité qu'elle attribue au token suivant réalisé dans la trajectoire vérifiée.
4. Stratification : Les tokens sont regroupés en trois classes basées sur la probabilité moyenne attribuée par les routes alternatives échantillonnées ($\bar{p}$) :
   • Confiants : $\bar{p} > 0.9$
   • Ambigus : $0.5 < \bar{p} \le 0.9$
   • Fragiles : $\bar{p} \le 0.5$

Analyse Structurelle de l'Entraînement

L'article analyse le flux de gradient dans l'entraînement standard top-$k$ des MoE pour expliquer les échecs observés. Il démontre que la perte de modélisation du langage ne fournit un signal que pour la route exécutée. Le gradient pour les experts non sélectionnés s'évanouit. De plus, les pertes d'équilibrage de charge standard (par exemple, de style Switch) dépendent uniquement de statistiques agrégées (scores du routeur et fréquences de sélection) et ne fournissent pas de signaux contrefactuels au niveau du token concernant quelle route alternative aurait minimisé la perte.

Mise à Jour Minimale du Routeur (Optimisation des Préférences d'Experts - EPO)

Pour tester si les échecs de routage sont « accessibles » au sein du modèle figé, les auteurs réalisent une intervention minimale :

• Gel : Tous les poids des experts et tous les poids du routeur, sauf ceux de la dernière couche, sont figés.
• Entraînement : Seul le routeur de la dernière couche est mis à jour en utilisant l'Optimisation des Préférences d'Experts (EPO).
• Mécanisme : L'EPO identifie les « tokens difficiles » (haute entropie croisée). Il échantillonne des routes alternatives ; si une alternative produit une entropie croisée inférieure à la sélection actuelle, elle est traitée comme la route « choisie » ($r^+$) et l'actuelle comme « rejetée » ($r^-$). Le routeur est mis à jour via un objectif de type DPO pour préférer $r^+$ à $r^-$.
• Évaluation : Le routeur mis à jour est testé sur des benchmarks en aval (AIME, HMMT) sans recherche au moment du test.

3. Résultats Clés

La Qualité du Routage se Dégrade sur les Tokens Fragiles

Sur quatre modèles (Qwen3-30B-A3B, GPT-OSS-20B, DeepSeek-V2-Lite, OLMoE-1B-7B) et plusieurs benchmarks :

• Tokens Confiants : Le routeur standard est bien aligné avec l'utilité. La route standard est souvent la meilleure parmi les alternatives échantillonnées, et l'écart de probabilité est négligeable.
• Tokens Fragiles : L'alignement s'effondre.
  • La route standard est la meilleure parmi les alternatives échantillonnées dans seulement 0,8 % des tokens fragiles (pour Qwen3).
  • La meilleure route échantillonnée à puissance de calcul équivalente améliore la probabilité du token suivant de 20,4 points de pourcentage en moyenne pour Qwen3 sur les tokens fragiles.
  • Ce schéma se maintient à travers les couches (bien que l'écart s'élargisse dans les couches plus profondes) et à travers différentes familles de modèles.

Le Point Aveugle Contrefactuel

L'analyse confirme que l'entraînement standard crée un « point aveugle contrefactuel ».

• La fonction de perte n'évalue que la route exécutée.
• L'équilibrage de charge encourage la diversité agrégée mais ne signale pas quelle route alternative spécifique est meilleure pour un token difficile donné.
• Par conséquent, le routeur apprend à router de manière confiante sur les cas faciles mais échoue à distinguer les routes sous-optimales des routes optimales sur les tokens difficiles où le choix importe le plus.

Une Mise à Jour Minimale Modifie les Performances

L'expérience EPO démontre que l'échec n'est pas uniquement dû à un manque de capacité des experts :

• La mise à jour de moins de 0,001 % des paramètres du modèle (seulement le routeur de la dernière couche) a suffi à modifier les performances pass@K sur AIME 2024+2025 et HMMT 2025 pour Qwen3-30B-A3B et GPT-OSS-20B.
• L'amélioration est concentrée sur les tokens Ambigus et Fragiles, où le routeur mis à jour sélectionne de meilleures routes, tandis que les performances sur les tokens Confiants restent stables (bien que les métriques d'alignement de rang changent légèrement en raison d'une réduction du biais vers les tokens faciles).

4. Signification et Revendications

L'article soutient que la qualité du routage doit être traitée comme une préoccupation de premier ordre dans l'entraînement des MoE, plutôt que comme un simple détail d'implémentation de la parcimonie.

• Diagnostic : Le routeur standard n'est pas uniformément « mauvais » ; il est hautement efficace sur les tokens confiants mais systématiquement désaligné sur les tokens fragiles qui pilotent le raisonnement difficile.
• Cause Racine : Ce désalignement est une conséquence structurelle des objectifs d'entraînement top-$k$ standard, qui manquent de signaux contrefactuels au niveau du token pour les routes non sélectionnées.
• Implication : Une perte élevée sur les tokens difficiles n'est pas nécessairement une limite de capacité des experts ; elle peut être un échec de routage accessible au sein du modèle figé.
• Orientation Future : Les auteurs suggèrent que les objectifs de préentraînement futurs devraient intégrer des signaux au niveau du token sur les routes alternatives à puissance de calcul équivalente (par exemple, évaluer les alternatives échantillonnées parallèlement à celle exécutée) pour prévenir ce désalignement pendant l'entraînement, plutôt que de compter sur des correctifs a posteriori.

Les auteurs restent modestes, notant que leur analyse est effectuée sur des trajectoires vérifiées comme correctes (où le token réalisé est connu pour être correct) et qu'ils analysent les couches indépendamment. Cependant, la cohérence du schéma à travers divers modèles et domaines suggère une limitation fondamentale des paradigmes actuels d'entraînement des MoE.