Résumé Technique : Les vecteurs propres des experts sont des routeurs sans effondrement et sans entraînement

Énoncé du Problème

Les architectures de Mélange d'Experts Creux (Sparse Mixture of Experts - SMoE) sont devenues une pierre angulaire pour le passage à l'échelle des modèles de langage étendus (LLM) et des modèles vision-langage en acheminant les jetons d'entrée vers un sous-ensemble d'experts spécialisés. Cependant, ces modèles souffrent d'un problème persistant connu sous le nom d'effondrement de l'expert (ou effondrement de la représentation), où des experts distincts convergent pour produire des sorties similaires ou redondantes, dégradant ainsi la capacité effective et la performance du modèle.

Bien que des recherches antérieures aient tenté d'atténuer ce phénomène en améliorant le routeur (le mécanisme qui sélectionne les experts), ces approches nécessitent généralement un entraînement de zéro ou un ajustement fin (fine-tuning), ce qui entraîne des coûts de calcul et de traitement de données élevés. De plus, les preuves empiriques présentées dans ce travail démontrent que même les modèles SMoE pré-entraînés de pointe, incluant des systèmes comme GPT-OSS, Qwen3 et DeepSeek-MoE, continuent d'exhiber un effondrement significatif du routeur à travers diverses couches et échelles de modèles. Cette persistance suggère que les améliorations conventionnelles des routeurs sont insuffisantes et qu'un réexamen fondamental du mécanisme de routage est nécessaire.

Méthodologie : Singular Value Decomposition SMoE (SSMoE)

Les auteurs proposent SSMoE, un nouveau cadre de travail sans entraînement qui élimine la dépendance aux routeurs appris en exploitant les propriétés spectrales des matrices de poids des experts elles-mêmes.

Intuition Fondamentale

À travers une analyse de modèles SMoE avancés et pré-entraînés, les auteurs observent que les vecteurs propres des matrices de poids des experts encodent une riche information sémantique. Contrairement aux plongements de routeur appris, qui peuvent s'effondrer, ces vecteurs propres maintiennent naturellement l'orthogonalité et capturent la spécialisation intrinsèque de l'expert.

Le Cadre SSMoE

La méthode opère en quatre étapes principales :

1. Extraction des Vecteurs Propres : Pour chaque expert $i$, les auteurs calculent deux matrices de Gram dérivées des poids du réseau de neurones Feedforward ($FFN_1$ et $FFN_2$) de l'expert. Ils extraient ensuite les vecteurs propres de ces matrices.
2. Construction de l'Encodage Spectral : Pour un expert donné, les $c$ vecteurs propres les plus similaires à l'encodement du routeur de l'expert sont sélectionnés à partir des deux matrices de Gram. Ils sont moyennés pour former un « encodement spectral » ($C^{(i)}$) qui représente la spécialisation sémantique de l'expert.
3. Routage : Les encodements spectraux de tous les experts sont concaténés pour former une matrice de poids de routage ($W_{EV}$). Le jeton d'entrée $x$ est projeté à travers cette matrice pour générer des logits basés sur les vecteurs propres ($f_{EV}(x)$).
4. Routage Hybride : Pour équilibrer le nouveau signal spectral avec le routeur contextuel d'origine, SSMoE emploie une combinaison convexe :
   $$V(x) = \alpha f_{EV}(x) + ( - \alpha) s(x)$$
   où $s(x)$ est le logit du routeur appris original et $\alpha \in [0, 1]$ est un facteur d'équilibrage ajustable. Les résultats empiriques suggèrent que des valeurs de $\alpha$ entre 0,5 et 0,9 produisent des performances optimales.

Garantie Théorique

L'article fournit un lemme théorique démontrant que le routeur SSMoE réduit les corrélations de logit par paire. Spécifiquement, si les logits des vecteurs propres sont orthogonaux aux logits du routeur appris, la covariance du routeur combiné est strictement réduite par un facteur de $(1-\alpha)^2$ par rapport au routeur original. Cela prouve mathématiquement que SSMoE atténue le problème d'effondrement inhérent aux routeurs SMoE conventionnels.

Contributions Clés

1. Identification de l'Effondrement dans les Modèles Pré-entraînés : Les auteurs démontrent empiriquement que l'effondrement du routeur est un problème omniprésent dans dix modèles basés sur MoE de pointe (allant de 4B à 120B de paramètres), affectant les architectures de raisonnement et de non-raisonnement.
2. Encodage Sémantique dans les Vecteurs Propres : Ce travail révèle que les vecteurs propres des matrices de poids des experts encodent naturellement une riche information sémantique, servant d'alternative robuste aux encodements de routeur appris.
3. Cadre SSMoE : L'introduction d'un cadre efficace et sans entraînement qui utilise ces propriétés spectrales pour améliorer le routage des jetons et la représentation des experts sans nécessifier d'entraînement supplémentaire.
4. Stratégie d'Élagage d'Experts : La proposition d'une méthode de suppression d'experts basée sur SSMoE qui améliore les performances tout en réduisant considérablement la consommation de mémoire.

Résultats Expérimentaux

Les auteurs ont évalué SSMoE à travers diverses tâches et échelles de modèles, tant dans des configurations de données propres que corrompues (bruyantes).

• Grands Modèles de Raisonnement (GPT-OSS) : Sur GPT-OSS-20B et GPT-OSS-120B, SSMoE a surpassé les modèles originaux et les stratégies de base de suppression aléatoire.
  • Il a obtenu une amélioration moyenne de ~6% par rapport aux modèles GPT-OSS originaux sur les benchmarks de raisonnement (ARC, GSM8K, etc.) tout en réduisant la consommation de mémoire de ~23%.
  • Dans un cadre de 10-shot, SSMoE a amélioré les performances de 21% par rapport aux bases pour le modèle 20B et de 10% pour le 120B.
  • Crucialement, les études d'ablation ont montré que les gains de performance étaient pilotés par le mécanisme de routage lui-même, et non simplement par la réduction du nombre d'experts.
• Grands Modèles de Langage (MTEB) : Évalué sur OLMoE, Qwen-MoE et DeepSeekMoE, SSMoE a systématiquement surpassé les bases (Router, SMoE, MoEE) sur le Massive Text Embedding Benchmark (MTEB).
  • Il a atteint des performances de pointe sur 15/18 tâches en conditions propres et 16/18 tâches en conditions corrompues.
  • La méthode a démontré une robustesse supérieure sous des perturbations adverses (données corrompues), surpassant les représentations complexes qui subissent des chutes de performance significatives.
• Modèles Vision-Langage (CLIP-MoE) : Sur les tâches de recherche image-texte zero-shot (COCO, Flickr30k) et de classification, SSMoE a amélioré le Recall@1 jusqu'à +1,1% et a démontré une plus grande robustesse au bruit d'image par rapport au modèle de base CLIP-MoE.
• Efficacité : Le cadre a réduit l'utilisation de la mémoire d'environ 23% dans les tâches de raisonnement et de 5% en GFLOPs pour les tâches d'encodage, tout en maintenant ou en améliorant la précision.

Signification et Revendications

L'article affirme que SSMoE représente un changement de paradigme dans la manière dont les architectures SMoE peuvent être optimisées. En déplaçant l'accent de l'apprentissage d'un routeur vers l'analyse des propriétés spectrales intrinsèques des experts, les auteurs démontrent que :

• L'optimisation sans entraînement est viable : Des gains de performance et une robustesse significatifs peuvent être obtenus sans le coût de calcul d'un réentraînement ou d'un ajustement fin.
• La structure interne compte : Une compréhension plus profonde de l'intérieur des modèles (spécifiquement l'orthogonalité des vecteurs propres) peut guider le développement d'architectures plus efficaces.
• Robustesse : La représentation basée sur les vecteurs propres fournit un signal plus stable et sémantiquement riche, moins sujet à l'effondrement et plus résilient à la corruption des données que les routeurs appris traditionnels.

Les auteurs concluent que leurs découvertes soulignent l'importance de tirer parti des intuitions spectrales pour créer des architectures SMoE plus efficaces, performantes et robustes, offrant une solution pratique au problème de longue date de l'effondrement des experts.