💬 NLP

Less is MoE: Trimming Experts in Domain-Specialist Language Models

Cet article introduit Fisher-MoE, une méthode de compression qui identifie et supprime les dimensions intermédiaires critiques pour les tâches au sein des couches FFN en utilisant l'importance de Fisher, permettant ainsi des gains significatifs de mémoire et de débit pour les modèles Mixture-of-Experts tout en préservant leurs performances sur les benchmarks à usage général.

Auteurs originaux : Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage massif et ultra-puissant comme une cuisine géante conçue pour préparer n'importe quel type de repas, du simple toast au festin complexe à cinq services.

Le Problème : Une cuisine trop grande pour votre maison

Cette cuisine (appelée un modèle Mixture-of-Experts ou MoE) est incroyablement intelligente car elle possède des centaines de chefs spécialisés (appelés « experts »). Lorsque vous posez une question, un gestionnaire intelligent (le « routeur ») choisit les meilleurs chefs pour s'occuper de votre tâche spécifique.

Cependant, cette cuisine est immense. Elle occupe tellement d'espace (mémoire) et nécessite tellement de chefs en attente que l'installer dans une maison normale (un ordinateur standard ou un téléphone) est impossible. Vous devez rétrécir la cuisine sans perdre la capacité de cuisiner de bons repas.

L'Ancienne Méthode : Licencier des chefs entiers

Les tentatives précédentes pour rétrécir cette cuisine consistaient à licencier des chefs entiers.

Si un chef ne cuisinait pas souvent, ou si son tablier était petit, les gestionnaires le licenciaient.
Le Résultat : Ce fut un désastre. Même si vous avez gardé les « meilleurs » chefs, vous avez accidentellement licencié la seule personne qui connaissait l'ingrédient secret pour réussir des problèmes de mathématiques parfaites. Soudain, la cuisine pouvait encore vous raconter une blague (connaissance), mais elle ne pouvait plus faire de calculs arithmétiques de base. Tout le système s'est effondré.

La Nouvelle Découverte : Ce n'est pas le chef, c'est le couteau

Les auteurs de cet article ont découvert quelque chose de surprenant : le problème n'est pas de savoir quels chefs garder ; c'est de savoir quels outils spécifiques ils utilisent.

À l'intérieur du poste de chaque chef, il y a des milliers de petits outils (appelés dimensions intermédiaires).

La plupart des outils sont simplement là, à prendre la poussière.
Mais une poignée infime d'outils spécifiques est absolument critique. Par exemple, un « couteau » spécifique pourrait être la seule chose qui permet à la cuisine de résoudre des problèmes de mathématiques, tandis qu'une autre « cuillère » est vitale pour écrire du code.

L'ancienne méthode consistait à jeter tout le poste de travail d'un chef parce qu'il utilisait une « cuillère poussiéreuse », sans réaliser que ce même chef tenait aussi le « couteau à maths critique ».

La Solution : « Fisher-MoE » (Le scalpel de précision)

Les auteurs proposent une nouvelle méthode appelée Fisher-MoE. Au lieu de licencier des chefs, ils rétrécissent les postes de travail. Ils retirent les « cuillères poussiéreuses » et les « spatules inutilisées » (les outils à faible score) mais gardent les « couteaux critiques » (les outils à score élevé).

Le Scanner : Il mesure de combien la performance de la cuisine chute si vous retirez un outil spécifique.
- Analogie : Imaginez tester chaque couteau de la cuisine. Si vous retirez le « Couteau A », la cuisine peut toujours faire des toasts. Mais si vous retirez le « Couteau B », la cuisine ne peut plus couper une tomate. Le scanner identifie le « Couteau B » comme étant critique.
La Taille : Ils ne licencient personne. À la place, ils rétrécissent physiquement les postes de travail. Ils retirent les « cuillères poussiéreuses » et les « spatules inutilisées » (les outils à faible score) mais gardent les « couteaux critiques » (les outils à score élevé).
Le Résultat : Ils peuvent réduire la cuisine de 50 % (en retirant la moitié des outils) et la cuisine fonctionne presque parfaitement.
- Elle peut toujours résoudre des problèmes de mathématiques difficiles.
- Elle peut toujours écrire du code.
- Elle peut toujours répondre à des questions de culture générale.
- Bonus : Comme la cuisine est plus petite, elle cuisine plus vite (21 % plus rapide) et prend beaucoup moins de place (45 % de mémoire en moins).

Pourquoi cela est important

Précision plutôt que brutalité : L'ancienne méthode était un marteau-pilon (licencier des personnes entières). Cette nouvelle méthode est un scalpel (retirer uniquement les parties inutiles des outils).
Le mystère des « maths » : Ils ont découvert que si vous retirez seulement 12 outils spécifiques sur 1,35 million, la cuisine oublie instantanément comment faire des mathématiques, même si elle se souvient de tout le reste. Cela prouve que les compétences complexes sont cachées dans des recoins minuscules et spécifiques du modèle, et non réparties uniformément.
Compatibilité : Cette méthode de réduction fonctionne parfaitement avec d'autres astuces de gain d'espace (comme la « quantification »), ce qui signifie que vous pouvez rétrécir le modèle encore plus sans le briser.

En résumé

L'article dit : Ne licenciez pas les experts ; réduisez simplement leurs trousses à outils. En utilisant un scanner intelligent pour identifier et retirer uniquement les « outils » inutiles à l'intérieur des experts, nous pouvons rendre ces modèles d'IA géants deux fois plus rapides, deux fois plus petits et tout aussi intelligents qu'auparavant.

Résumé technique : Less is MoE : Trimming Experts in Domain-Specialist Language Models

Énoncé du problème

Les modèles Mixture-of-Experts (MoE) sont devenus un paradigme dominant pour augmenter la capacité des modèles de langage tout en maintenant une inférence efficace grâce au calcul conditionnel. Cependant, leur empreinte totale massive en termes de paramètres crée des barrières significatives pour le déploiement concernant la mémoire, le stockage et les coûts de service.

Les approches précédentes de compression des modèles MoE opèrent généralement au niveau de l'expert, en supprimant ou en fusionnant des experts entiers sur la base de métriques d'importance heuristiques telles que la fréquence d'activation, les scores de routage ou les magnitudes de poids. Les auteurs observent que ces méthodes souffrent d'un effondrement catastrophique des performances lorsqu'elles sont évaluées sur des benchmarks polyvalents au-delà du raisonnement de bon sens (par exemple, le raisonnement mathématique, la génération de code et les tâches de raisonnement complexe). Le papier émet l'hypothèse que cet échec provient de deux facteurs :

Métriques d'importance inexactes : Les heuristiques existantes ne parviennent pas à estimer correctement l'importance des paramètres.
Granularité grossière : La compression au niveau de l'expert suppose que les capacités sont localisées dans des experts spécifiques. En réalité, le papier soutient que les capacités sont distribuées entre les experts mais concentrées dans un petit sous-ensemble de dimensions intermédiaires au sein des réseaux de type Feed-Forward (FFN). Supprimer un expert entier rejette simultanément des dimensions redondantes et critiques.

Méthodologie

1. Attribution de l'importance : Information de Fisher empirique

Les auteurs proposent d'utiliser l'Information de Fisher empirique comme une métrique supérieure pour classer les paramètres. Contrairement aux ratios d'activation, aux scores de routeurs ou aux magnitudes de poids, l'information de Fisher mesure la sensibilité de la distribution prédictive du modèle aux perturbations dans des paramètres spécifiques.

Dérivation : La méthode approxime la matrice d'Information de Fisher ( $F_\theta$ ) en utilisant des données de vérité terrain provenant d'un ensemble de calibration. Pour un expert MoE $E_i$ avec des poids $W^{gate}_i, W^{up}_i, W^{down}_i$ , le score de Fisher est calculé pour chaque dimension intermédiaire $j$ .
Granularité : Les auteurs étendent cette notation au niveau de la dimension intermédiaire (lignes de $W^{gate}/W^{up}$ et colonnes de $W^{down}$ ), plutôt qu'au niveau de l'expert ou du routeur entier.
Validation : Les preuves empiriques montrent que la Fisher dépasse toutes les bases de référence. Crucialement, le fait de mettre à zéro seulement 12 des ~1,35 million de dimensions intermédiaires identifiées comme "hautes" par les scores de Fisher fait s'effondrer la performance du raisonnement mathématique (GSM8K/MATH) à un niveau proche de zéro, tout en préservant largement les connaissances factuelles. Cela confirme que Fisher identifie avec succès un minuscule ensemble de dimensions critiques pour les tâches.

2. Stratégie de compression : Fisher-MoE

S'appuyant sur l'analyse d'attribution, les auteurs proposent Fisher-MoE, une méthode de compression à grain fin qui opère à l'intérieur du FFN de chaque expert plutôt que de supprimer des experts entiers.

Mécanisme : Pour chaque expert, les dimensions intermédiaires sont classées par leurs scores de Fisher. La fraction ayant le score le plus bas (par exemple, 50 %) est physiquement supprimée en redimensionnant les matrices de poids ( $W^{gate}, W^{up}, W^{down}$ ).
Règles d'allocation : Le papier explore trois stratégies d'allocation de budget :
- IntDim-E : Conserve les $(1-p)$ meilleures dimensions au sein de chaque expert.
- IntDim-L : Regroupe les dimensions à travers tous les experts d'une couche et conserve les $(1-p)$ meilleures par couche.
- IntDim-G : Regroupe les dimensions à travers l'ensemble du modèle et conserve les $(1-p)$ meilleures globalement.
Préservation : Cette approche préserve le comportement de routage du modèle et le nombre d'experts actifs par jeton, mais réduit la dimensionnalité interne ( $d_{ff}$ ) des experts actifs.

Contributions clés

Insight structurel : Le papier identifie une propriété structurelle des modèles MoE où les capacités ne sont pas localisées au niveau de l'expert, mais sont au contraire concentrées dans un petit sous-ensemble de dimensions intermédiaires distribuées à travers tous les experts. Cela explique l'échec de la compression au niveau de l'expert.
La Fisher comme outil d'attribution : Les auteurs définissent la dimension intermédiaire comme l'unité attribuable et démontrent que l'Information de Fisher empirique est un outil robuste pour distinguer les dimensions critiques des dimensions redondantes, surpassant les métriques basées sur l'activation, le routage ou la magnitude.
Algorithme Fisher-MoE : Ils proposent une méthode de compression à grain fin qui redimensionne physiquement les matrices FFN sur la base des classements de Fisher. Cette méthode atteint des taux de compression élevés sans l'échec catastrophique observé lors de l'élagage au niveau de l'expert.

Résultats

Les auteurs évaluent Fisher-MoE sur Qwen1.5-MoE-A2.7B, OLMoE-1B-7B, et des modèles de pointe plus larges (Qwen3-30B-A3B, Qwen3.5-35B-A3B) à travers huit benchmarks généralistes (Connaissance, Code, Raisonnement, Mathématiques).

Préservation des performances : À un ratio de compression MoE de 50 % (suppression de 50 % des paramètres FFN routés) :
- Les méthodes au niveau de l'expert (même celles utilisant les scores de Fisher) subissent des chutes catastrophiques sur GSM8K, HumanEval et MATH.
- Fisher-MoE (IntDim-E) préserve les performances en aval, conservant les capacités de raisonnement mathématique et de code que les méthodes au niveau de l'expert perdent. Dans certains cas (ex: CEval, MultiArith), il égale ou dépasse légèrement le modèle de base non compressé.
- Mise à l'échelle : L'avantage se maintient pour les modèles plus grands (30B+ paramètres) et les tâches de raisonnement à longue chaîne de pensée (CoT).
Récupération post-entraînement : Lorsqu'elle est suivie d'un ajustement fin supervisé (SFT) sur des données de domaine, Fisher-MoE récupère des performances compétitives avec le plafond Base + SFT, alors que les méthodes au niveau de l'expert restent significativement dégradées.
Efficacité de déploiement :
- Mémoire : Réduit la mémoire des poids d'environ 45 %.
- Débit : Améliore le débit d'inférence de 21 % (accélération de 1,21x) sur les GPU H100.
- Cache KV : La VRAM libérée permet une augmentation de 33,7 % du budget du cache KV, augmentant la capacité de requêtes.
Compatibilité : Fisher-MoE se compose efficacement avec la quantification 4-bit (AWQ), réduisant davantage l'empreinte de déploiement à environ 1/8 de la taille originale sans amplifier la sensibilité à la quantification.
Généralisation : Les modèles compressés à l'aide des scores de Fisher calibrés sur les mathématiques (GSM8K) maintiennent de fortes performances sur les tâches hors domaine (Connaissance, Code, Raisonnement), indiquant que la méthode ne se spécialise pas excessivement sur le domaine de calibration.

Signification et affirmations

Le papier affirme que la granularité de la dimension intermédiaire est l'unité effective pour la compression et l'analyse des capacités dans les modèles MoE. La signification du travail réside dans :

Redéfinition de la granularité de compression : Il remet en question l'hypothèse prédominante selon laquelle la compression MoE doit se faire au niveau de l'expert, démontifiant que l'élagage à grain fin à l'intérieur des experts est nécessaire pour préserver les capacités de raisonnement complexe.
Attribution supérieure : Il établit l'Information de Fisher empirique comme un outil critique pour comprendre où "vivent" les capacités à l'intérieur des modèles MoE, révélant que les paramètres critiques sont épars et distribués.
Déploiement pratique : Il offre une voie pratique pour déployer de grands modèles MoE avec des exigences de mémoire et de latence considérablement réduites sans sacrifier la performance requise pour des tâches à enjeux élevés comme les mathématiques ou la génération de code.

Les auteurs notent modestement des limitations, spécifiquement le fait qu'ils n'ont pas exploré de noyaux (backbones) de plus de 100B de paramètres en raison de contraintes de calcul, ni mené d'études approfondies de récupération post-entraînement sur divers corpus pour caractériser pleinement l'écart résiduel par rapport aux modèles non compressés. Celles-ci sont identifiées comme des directions pour des travaux futurs.