🤖 AI

ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

ConMoE est un cadre sans entraînement pour la compression des modèles à mélange d'experts (MoE) qui consolide le pool d'experts en sélectionnant un ensemble plus restreint d'experts prototypes et en redirigeant de manière déterministe les appels aux experts originaux vers eux, réduisant ainsi les coûts mémoire sans nécessiter de mises à jour des poids ni de fine-tuning post-compression.

Auteurs originaux : Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une cuisine de restaurant massive et haut de gamme. Cette cuisine est conçue avec un système de Mélange d'Experts (MoE). Au lieu que chaque chef cuisine chaque plat, la cuisine compte des centaines d'« experts » spécialisés (chefs). Lorsqu'une commande arrive, un « routeur » (le chef de rang) examine rapidement le plat et ne fait appel qu'aux 2 ou 3 meilleurs chefs pour cette tâche spécifique.

Le Problème :
Même si seuls quelques chefs cuisinent chaque plat, le restaurant doit toujours payer le loyer, stocker les uniformes et entretenir l'équipement pour les centaines de chefs dans le bâtiment. À mesure que le restaurant grandit (le modèle d'IA devient plus grand), ce coût de stockage devient énorme, rendant l'exécution coûteuse et lente, même si tous les chefs ne travaillent pas en même temps.

Les Anciennes Solutions :
Les méthodes précédentes tentaient de réduire cette cuisine de deux manières :

Élagage : Renvoyer les chefs qui semblent les moins occupés.
Fusion : Prendre deux chefs, mélanger leurs recettes et créer un « super-chef » avec un nouveau style hybride.

La Nouvelle Solution : ConMoE
L'article présente ConMoE, qui adopte une approche différente. Au lieu de renvoyer des chefs ou de mélanger leurs recettes, ConMoE déclare : « Gardons une équipe plus petite et sélectionnée de nos meilleurs chefs originaux, et disons simplement au chef de rang d'envoyer les commandes vers eux. »

Voici comment cela fonctionne, en utilisant des analogies quotidiennes :

1. L'équipe « Prototype » (Les Chefs Étoiles)

ConMoE examine tous les chefs originaux et sélectionne un groupe plus petit pour être les « Prototypes ». Ce sont les chefs originaux, non modifiés, qui sont maintenus en poste.

Comment ils sont choisis : Le système vérifie deux choses :
- Contribution : Qui est réellement appelé le plus souvent et qui fait le meilleur travail ?
- Remplaçabilité : Qui est unique ? Si nous perdons le Chef A, y a-t-il quelqu'un d'autre capable de faire exactement ce qu'il fait ? Si le Chef A est unique, il reste. Si le Chef B est très similaire au Chef C, le Chef B pourrait être licencié.

2. Le « Recâblage » (Le Nouveau Menu)

Une fois l'équipe réduite de chefs « Prototype » sélectionnée, ConMoE crée une carte déterministe (un règlement strict).

Si le chef de rang original voulait appeler le « Chef n°42 », le règlement dit : « En fait, envoyez cette commande au Chef Prototype n°5 à la place. »
Si le chef de rang voulait appeler le « Chef n°99 », le règlement dit : « Envoyez cela au Chef Prototype n°5 également. »
Crucialement : Les chefs eux-mêmes ne changent pas. Ils n'apprennent pas de nouvelles recettes et ne mélangent pas leurs styles. Ils sont simplement réutilisés. Le « routeur » (chef de rang) n'a pas besoin d'être retraité ; il suit simplement la nouvelle carte.

3. La Règle du « Voisinage Local »

L'article a montré que vous ne pouvez pas simplement choisir n'importe quel chef dans tout le bâtiment pour en remplacer un autre.

L'Analogie : Un chef au 1er étage (couches précoces de l'IA) fait un travail très différent d'un chef au 50e étage (couches profondes). Ils ne sont pas interchangeables.
La Solution : ConMoE n'autorise les échanges de chefs qu'avec d'autres dans leur « voisinage local » (quelques étages au-dessus ou en dessous). Cela garantit que le chef de remplacement comprend réellement le contexte de la commande.

Pourquoi est-ce mieux ?

Pas de retraitement : Vous n'avez pas besoin d'enseigner de nouveaux tours aux chefs (pas de « réglage fin »). Vous changez simplement l'annuaire téléphonique.
Stabilité : Parce que les chefs ne sont ni mélangés ni altérés, leurs compétences originales restent intactes.
Résultats : L'article a testé cela sur trois grands modèles d'IA différents. Ils ont constaté que ConMoE fonctionnait aussi bien que (et parfois mieux que) les méthodes qui renvoient des chefs ou mélangent leurs recettes, tout en gardant le système beaucoup plus simple.

L'Inconvénient (Limites)

Il faut un « Menu » à lire : Le système a besoin d'une petite quantité de texte d'échantillon (données d'étalonnage) pour déterminer quels chefs sont les étoiles et lesquels sont les remplaçants.
Local uniquement : Vous ne pouvez pas échanger un chef du sous-sol avec un chef du penthouse ; ils font des travaux différents.
Réalité du stockage : Bien que le nombre logique de chefs soit plus petit, pour économiser réellement de l'espace de stockage physique, le restaurant a besoin d'un moyen spécial de stocker le bâtiment afin que plusieurs « emplacements » pointent vers le même chef physique.

En résumé : ConMoE consiste à garder une équipe plus petite et d'élite de vos experts originaux et à simplement rediriger tout le travail vers eux, plutôt que de licencier des gens ou d'essayer de créer de nouveaux experts « hybrides ». C'est une méthode intelligente, ne nécessitant aucun entraînement, pour réduire la taille des grands modèles d'IA.

Résumé Technique de ConMoE : Consolidation du Pool d'Experts par Réaffectation de Prototypes pour la Compression des MoE

1. Énoncé du Problème

Les modèles de langage de type Mixture-of-Experts (MoE) atteignent une évolutivité en activant uniquement un petit sous-ensemble d'experts par token, réduisant ainsi le calcul par token. Cependant, le pool complet d'experts routés doit toujours être stocké et servi, créant un goulot d'étranglement mémoire significatif pour le déploiement. Les méthodes existantes de compression post-entraînement abordent cela principalement par l'élagage d'experts (suppression d'experts basée sur l'utilisation ou l'importance) ou la fusion d'experts (combinaison de plusieurs experts en nouveaux modules fusionnés).

Les auteurs soutiennent que ces approches confondent souvent deux décisions distinctes :

Quels paramètres d'experts doivent être conservés ?
Comment les références originales des experts du routeur doivent-elles être représentées après compression ?

L'élagage supprime des paramètres, tandis que la fusion construit de nouveaux poids, nécessitant souvent un fine-tuning post-compression ou des opérateurs de fusion complexes. L'article propose une vision complémentaire : la Consolidation du Pool d'Experts. Cette approche conserve un ensemble réduit d'experts pré-entraînés en tant que prototypes réutilisables et réaffecte de manière déterministe chaque référence d'expert originale à l'un de ces prototypes sélectionnés. Cela sépare le stockage du pool réduit de la structure de réutilisation, permettant à l'interface du routeur original de rester inchangée sans mise à jour des poids.

2. Méthodologie : ConMoE

Le cadre proposé, ConMoE, est une méthode de compression en un seul coup, sans entraînement, qui opère via la sélection de prototypes et la réaffectation déterministe.

A. Formulation du Problème
La méthode définit un domaine local $G$ contenant un ou plusieurs couches MoE voisines. Étant donné un taux de réduction $\rho$ , l'objectif est de construire un pool de prototypes réduit $P_G$ de taille $K$ à partir du pool d'experts original $E_G$ . Une carte de réaffectation $m_G: E_G \to P_G$ est établie, où chaque expert original $e$ est mappé à un prototype sélectionné $p$ .
L'objectif idéal est de minimiser le coût de réaffectation $L_G(P)$ , en équilibrant l'importance des experts conservés contre l'erreur introduite par la réaffectation des autres.

B. Notation et Sélection des Prototypes
Au lieu de résoudre directement le problème d'optimisation combinatoire, ConMoE utilise une règle de notation heuristique pour sélectionner les $K$ meilleurs experts comme prototypes. Pour chaque expert $e$ , deux scores sont calculés à l'aide de données de calibration :

Contribution Conditionnée au Routage ( $a_e$ ) : Mesure la contribution moyenne d'un expert lorsqu'il est sélectionné par le routeur, pondérée par les probabilités de routage et les normes de sortie.
Remplaçabilité ( $b_e$ ) : Mesure la distance au plus proche voisin dans le domaine. Une distance plus grande implique que l'expert est plus difficile à substituer.

Le score final est le produit des scores de contribution et de remplaçabilité normalisés ( $s_e = \bar{a}_e \bar{b}_e$ ). Les $K$ meilleurs experts sont sélectionnés comme pool de prototypes $P_G$ .

C. Réaffectation Déterministe
Une fois les prototypes sélectionnés, chaque expert original est assigné à son prototype le plus proche dans $P_G$ .

Aucune Mise à Jour des Poids : Les prototypes sélectionnés sont réutilisés directement en tant qu'experts pré-entraînés ; aucune fusion de poids ni fine-tuning n'intervient dans le pipeline par défaut.
Préservation du Routeur : Le routeur original reste inchangé. Lorsque le routeur sélectionne un ensemble d'experts pour un token, l'opérateur consolidé redirige ces appels vers leurs prototypes assignés. Si plusieurs experts routés mappent au même prototype, leurs poids de routage sont agrégés en un seul coefficient.

D. Domaine et Réutilisation Inter-couches
ConMoE prend en charge le partage local inter-couches. Un domaine peut contenir plusieurs couches voisines, permettant aux prototypes d'être partagés entre elles si elles présentent une redondance. Cependant, le domaine est borné pour éviter de faire correspondre des transformations spécifiques à la profondeur trouvées dans des couches éloignées.

3. Contributions Clés

Formulation : L'article formule la compression MoE en un seul coup comme une consolidation du pool d'experts, séparant explicitement la décision de quels paramètres stocker de la manière dont les slots du routeur original sont représentés.
Cadre (ConMoE) : Une méthode de remappage sans entraînement qui préserve l'interface du routeur original tout en réduisant le pool logique d'experts routés. Elle repose sur des signaux de contribution et de remplaçabilité basés sur la calibration pour sélectionner des prototypes sans mises à jour de gradient.
Validation Empirique : Les auteurs démontrent que la consolidation basée sur le remappage est une alternative viable à l'élagage et à la fusion sur plusieurs modèles MoE pré-entraînés (Qwen3, DeepSeekMoE, OLMoE).
Insights des Ablations :
- La réaffectation déterministe est identifiée comme le composant le plus stable du cadre.
- Le partage inter-couches est bénéfique mais strictement local ; l'expansion des domaines trop largement (par exemple, 8–16 couches) dégrade les performances en raison d'un décalage de profondeur.
- La fusion de poids post-hoc (par exemple, Arcee, moyenne pondérée) s'avère moins stable que la réutilisation directe de prototypes dans ce contexte.

4. Résultats Expérimentaux

Des expériences ont été menées sur trois modèles : Qwen3-30B-A3B, deepseek-moe-16b-base, et OLMoE-1B-7B-0125. La compression a été évaluée à des taux de réduction logique d'experts routés de 25 % et 50 % en utilisant six benchmarks à choix multiples (WinoGrande, ARC-C, ARC-E, BoolQ, HellaSwag, PIQA).

Performance : ConMoE égale ou surpasse de forts élagages (Fréquence, REAP) et des fusions (M-SMoE, HC-SMoE) de référence.
- Sur DeepSeekMoE, ConMoE a obtenu le meilleur score moyen à la fois à 25 % et 50 % de réduction.
- Sur OLMoE, il a obtenu les meilleurs résultats à 25 % de réduction et est resté compétitif à 50 %.
- Sur Qwen3, bien que l'élagage ait été fort (surtout à 50 %), ConMoE est resté compétitif et a préservé de solides performances sur des tâches spécifiques comme WinoGrande et BoolQ.
Ablations :
- Taille du Domaine : De petits domaines (1–4 couches) ont produit des résultats comparables ou meilleurs. Des domaines plus grands (8–16 couches) ont causé des baisses de performances significatives, confirmant que la substituabilité des experts est locale.
- Politique de Sélection : La contribution conditionnée au routage a été le signal dominant. La sélection basée uniquement sur la distance a mal performé, et la remplaçabilité a servi au mieux comme régularisateur pour l'allocation de capacité.
- Fusion : Le remappage direct de prototypes a surpassé les méthodes appliquant une fusion de poids post-hoc, suggérant que les gains proviennent de la structure de remappage elle-même plutôt que de la fusion des poids.

5. Signification et Revendications

L'article affirme que la réaffectation déterministe de prototypes offre une alternative robuste et sans entraînement à l'élagage et à la fusion traditionnels. En traitant la compression comme une consolidation du pool d'experts en prototypes réutilisables, ConMoE réalise des économies de mémoire significatives (réduction logique) tout en maintenant l'interface du routeur du modèle original et en évitant l'instabilité souvent associée à la fusion de poids ou au fine-tuning.

Les auteurs soulignent que leur approche est modeste concernant son champ d'application :

Elle est sans entraînement mais repose sur des données de calibration pour les statistiques de routage.
La réutilisation inter-couches est locale ; elle ne suppose pas une interchangeabilité globale des experts sur toute la profondeur du modèle.
Les économies rapportées sont logiques ; réaliser des économies de mémoire physique lors du déploiement nécessite un runtime de prototype partagé ou un format de point de contrôle, et pas seulement un point de contrôle matérialisé.

Ce travail se distingue en montrant que la "structure de réutilisation" peut être une partie explicite du modèle compressé plutôt qu'un sous-produit de la suppression ou de la fusion, fournissant une base stable pour la compression des MoE.