💬 NLP

Post-Trained MoE Can Skip Half Experts via Self-Distillation

Ce papier présente l'adaptation par auto-distillation à zéro expert (ZEDA), un cadre peu coûteux qui convertit les modèles statiques de type mélange d'experts déjà entraînés en modèles dynamiques efficaces en injectant des experts à sortie nulle sans paramètres et en appliquant une auto-distillation en deux étapes, réduisant ainsi les FLOPs des experts de plus de 50 % avec une perte de précision marginale et offrant des accélérations significatives de l'inférence.

Auteurs originaux : Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La Cuisine Surchargée

Imaginez un restaurant haut de gamme (un Modèle de Langage de Grande Taille) qui possède une immense cuisine avec 128 chefs experts (ce sont les « Experts » de l'architecture MoE).

Dans une configuration standard, peu importe la commande qui arrive — qu'il s'agisse d'un simple « Bonjour » ou d'une demande complexe pour écrire une symphonie — la cuisine envoie toujours la commande aux mêmes 8 chefs. Cela garantit que la nourriture est toujours parfaite, mais c'est incroyablement coûteux et lent, car vous payez 8 chefs pour éplucher une seule carotte alors qu'un seul suffirait.

L'objectif de ce papier est de rendre la cuisine plus intelligente : Laissez la commande décider du nombre de chefs nécessaires. Si c'est une commande simple, utilisez moins de chefs. Si c'est difficile, utilisez-en plus. Cela s'appelle une cuisine « Dynamique ».

Le Défi : Ne Renvoyez Personne Pour l'Instant !

Habituellement, pour construire une cuisine intelligente et dynamique, vous devez embaucher une toute nouvelle équipe et les former à partir de zéro. Cela prend des années et coûte une fortune.

Mais ce papier demande : Pouvons-nous prendre une cuisine existante et entièrement formée (une qui sait déjà cuisiner parfaitement) et la transformer en une cuisine dynamique sans renvoyer personne ni les reformer à partir de zéro ?

La réponse est ZEDA (Zero-Expert Self-Distillation Adaptation).

La Solution ZEDA : Les « Chefs Fantômes »

ZEDA utilise un tour de passe-passe astucieux impliquant des Chefs Fantômes (Experts Zéro).

Injecter des Fantômes : Les chercheurs prennent la cuisine existante et ajoutent secrètement un tas de nouveaux « chefs » qui n'ont pas de mains et ne portent pas de couteaux. Ce sont des Experts Zéro. Ils ne font absolument rien. Leur sortie est toujours zéro.
La Nouvelle Règle : Le manager de la cuisine (le Routeur) reçoit maintenant l'instruction : « Vous devez toujours choisir 8 personnes pour chaque commande, mais maintenant vous pouvez choisir parmi les 128 vrais chefs plus ces nouveaux Chefs Fantômes. »
La Magie : Si la commande est simple (comme « Quel temps fait-il ? »), le manager apprend à choisir 4 vrais chefs et 4 Chefs Fantômes. Comme les Fantômes ne travaillent pas, la cuisine ne fait que le travail de 4 chefs. Si la commande est difficile (comme « Résolvez ce problème de mathématiques »), le manager choisit 8 vrais chefs et 0 Fantôme.

Comment Enseigner au Manager ? (Auto-distillation)

Le problème est que le manager ne sait pas encore quand choisir un Chef Fantôme. S'il choisit un Fantôme pour un problème de mathématiques difficile, la nourriture sera brûlée.

Pour résoudre cela, ZEDA utilise l'Auto-distillation, qui est comme un programme de « Formation dans l'Ombre » :

Le Professeur : La cuisine originale, entièrement formée (avec 128 vrais chefs), agit comme le Professeur strict. Elle sait exactement à quoi ressemble la réponse parfaite.
L'Élève : La nouvelle cuisine (avec les Fantômes) essaie de copier le Professeur.
Le Processus :
1. Étape 1 (SFT) : L'Élève regarde le Professeur cuisiner. Le Professeur dit : « Pour cette commande simple, j'aurais utilisé 8 chefs, mais vous pouvez essayer d'utiliser 4 vrais chefs et 4 Fantômes. Assurez-vous juste que le goût reste le même. »
2. Étape 2 (OPD) : L'Élève commence à cuisiner seul. S'il fait une erreur, le Professeur intervient et dit : « Vous avez choisi un Fantôme pour un problème de mathématiques difficile ! C'est pour cela que la réponse est fausse. La prochaine fois, choisissez plus de vrais chefs pour ce type de question. »

La Sauce Secrète : La « Balance de Groupe »

Il y avait un risque que le manager devienne paresseux et choisisse uniquement des Fantômes pour économiser de l'énergie, ou qu'il ne choisisse aucun Fantôme et gaspille de l'énergie.

Pour éviter cela, les chercheurs ont ajouté une Règle de Balance de Groupe. Ils ont dit au manager : « Vous devez maintenir un ratio sain. Pour chaque 2 vrais chefs que vous utilisez, vous devriez essayer d'utiliser 1 Chef Fantôme, mais jamais ne perturber l'équilibre entre les vrais chefs eux-mêmes. »

Cela garantit que la cuisine reste efficace (en utilisant des Fantômes quand c'est possible) sans gâcher la qualité de la nourriture.

Les Résultats : Plus Rapide, Moins Cher, Même Goût

Après cette formation (qui a pris moins de 2 jours sur des ordinateurs puissants, contre des années pour la formation originale) :

Vitesse : La cuisine est devenue 20 % plus rapide car elle a arrêté de payer pour un travail inutile.
Efficacité : Elle a sauté 50 % du travail des experts (en utilisant des Fantômes pour environ la moitié des tokens).
Qualité : La nourriture avait presque exactement le même goût qu'avant. Sur certains tests, elle s'est même légèrement améliorée car le manager a appris à mieux concentrer son énergie.

Résumé

ZEDA est une façon de prendre un modèle d'IA « statique » (qui fait toujours la même quantité de travail) et de le transformer en un modèle « dynamique » (qui fait moins de travail pour les tâches faciles) en :

Ajoutant des experts « Fantômes » invisibles qui ne font rien.
Enseignant au modèle à utiliser ces Fantômes pour les tâches faciles en copiant une version « Professeur » de lui-même.
Utilisant une règle spéciale pour s'assurer que les Fantômes sont utilisés juste assez pour économiser de l'argent, mais pas au point que les réponses deviennent mauvaises.

C'est comme transformer un bus qui transporte toujours 50 passagers (même si seulement 5 se présentent) en un bus qui se rétrécit automatiquement en un van lorsque seulement 5 personnes sont à bord, économisant du carburant sans laisser personne derrière.

Résumé Technique : Adaptation par Auto-distillation à Expert Zéro (ZEDA)

1. Énoncé du Problème

Les architectures de type Mélange d'Experts (MoE) sont devenues la norme pour mettre à l'échelle les Grands Modèles de Langage (LLM) en augmentant la capacité tout en limitant le calcul par token. Bien que les variantes dynamiques de MoE offrent une efficacité supplémentaire en ajustant le nombre d'experts activés selon la difficulté de l'entrée, les méthodes existantes nécessitent généralement un pré-entraînement à partir de zéro ou une adaptation spécifique à la tâche. Par conséquent, la conversion pratique de modèles MoE statiques entièrement post-entraînés (ayant subi un pré-entraînement extensif, un Affinement Supervisé (SFT) et un Apprentissage par Renforcement (RL)) en équivalents dynamiques efficaces reste sous-explorée. L'application directe de méthodes de routage dynamique existantes à ces modèles matures risque de perturber les distributions de routage et les capacités soigneusement calibrées établies lors de leurs pipelines d'entraînement complets. Le défi central consiste à migrer un MoE statique post-entraîné vers un modèle dynamique qui saute les experts inutiles pour les tokens « faciles », sans sacrifier les performances établies ni engendrer de coûts d'adaptation prohibitifs.

2. Méthodologie : ZEDA

L'article présente l'Adaptation par Auto-distillation à Expert Zéro (ZEDA), un cadre à faible coût qui transforme les modèles MoE statiques post-entraînés en modèles dynamiques. La méthode se compose de trois composants principaux :

2.1 Injection d'Experts Zéro

ZEDA convertit architecturalement un MoE statique en un MoE dynamique en injectant des experts zéro sans paramètres ( $Z = \{Z_1, ..., Z_{N_Z}\}$ ) dans le pool d'experts existant.

Mécanisme : Ces experts zéro sortent systématiquement zéro ( $Z_j(h) = 0$ ) pour tout état caché d'entrée $h$ .
Routage : Le routeur sélectionne un sous-ensemble top- $K$ du pool élargi de $N + N_Z$ experts. Si un expert zéro est sélectionné, il ne contribue aucun calcul, réduisant ainsi efficacement le nombre d'experts normaux actifs pour ce token.
Initialisation : Les paramètres du routeur originaux pour les experts normaux sont conservés. Les nouveaux paramètres du routeur pour les experts zéro sont initialisés à partir d'une distribution gaussienne correspondant à la moyenne et à la variance des paramètres originaux afin de maintenir l'échelle des logits du routeur.

2.2 Auto-distillation en Deux Étapes

Pour adapter le modèle augmenté sans réentraînement à partir de zéro, ZEDA emploie un processus d'auto-distillation en deux étapes utilisant le MoE post-entraîné original comme enseignant figé :

Affinement Supervisé (SFT) : Le modèle étudiant est entraîné sur des réponses échantillonnées à partir de l'enseignant. La perte combine la perte d'entropie croisée standard avec la Perte Auxiliaire de Groupe.
Distillation On-Policy (OPD) : L'étudiant génère ses propres trajectoires, et l'enseignant les évalue pour fournir des cibles au niveau du token. L'objectif minimise la divergence KL inverse entre la distribution on-policy de l'étudiant et la distribution de l'enseignant.

2.3 Perte Auxiliaire de Groupe ( $L_{GA}$ )

Les pertes d'équilibrage de charge standard (qui imposent l'uniformité sur tous les experts) sont inadaptées aux MoE post-entraînés car elles perturberaient les motifs de routage appris, non uniformes, parmi les experts normaux. ZEDA introduit une Perte Auxiliaire de Groupe qui équilibre l'activation au niveau du groupe plutôt qu'au niveau de l'expert individuel :

Groupes : Les experts normaux forment le groupe $\mathcal{E}$ ; les experts zéro forment le groupe $\mathcal{Z}$ .
Objectif : La perte régule la fréquence d'activation relative entre les deux groupes, contrôlée par un paramètre de poids $w$ . Elle encourage le ratio d'experts normaux activés par rapport aux experts zéro à converger vers un ratio cible ( $N : N_Z \cdot w$ ) sans aplatir la distribution de routage au sein du groupe d'experts normaux.
Résultat : Cela permet au modèle d'apprendre quand sauter le calcul (sélectionner des experts zéro) tout en préservant la logique de routage interne du modèle original.

3. Contributions Clés

Cadre d'Adaptation Post-Entraînement : ZEDA est la première méthode à convertir efficacement des modèles MoE statiques entièrement post-entraînés en modèles dynamiques via l'injection d'experts zéro et l'auto-distillation, évitant ainsi le besoin d'un re-pré-entraînement coûteux.
Conversion Architecturale Stable : L'introduction de la Perte Auxiliaire de Groupe stabilise la conversion en régulant l'utilisation des experts zéro sans perturber les structures de routage apprises des experts normaux.
Compromis Efficacité-Performance : La méthode atteint une réduction significative du calcul (saut de plus de 50 % des experts) avec une perte de précision marginale seulement, surpassant les modèles de base MoE dynamiques existants et leurs variantes (par exemple, Troncation Naïve des Experts).
Insight sur les Dynamiques d'Activation : L'article fournit une analyse montrant que l'activation des experts zéro corrèle avec les écarts de distribution enseignant-étudiant (logp-diff) et l'incertitude du modèle, plutôt qu'avec la difficulté globale de la tâche. Les segments structurés (comme le code ou les expressions mathématiques) tendent à avoir des ratios d'activation d'experts zéro plus élevés (moins de calcul) par rapport au texte naturel.

4. Résultats Expérimentaux

Des expériences ont été menées sur Qwen3-30B-A3B et GLM-4.7-Flash à travers 11 benchmarks couvrant les mathématiques, le code et le suivi d'instructions.

Performance : ZEDA élimine plus de 50 % des FLOPs des experts (atteignant $r_{ZE} \approx 51,2\%$ $r_{Z E} \approx 51, 2%$ sur Qwen et $53,0\%$ $53, 0%$ sur GLM) tout en maintenant des performances comparables au modèle statique original.
- Sur Qwen3-30B-A3B, ZEDA surpasse la base dynamique la plus forte (AdaMoE) de 6,1 points en moyenne.
- Sur GLM-4.7-Flash, il surpasse la base de 4,0 points.
- Contrairement aux bases qui s'effondrent sur des tâches de raisonnement difficile ou de code, ZEDA maintient des performances compétitives uniformément sur tous les domaines.
Efficacité : L'adaptation génère une accélération de l'inférence de bout en bout d'environ 1,20× (environ 20 % d'accélération dans les phases de pré-remplissage et de décodage) sur 8 GPU NVIDIA H200.
Coût d'Adaptation : L'ensemble du processus d'adaptation prend moins de 31 heures pour Qwen et 62 heures pour GLM, ce qui est négligeable par rapport aux coûts du pré-entraînement ou du post-entraînement complet.
Généralisation : ZEDA démontre une forte généralisation Hors-Distribution (OOD) sur MMLU-Redux et GPQA-Diamond, préservant la précision tout en maintenant une utilisation élevée des experts zéro.

5. Importance et Revendications

L'article revendique que ZEDA offre une solution pratique et rentable pour améliorer l'efficacité de déploiement des systèmes MoE à grande échelle. En tirant parti des capacités existantes des modèles post-entraînés et en utilisant l'auto-distillation pour apprendre le routage dynamique, ZEDA permet aux tokens « faciles » de contourner le calcul d'experts inutile sans compromettre les connaissances établies ou les capacités de raisonnement du modèle.

Les auteurs soulignent que cette approche évite les modifications architecturales substantielles et les coûts de réentraînement associés aux méthodes MoE dynamiques précédentes. Les résultats suggèrent que les modèles MoE post-entraînés peuvent être migrés avec succès vers des architectures dynamiques efficaces, rendant les modèles à haute capacité plus viables pour le service réel où les coûts d'inférence constituent une contrainte principale. Le travail met en évidence que l'allocation dynamique du calcul est intrinsèquement liée à l'incertitude interne du modèle et à l'alignement entre les distributions de l'étudiant et de l'enseignant, plutôt qu'à la simple difficulté externe de la tâche.