💬 NLP

Pruning and Distilling Mixture-of-Experts into Dense Language Models

Ce papier présente un cadre novateur qui convertit des modèles entraînés de type Mixture-of-Experts (MoE) en architectures denses standard en notant, sélectionnant et regroupant les experts, puis en procédant à une distillation de connaissances, démontrant ainsi que cette approche surpasse nettement l'élagage traditionnel denses-à-denses en termes de précision et d'efficacité d'entraînement.

Auteurs originaux : Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Goulot d'Étranglement « Tous les Bras à l'Œuvre »

Imaginez une immense cuisine de restaurant haut de gamme (le modèle MoE) conçue pour préparer des repas incroyablement complexes. Cette cuisine compte 128 chefs spécialistes différents (experts) dans son effectif. Cependant, pour toute commande unique, le chef de cuisine (le routeur) ne fait appel qu'à 8 d'entre eux pour travailler. Les 120 autres chefs restent inactifs, attendant leur tour.

Cette configuration est excellente pour la vitesse et la variété de la cuisine, mais elle pose un énorme problème : Pour ouvrir la cuisine, vous devez embaucher et payer les 128 chefs. Même si vous n'en utilisez que 8 à la fois, vous avez besoin de suffisamment d'espace (mémoire) et d'argent (puissance de calcul) pour maintenir les 128 sur la paie. Cela rend impossible l'ouverture d'une petite succursale de ce restaurant dans un tout petit magasin (comme un téléphone ou un seul ordinateur), car il n'y a pas assez de place pour tout le personnel.

Les solutions actuelles tentent de licencier certains chefs pour réduire la taille de la cuisine, mais vous devez toujours maintenir les chefs restants sur des stations séparées et spécialisées. Vous devez toujours charger tout le monde dans le bâtiment.

La Solution : La Transformation du « Chef Maître »

Les auteurs de ce papier proposent une nouvelle recette radicale. Au lieu de simplement licencier des chefs, ils veulent fusionner les 8 meilleurs chefs en un seul super-chef capable de faire tout ce que l'équipe faisait, mais sans avoir besoin de l'espace supplémentaire.

Ils prennent l'équipe entraînée de 128 spécialistes et la transforment en une cuisine standard et dense (un modèle Dense) qui tient dans un petit magasin mais cuisine toujours comme un maître.

Comment ils l'ont fait : Le Processus en Trois Étapes

Le papier décrit un processus en trois étapes pour transformer la « Cuisine MoE » en une « Cuisine Dense ».

1. Notation : Trouver les Chefs « Étoiles »

D'abord, ils doivent décider quels chefs garder. Ils ne peuvent pas simplement choisir ceux qui se présentent le plus souvent (fréquence), car ce sont peut-être les « généralistes » qui font tout correctement mais rien d'exceptionnel.

L'Ancienne Façon : Choisir les chefs appelés le plus souvent. (Comme choisir les employés les plus populaires).
La Nouvelle Façon (Notation Sensible à la Diversité) : Les auteurs ont inventé une nouvelle métrique appelée DO-ACP. Imaginez que vous sélectionnez une équipe sportive. Vous ne choisissez pas simplement les 8 joueurs qui ont joué le plus de matchs ; vous choisissez les 8 joueurs qui ont les compétences les plus différentes et qui sont les meilleurs dans ces compétences spécifiques.
- Si le Chef A est excellent en pâtisserie et le Chef B est excellent en grillades, vous voulez les deux.
- Si le Chef C et le Chef D sont tous deux excellents en grillades, vous n'avez besoin que de l'un d'eux.
- La nouvelle méthode assure mathématiquement que les chefs sélectionnés couvrent la plus large gamme de « saveurs » (connaissances) sans redondance.

2. Regroupement et Fusion : Construire le Super-Chef

Une fois qu'ils ont choisi les 8 meilleurs chefs (ou quelques-uns de plus pour être sûrs), ils doivent les combiner.

Élagage Pur (Le Gagnant) : Dans la plupart des cas, le meilleur résultat est venu du simple copiage des 8 meilleurs chefs directement dans la nouvelle cuisine sans mélanger leurs recettes. Il s'avère que d'avoir 8 spécialistes distincts et de haute qualité travaillant côte à côte est meilleur que d'essayer de mélanger leurs recettes en une seule recette moyenne.
Fusion : S'ils avaient dû choisir plus de 8, ils auraient mélangé les recettes de chefs similaires, pondérées par leur niveau de compétence.

3. Distillation de Connaissances : L'Entraînement par « Dégustation »

Maintenant, ils ont une nouvelle cuisine avec 8 chefs (l'Élève), mais elle n'est pas encore parfaite. C'est comme un nouveau restaurant qui a le bon personnel mais qui n'a pas encore appris les recettes secrètes de la famille.

Ils mettent la nouvelle cuisine au travail aux côtés de la cuisine originale à 128 chefs (le Professeur).

Le Professeur prépare un plat.
L'Élève essaie de préparer exactement le même plat.
Le Professeur corrige l'Élève : « Non, vous avez mis trop de sel », ou « Vous avez manqué l'épice subtile ».
L'Élève apprend de ces corrections. Ce processus s'appelle la Distillation de Connaissances.

Les Résultats : Pourquoi Cela Compte

Les auteurs ont testé cela sur plusieurs modèles d'IA massifs (comme Qwen3, DeepSeek et GPT-OSS). Voici ce qu'ils ont découvert :

Choisir les Bons Chefs est Tout : La méthode utilisée pour noter les chefs importait plus que la façon dont ils étaient regroupés. Leur nouvelle notation « Sensible à la Diversité » a été le gagnant clair, battant toutes les méthodes précédentes avec une marge significative.
Ne Pas Mélanger, Juste Sélectionner : De manière surprenante, la meilleure stratégie était de choisir exactement 8 chefs et de ne pas les mélanger du tout. Avoir simplement les 8 meilleurs experts les plus diversifiés travaillant ensemble était meilleur que de les moyenner.
Battre la Concurrence : Ils ont comparé leur méthode « MoE vers Dense » à l'ancienne façon de créer de petits modèles (prendre un grand modèle dense et le réduire).
- Le Résultat : Leur nouvelle méthode a produit un modèle élève qui était 6,3 % plus précis en moyenne sur les tâches.
- Vitesse : Il était également 1,6 fois plus rapide à entraîner car la cuisine originale du « Professeur » était plus efficace à exécuter pendant le processus d'entraînement.

La Conclusion

Considérez ce papier comme un plan pour réduire une immense siège social en un petit bureau de startup efficace sans perdre aucune des capacités intellectuelles de l'entreprise.

Au lieu de simplement licencier des gens pour économiser le loyer, ils ont soigneusement sélectionné les 8 employés les plus diversifiés et talentueux, leur ont donné un nouveau bureau compact, et les ont fait apprendre les secrets de l'entreprise de l'équipe originale. Le résultat ? Un petit bureau qui performe aussi bien que le grand, mais qui tient dans un espace beaucoup plus petit.

L'Essentiel : Vous n'avez pas besoin de garder toute l'équipe massive pour obtenir des résultats ; vous avez juste besoin de choisir les bons 8, de les garder distincts et de bien les former.

Résumé Technique : Élagage et Distillation des Mélanges d'Experts vers des Modèles de Langage Denses

Énoncé du Problème

Les architectures de Mélanges d'Experts (MoE) sont devenues le paradigme dominant pour les grands modèles de langage (LLM) de pointe en raison de leur capacité à augmenter le nombre total de paramètres tout en maintenant l'efficacité de l'entraînement et du service. Cependant, une limitation fondamentale persiste : bien qu'ils n'activent qu'une fraction des paramètres par token, les modèles MoE nécessitent le chargement de tous les paramètres des experts en mémoire. Cette empreinte mémoire les rend inadaptés aux scénarios de déploiement contraints par la mémoire, tels que l'inférence sur appareil ou le service sur un seul GPU.

Les solutions actuelles consistent à publier de petits modèles denses distincts, entraînés à partir de zéro ou via un élagage en cascade de grands enseignants denses. Ces approches sont coûteuses en calcul et ne parviennent pas à exploiter les riches capacités déjà présentes dans le modèle MoE entraîné. Les méthodes existantes de compression MoE (par exemple, MC-SMoE, HC-SMoE) réduisent le nombre d'experts mais conservent la structure MoE sparse, préservant ainsi l'inefficacité mémoire. Il manque des cadres systématiques pour convertir un modèle MoE entraîné en une architecture standard entièrement dense.

Méthodologie

Les auteurs présentent le premier cadre systématique pour convertir un modèle de langage MoE entraîné en une architecture entièrement dense via un pipeline en trois étapes : Évaluation et Sélection des Experts, Regroupement et Concaténation, et Distillation de Connaissances.

1. Évaluation et Sélection des Experts

Le cœur de la méthode consiste à évaluer tous les $E$ experts d'une couche afin de sélectionner un sous-ensemble de taille $K$ ( $K \ge k$ , où $k$ est le nombre d'experts actifs par token). L'article évalue sept méthodes d'évaluation :

Basées sur la fréquence : Fréquence de Sélection (SF), Probabilité de Pré-sélection (PP), Probabilité de Post-sélection (PS). Ces méthodes favorisent les experts généralistes.
Probabilité Conditionnelle (CP) : Se concentre sur la confiance du routage, favorisant les spécialistes.
CP pondérée par l'activation (ACP) : Combine la confiance du routage avec l'ampleur de la sortie.
Sélection D-Optimale (DO) : Un critère novateur qui maximise conjointement l'importance des experts et leur diversité mutuelle. Il sélectionne un sous-ensemble $S$ pour maximiser le logarithme du déterminant d'une matrice de Gram pondérée par l'importance :
$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$
où $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$ . Ceci est résolu de manière gloutonne. Les auteurs proposent DO-ACP (Sélection D-Optimale basée sur les scores ACP) comme stratégie optimale.

2. Regroupement et Concaténation

Les experts sélectionnés sont assignés à $k$ groupes.

Élagage Pur ( $K=k$ ) : Chaque groupe contient exactement un expert ; aucune moyenne des poids n'est effectuée.
Fusion ( $K>k$ ) : Les experts d'un groupe sont fusionnés par une moyenne pondérée par les scores de leurs paramètres.
Les $k$ groupes résultants sont concaténés en un seul Réseau de Propagation Avant (FFN) dense avec une dimension intermédiaire $d_{dense} = k \times d_{expert}$ . Les matrices de projection descendante sont mises à l'échelle par des facteurs $\alpha_g$ (uniforme ou proportionnel) pour approximer le comportement de routage moyen du MoE original.

3. Distillation de Connaissances

Le modèle dense initialisé est affiné par distillation de connaissances à partir de l'enseignant MoE. L'objectif minimise la divergence KL directe entre les distributions de sortie de l'enseignant et de l'élève. Les auteurs explorent également l'expansion du routage de l'enseignant pendant la distillation (activation de $k' > k$ experts) pour exposer l'élève aux connaissances des experts non sélectionnés.

Contributions Clés

Premier Cadre MoE-vers-Dense : L'article introduit le premier système de bout en bout pour convertir un MoE entraîné en une architecture entièrement dense, dépassant la limitation de produire de plus petits modèles MoE denses.
Sélection d'Experts Sensible à la Diversité : Les auteurs introduisent un critère de sélection D-optimale (DO-ACP) qui maximise le logarithme du déterminant d'une matrice de Gram pondérée par l'importance. Cette méthode pénalise explicitement la redondance, sélectionnant des experts à la fois importants et divers.
Évaluation Complète : L'étude évalue 350 configurations (7 évaluations $\times$ 5 regroupements $\times$ 2 mises à l'échelle $\times$ 5 valeurs de $K$ ) sur Qwen3-30B-A3B et valide les résultats sur DeepSeek-V2-Lite et GPT-OSS-20B.

Résultats

Performance sur Qwen3-30B-A3B

Dominance de l'Évaluation : Le choix de la méthode d'évaluation est le facteur le plus impactant, créant un écart de 5,7 points de pourcentage (pp) en précision moyenne en aval entre les meilleures et les pires méthodes. Les stratégies de regroupement ne contribuent qu'à environ 1 pp.
Supériorité de DO-ACP : La méthode DO-ACP surpasse systématiquement toutes les autres configurations. À $K=8$ (élagage pur), elle atteint 43,41 % de précision moyenne sur les benchmarks en aval (Winogrande, HellaSwag, ARC-E/C, MMLU).
Élagage Pur vs Fusion : Pour les évaluations sensibles à la diversité (DO-ACP, ACP), l'élagage pur ( $K=k$ ) surpasse la fusion ( $K>k$ ). Les méthodes basées sur la fréquence (SF) bénéficient de la fusion, mais les experts DO-ACP sont individuellement assez puissants pour se suffire à eux-mêmes.
Comparaison avec les Baselines :
- vs Compression MoE : Surpasse les métriques de compression MoE réutilisées (par exemple, MC-SMoE, HC-SMoE) de 5,9 à 7,1 pp.
- vs Élagage Dense-vers-Dense (D2D) : Dans une comparaison contrôlée avec un enseignant dense apparié en paramètres (Qwen3-32B $\to$ élève 3,4B), MoE-vers-dense (DO-ACP) surpasse l'élagage D2D de +6,3 pp (58,10 % contre 51,84 %) après une distillation d'environ 4 milliards de tokens.
- vs Initialisation Aléatoire : Surpasse l'initialisation aléatoire du FFN de +12,7 pp, démontrant que la structure d'experts fournit une initialisation puissante.

Entraînement Étendu et Validation Transverse

Mise à l'échelle : L'avantage de performance de DO-ACP persiste et s'élargit avec un entraînement étendu (~4 milliards de tokens).
Généralisation : Les résultats se généralisent à DeepSeek-V2-Lite (64 experts) et GPT-OSS-20B (32 experts). Bien que l'écart absolu entre les méthodes d'évaluation se réduise à mesure que la taille du pool d'experts diminue, DO-ACP reste le meilleur performant.
Efficacité : La distillation MoE-vers-dense est 1,6 fois plus rapide en temps réel que l'élagage D2D car l'enseignant MoE active moins de paramètres par token pendant la phase de distillation.

Analyse Qualitative

L'analyse des erreurs sur les tâches de chaîne de pensée du MMLU révèle que les modèles DO-ACP ont les taux les plus faibles d'échecs catastrophiques (incohérence, boucles répétitives) et d'erreurs de connaissances par rapport aux méthodes D2D et basées sur la fréquence. La sélection sensible à la diversité semble préserver plus efficacement les connaissances factuelles et culturelles, en particulier dans les sciences humaines et sociales.

Signification et Revendications

L'article revendique fournir une recette simple et efficace pour déployer les capacités MoE dans des environnements contraints par la mémoire : Évaluer avec DO-ACP, conserver exactement les $k$ meilleurs experts par couche (élagage pur), et distiller avec KL directe.

Les auteurs soulignent que cette approche transforme l'« inefficacité mémoire » du MoE en une « efficacité dense » sans sacrifier les gains de performance dérivés de la structure spécialisée des experts du MoE. Ils affirment que les modèles MoE fournissent un point de départ plus fort pour la distillation que des enseignants denses appariés en nombre de paramètres, remettant en question la nécessité d'entraîner des modèles denses à partir de zéro ou d'élaguer des enseignants denses. Ce travail établit que la diversité des experts, plutôt que simplement la fréquence ou l'ampleur, est le facteur critique dans la compression des modèles MoE en architectures denses.