💻 computer science

Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression

Cet article propose un cadre d'élagage structurel pour les modèles de mélange d'experts (MoE) qui maximise la couverture des scores de canaux via une approximation basée sur l'attribution afin de parvenir à une suppression de redondance à grain fin, réduisant considérablement l'empreinte mémoire tout en préservant la précision sous des taux de compression élevés.

Auteurs originaux : Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème des « Trop de chefs »

Imaginez un immense restaurant haut de gamme (un modèle d'IA de type Mixture-of-Experts ou MoE). Au lieu d'avoir un seul chef géant pour cuisiner chaque plat, cette cuisine possède des centaines de chefs spécialisés (appelés Experts). Pour chaque commande (un jeton de texte), le chef de rang (le Router) ne choisit que quelques chefs pour préparer ce plat spécifique.

Ce système est brillant car il est efficace : vous ne payez que pour les chefs que vous utilisez. Cependant, le restaurant reste immense, coûteux à exploter et prend beaucoup de place (mémoire) car il emploie des centaines de chefs, même si seulement quelques-uns sont actifs à la fois.

L'objectif de cet article est de réduire la taille de la cuisine sans gâcher la qualité de la nourriture. Ils veulent licencier certains chefs ou réduire leurs postes de travail pour économpre de l'espace et de l'argent, mais ils doivent s'assurer que le restaurant continue de servir des repas 5 étoiles.

Le problème des anciennes méthodes : « Le couteau grossier »

Les tentatives précédentes pour réduire la taille de ces modèles étaient comparables à l'utilisation d'une machette grossière plutôt que d'un scalpel.

L'ancienne méthode : Ils regardaient un chef dans son ensemble et décidaient : « Ce chef est important, on le garde », ou « Ce chef est rarement appelé, on le licencie ».
Le défaut : C'est trop brutal. Même un chef « important » peut avoir énormément d'espace gaspillé dans sa cuisine. Peut-être qu'il possède 100 planches à découper, mais qu'il n'en utilise que 20. Les 80 autres ne servent qu'à prendre la poussière.
Le résultat : Les anciennes méthodes gardaient le chef entier (gaspillant l'espace des 80 planches inutilisées) ou licenciaient le chef entier (perdant les 20 planches utiles). Elles ne pouvaient pas voir la redondance interne à l'intérieur du poste de travail du chef.

La nouvelle solution : Une « Rénovation intelligente » en trois étapes

Les auteurs proposent un nouveau cadre qui agit comme un architecte de précision. Ils ne regardent pas seulement qui est important ; ils regardent où se trouve la valeur à l'intérieur de chaque expert.

Étape 1 : Le détective de l'« Attribution » (Trouver la vraie valeur)

D'abord, ils doivent savoir quelles parties du modèle comptent réellement.

La métaphore : Imaginez essayer de comprendre quels ingrédients dans une sauce complexe la rendent vraiment bonne. Vous ne pouvez pas simplement deviner en fonction de qui a acheté les ingrédients (statistiques du routeur) ou de leur poids (données brutes).
L'innovation : Ils utilisent une astuce mathématique appelée Attribution-Guided Loss Approximation. Au lieu de tester chaque ingrédient un par un en le supprimant (ce qui prend un temps infini), ils utilisent un calcul de type « calcul rapide sur un coin de table » pour estimer instantanément la contribution de chaque partie au goût final.
Le bénéfice : C'est 20 fois plus rapide que les méthodes précédentes. C'est comme avoir un dégustateur super rapide capable de deviner l'impact d'un ingrédient sans avoir à cuisiner tout le plat.

Étape 2 : La carte de la « Couverture » (Maximiser le meilleur)

Une fois qu'ils savent quelles parties sont précieuses, ils doivent décider quelle quantité d'espace conserver.

La métaphore : Imaginez que vous avez un seau de sable. Certains grains sont de l'or, d'autres sont de la terre. Vous voulez garder l'or mais jeter la terre.
L'ancienne méthode : « Gardez 50 % du sable. » Cela pourrait accidentellement garder beaucoup de terre et jeter de l'or.
La nouvelle méthode (Coverage-Maximized) : « Gardez assez de sable pour couvrir 90 % de l'or ».
Comment ça marche : Ils ont réalisé que dans ces modèles, « l'or » (l'information importante) est très concentré dans quelques canaux précis (comme les 20 meilleures planches à découper). Ils calculent donc exactement combien de canaux ils doivent garder pour capturer presque toute la valeur. Ils arrêtent de couper dès qu'ils ont « couvert » l'information importante, même si cela signifie garder très peu de canaux pour certains experts et plus pour d'autres.

Étape 3 : Le carreleur d'« Alignement » (Assembler les pièces du puzzle)

Enfin, ils ont une liste de canaux à conserver, mais il y a un piège. Les puces informatiques (le matériel) sont exigeantes. Elles aiment les nombres qui sont des multiples de 64 ou 128 (comme des carreaux qui s'ajustent parfaitement dans une grille). Si vous avez 125 canaux, l'ordinateur gaspille de l'espace en les complétant jusqu'à 128, ou cela tourne lentement.

La métaphore : Vous avez un tas de briques de tailles différentes. Vous devez construire un mur où chaque section doit faire exactement 128 briques de large.
L'innovation : Ils utilisent une méthode de redistribution équitable (appelée Hamilton's Largest Remainder) pour redistribuer l'espace « restant ». Si un expert lui manque 3 briques et qu'un autre en manque 60, ils donnent l'espace supplémentaire à celui qui en a le plus besoin pour se rapprocher le plus possible de la taille parfaite de 128 blocs.
Le bénéfice : Cela garantit que le modèle réduit s'insère parfaitement dans la mémoire de l'ordinateur, ce qui permet de fonctionner rapidement et d'utiliser un stockage compressé (bas débit) sans ralentir.

Les Résultats : Plus petits, plus rapides, tout aussi intelligents

Ils ont testé cela sur des modèles célèbres comme Qwen et DeepSeek.

Le résultat : Ils ont réussi à réduire la taille des modèles par 5 fois (compression 5x) tout en gardant une précision quasi identique.
La preuve : Sur un modèle nommé Qwen3-30B, ils ont réduit l'empreinte mémoire de 5,27 fois. Même avec un élagage agressif (50 % de pruning), le modèle a obtenu des scores incroyablement élevés aux tests de mathématiques et de raisonnement (atteignant 94,5 sur le benchmark MATH500).

Résumé

Considérez cet article comme le guide ultime du désencombrement pour l'IA.

Arrêtez de deviner quels experts entiers il faut licencier.
Commencez à regarder à l'intérieur pour trouver les « canaux dorés » qui détiennent la valeur.
Gardez juste assez pour couvrir l'or, et taillez le reste.
Réorganisez les pièces restantes pour qu'elles s'insèrent parfaitement dans le matériel informatique.

Le résultat est une IA minuscule et efficace qui tient dans votre poche mais qui réfléchit comme un géant.

Résumé Technique : Élagage Guidé par l'Attribution et Maximisation de la Couverture pour la Compression Structurelle des MoE

1. Énoncé du Problème

Les modèles de mélange d'experts (Mixture-of-Experts, MoE) offrent une grande capacité de paramètres avec une charge de calcul gérable en n'activant qu'un sous-ensemble d'experts par jeton. Cependant, le déploiment de ces modèles reste coûteux en raison d'empreintes mémoire substantielles et d'un surcoût d'inférence. Bien que l'élagage structurel soit une solution prometteuse, les méthodes existantes présentent des limitations significatives :

Granularité Grossière : Les approches précédentes opèrent au niveau de l'expert, soit en supprimant des experts entiers, soit en les classant par importance. Cela ne parvient pas à capturer la redondance interne au sein des experts dits « de haute importance », où l'information est souvent concentrée dans seulement quelques canaux.
Estimation Imprécise de l'Importance : Les métriques existantes pour l'importance des experts (ex: poids du routeur, utilisation des jetons, statistiques brutes d'activation/gradient) sont souvent mal alignées avec la contribution réelle d'un expert à la perte finale. Les statistiques du routeur reflètent la fréquence de sélection plutôt que l'utilité, et les statistiques brutes présentent des biais dépendants des couches qui rendent la comparaison inter-couches peu fiable.
Allocation Inefficace du Budget : L'allocation des budgets d'élagage basée sur des classements d'experts grossiers entraîne un gaspillage de capacité sur des structures à faible contribution et ne parvient pas à optimiser le compromis entre compression et précision dans les MoE à grande échelle comprenant des centaines d'experts.

2. Méthodologie

Les auteurs proposent un cadre d'élagage structurel adapté aux MoE, composé de trois composants clés : l'Approximation de la Perte Guidée par l'Attribution (ALA), l'Allocation de Budget par Maximisation de la Couverture (CBA) et la Redistribution Sensible à l'Alignement (AAR).

2.1 Approximation de la Perte Guidée par l'Attribution (ALA)

Pour remédier au coût élevé de l'ablation par expert (qui augmente linéairement avec le nombre d'experts), les auteurs dérivent un proxy efficace de l'importance de l'expert en utilisant un développement de Taylor au premier ordre.

Dérivation : Le changement de perte induit par la suppression d'un expert $e$ est approximé par $\Delta L^{(e)} \approx -(\frac{\partial L}{\partial z_{\ell,e}})^\top z_{\ell,e}$ , où $z_{\ell,e}$ est la sortie de l'expert et $\frac{\partial L}{\partial z_{\ell,e}}$ est le gradient par rapport à cette sortie.
Efficacité : Cela permet d'estimer l'importance de tous les experts d'une couche via une seule passe arrière, réduisant le temps de calibration de 14 à 26 $\times$ par rapport à une ablation exhaustive.

2.2 Allocation de Budget par Maximisation de la Couverture (CBA)

Motivés par l'observation que l'information dans les experts MoE est hautement concentrée dans une petite fraction de canaux, les auteurs reformulent l'objectif d'élagage. Au lieu d'allouer un ratio d'élagage fixe par expert, l'objectif est de maximiser la couverture cumulée du score des canaux sous un budget global.

Mécanisme : Les canaux au sein de chaque expert sont triés selon leurs scores (dérivés de l'ALA). L'algorithme recherche un ratio de couverture cible $\rho$ pour chaque expert tel que le nombre total de canaux conservés respecte le budget d'élagage global tout en maximisant la somme des scores des canaux conservés.
Bénéfice : Cette approche priorise la conservation des canaux à haute contribution et élague agressivement les queues à faible score, évitant ainsi le gaspillage de capacité sur les structures redondantes que les méthodes uniformes ou basées sur des ratios engendrent.

2.3 Redistribution Sensible à l'Alignement (AAR)

Pour assurer la compatibilité avec la quantification à faible nombre de bits et les noyaux efficaces pour le matériel (ex: GEMM), les dimensions des canaux doivent être des multiples d'une taille de bloc $a$ (ex: 64 ou 128).

Processus : Après que la CBA a déterminé les nombres de canaux optimaux, l'AAR effectue un alignement vers le bas vers le multiple de $a$ le plus proche. Les canaux « restants » libérés par cet arrondi sont redistribués aux experts ayant les plus grands restes fractionnaires (en utilisant la règle du plus grand reste de Hamilton).
Objectif : Cela garantit que le modèle élagué satisfait les contraintes des noyaux sans déviation significative de l'allocation optimale basée sur la couverture, évitant ainsi une dégradation des performances due au padding ou à un accès mémoire inefficace.

3. Contributions Clés

Observation de la Redondance Interne : L'article démontre que l'information des MoE est hautement concentrée dans une petite fraction de canaux, rendant les métriques d'importance au niveau de l'expert trop grossières pour un élagage structurel efficace.
Nouvel Objectif d'Élagage : Les auteurs introduisent la couverture du score des canaux comme objectif d'élagage, reformulant l'allocation de capacité pour maximiser la couverture sous un budget global. C'est le premier travail qui optimise explicitement la couverture de score plutôt que de simples ratios d'élagage.
Cadre Efficace : Ils proposent un cadre évolutif combinant :
- ALA : Une approximation basée sur l'attribution pour l'estimation de l'importance des experts qui réduit les heures de GPU de 20 $\times$ par rapport à l'ablation.
- CBA : Un algorithme basé sur la recherche binaire pour allouer des budgets qui maximisent la couverture de score.
- AAR : Une stratégie de redistribution pour satisfaire les contraintes de noyaux à faible nombre de bits.
Validation Empirique : Des expériences approfondies sur les architectures DeepSeek et Qwen MoE montrent que la méthode atteint plus de 5 $\times$ de compression avec une perte de précision négligeable sur les tâches de connaissances générales et maintient de solides performances sur les benchmarks de raisonnement.

4. Résultats Expérimentaux

Le cadre a été évalué sur DeepSeek-MoE-16B, DeepSeek-V2-Lite, Qwen1.5-MoE-A2.7B et Qwen3-30B-A3B.

Connaissances Générales : Sous un ratio d'élagage de 25 % combiné à une quantification 4-bits ( $P25\% Q4b$ ), la méthode a atteint plus de 5 $\times$ de réduction de stockage. Sur Qwen3-30B-A3B, l'empreinte mémoire a été réduite de 5,27 $\times$ (de 61,06 Go à 11,64 Go) avec une baisse de précision moyenne de l'ordre de 1 % maximum sur les benchmarks généraux (ex: MMLU, ARC).
Tâches de Raisonnement : Sur les benchmarks de raisonnement (GSM8K, MATH500), les modèles compressés ont systématiquement approché ou surpassé leurs homologues originaux. Par exemple, le Qwen3-30B-A3B sous 50 % d'élagage a conservé un score de 94,5 sur MATH500 (contre 92,8 pour la base).
Efficacité : La méthode a surpassé les lignes de base de l'état de l'art (incluant Wanda, MoNE, EAC-MoE et PuzzleMoE) sur divers benchmarks. Elle a également démontré des performances robustes sous différentes stratégies de routage (top-1 à top-6) et différents corpus de calibration.
Débit (Throughput) : La redistribution sensible à l'alignement a considérablement amélioré le débit d'inférence. Pour Qwen3-30B-A3B, les dimensions alignées (128) ont produit 14,21 jetons/s contre 10,23 jetons/s pour les dimensions non alignées sous 50 % de sparsité.

5. Signification et Revendications

L'article affirme fournir une voie pratique vers un déploiement efficace des MoE en traitant le décalage entre l'importance au niveau de l'expert et la redondance interne des canaux.

Évolutivité : En remplaçant l'ablation exhaustive par une approximation basée sur l'attribution, la méthode s'adapte aux MoE comprenant des centaines d'experts, un régime où les précédentes méthodes basées sur la perte étaient trop coûteuses en termes de calcul.
Optimisation Fine : Le passage de l'élagage au niveau de l'expert à la maximisation de la couverture au niveau du canal permet une allocation de capacité plus précise, préservant les informations critiques tout en éliminant le bruit.
Compatibilité Matérielle : L'intégration de la redistribution sensible à l'alignement garantit que les modèles compressés sont non seulement plus petits, mais aussi compatibles avec la quantification à faible nombre de bits et les noyaux d'inférence à haut débit, répondant ainsi à un goulot d'étranglement critique dans le déploiement réel.

Les auteurs positionnent ce travail comme une étape fondamentale pour faire passer la compression des MoE d'une décision grossière au niveau de l'expert à une optimisation fine au niveau du canal, permettant le déploiement de modèles MoE à grande échelle avec des exigences de mémoire et de calcul considérablement réduites.