🤖 machine learning

SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

SHAPE est un cadre d'élagage d'experts piloté par les tâches pour les LLM de type Sparse Mixture-of-Experts qui modélise la coopération intra-couche des experts comme un jeu coopératif afin d'identifier et de conserver des sous-ensembles collaboratifs essentiels via une attribution de type Shapley, réduisant ainsi l'empreinte mémoire tout en maintenant la précision sans entraînement supplémentaire.

Auteurs originaux : Yuhao Zhang

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuhao Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une cuisine massive et ultra-puissante (un Grand Modèle de Langage) conçue pour concocter des réponses complexes. Au lieu d'avoir un seul chef géant qui fait tout, cette cuisine utilise un système de Mélange d'Experts (MoE). Voyez cela comme une équipe de 100 sous-chefs spécialisés (les « experts »).

Lorsqu'un client passe une commande (un prompt), un chef de rang (le « routeur ») examine la commande et choisit les 3 meilleurs chefs pour travailler ensemble sur celle-ci. La magie réside dans le fait que la cuisine n'a pas besoin que les 100 chefs soient actifs en même temps ; elle n'utilise que les 3 spécifiques nécessaires à cet instant précis. Cela rend la cuisine très rapide et efficace.

Le Problème : Le « Mur de la Mémoire »
Même si seulement 3 chefs cuisinent à chaque seconde, le propriétaire de la cuisine doit garder les 100 chefs à disposition, habillés et prêts à l'action. Pourquoi ? Parce que le serveur pourrait avoir besoin de n'importe lequel d'entre eux pour la commande suivante.

Le problème : Si vous avez une cuisine de 100 chefs, vous avez besoin d'une pièce immense et coûteuse (la mémoire GPU) pour tous les faire entrer. Cela rend impossible l'exécution de ces cuisines puissantes dans des espaces plus petits et moins chers (comme un simple ordinateur portable ou un petit serveur).
L'ancienne solution : Les tentatives précédentes pour réduire la taille de la cuisine ressemblaient à un manager disant : « Virons les chefs qui ont le moins cuisiné cette semaine. » C'est une approche erronée car un chef peut ne pas cuisiner souvent, mais lorsqu'il cuisine avec un partenaire spécifique, ils créent un chef-d'œuvre. Les licencier brise ce travail d'équipe spécial.

La Solution : SHAPE (Le Détective de Travail d'Équipe)
L'article présente SHAPE, une nouvelle façon de réduire la taille de la cuisine sans altérer la qualité de la nourriture. Au lieu de simplement compter combien de fois un chef est appelé, SHAPE observe comment ils travaillent ensemble.

Voici comment fonctionne SHAPE, en utilisant une analogie simple :

L'Observation du « Jeu » : SHAPE observe la cuisine pendant un court moment (en utilisant un petit « ensemble de calibration » de commandes). Il ne se contente pas de regarder qui est appelé ; il observe quels groupes de 3 chefs sont appelés ensemble et la fréquence à laquelle ces groupes réussissent.
Le Score « Shapley » (Équité) : Imaginez qu'un groupe de 3 chefs crée un plat parfait. Quel crédit accorde-t-on à chaque chef ?
- Si le Chef A est excellent seul, mais que le Chef B est inutile sans le Chef C, un simple décompte pourrait passer à côté de cela.
- SHAPE utilise un concept mathématique appelé Valeur de Shapley (pensez-y comme à un « calculateur d'équité »). Il demande : « Si nous retirons le Chef A de ce trio spécifique, est-ce que le plat s'effondre ? »
- Si le plat s'effondre, le Chef A est essentiel à cette équipe, même s'il n'est pas le plus célèbre.
- Si le plat a le même goût sans le Chef A, alors le Chef A est redondant et peut être renvoyé.
La Règle de « Couverture de Qualité » : SHAPE ne se contente pas de licencier les 20 % de chefs les moins sollicités selon un score unique. Il s'assure que chaque « étage » de la cuisine (chaque couche du modèle) conserve assez de chefs pour couvrir les combinaisons de travail d'équipe les plus importantes. Il utilise une méthode de « bisection » (un jeu de devinettes intelligent) pour trouver le nombre parfait de chefs à garder afin que la cuisine reste petite tout en cuisinant 99 % des mêmes plats parfaitement.

Les Résultats
Les chercheurs ont testé cela sur trois « cuisines » modernes différentes (Qwen, GPT-OSS, DeepSeek).

Le résultat : Ils ont pu licencier 20 % à 40 % des chefs (réduisant considérablement la mémoire nécessaire) sans que la nourriture ne soit moins bonne.
Pourquoi cela a fonctionné : En gardant les chefs qui sont essentiels pour le travail d'équipe plutôt que simplement ceux qui sont occupés, la cuisine est restée stable.
Le bonus : Parce qu'ils ont licencié tant de chefs, la pièce (mémoire GPU) nécessaire pour faire fonctionner la cuisine est devenue beaucoup plus petite, rendant possible l'exécution de ces modèles puissants sur du matériel moins coûteux.

En résumé
SHAPE est comme un manager intelligent qui réalise que licencier le chef « discret » qui est le ciment secret d'une équipe gagnante est une mauvaise idée. Au lieu de cela, il licencie les chefs « bruyants » qui sont facilement remplaçables. Cela réduit la taille de l'équipe et l'espace de bureau nécessaire, tout en maintenant la qualité du travail exactement la même.

Résumé Technique : SHAPE – Élagage d'Experts Sensible aux Coalitions pour les Modèles LLM à Mélange d'Experts Sparses

1. Énoncé du Problème

Les architectures de Mélange d'Experts (SMoE) sparses sont devenues cruciales pour l'extensibilité des Grands Modèles de Langage (LLM) vers des centaines de milliards ou des trillions de paramètres tout en maintenant des coûts d'entraînement sous-linéaires et une faible latence d'inférence par jeton. Cependant, le déploiement de ces modèles massifs se heurte à un « Mur de la Mémoire » critique. Bien que le calcul conditionnel garantisse qu'un sous-ensemble épars d'experts est actif par jeton, l'intégralité du pool d'experts doit rester résidente dans la mémoire GPU pour supporter les décisions de routage dynamiques dépendantes du jeton. Cette exigence crée des empreintes mémoire prohibitives (par exemple, des téraoctets de VRAM pour des modèles comme DeepSeek-V3.2), limitant leur utilisabilité dans des environnements aux ressources contraintes.

Les stratégies de compression existantes, telles que l'élagage d'experts (expert pruning), visent à réduire l'empreinte des paramètres en supprimant les experts redondants. Cependant, les méthodologies d'élagage actuelles souffrent d'une lacune de modélisation fondamentale : elles adoptent principalement une perspective par expert, évaluant les experts indépendamment sur la base de métriques telles que la fréquence d'activation ou l'amplitude du gating. Cette approche néglige la nature intrinsèquement coalitive de l'inférence MoE, où la sortie du modèle est générée par une composition non linéaire d'une coalition spécifique de $k$ experts (top- $k$ ). Par conséquent, l'évaluation indépendante risque de démanteler des collaborations d'experts à haute utilité, entraînant une dégradation disproportionnée des performances sur des tâches complexes, même si des experts individuels semblent redondants de manière isolée.

2. Méthodologie : Cadre SHAPE

Les auteurs proposent SHAPE (Shapley-guided, Coalition-Aware Expert Pruning), un cadre piloté par les tâches qui modélise explicitement la coopération intra-couche des experts. SHAPE opère sans réentraînement, s'appuyant sur un petit ensemble de calibration pour guider les décisions d'élagage. La méthodologie se compose de trois composantes principales :

A. Calibration Pilotée par la Tâche et Traces de Routage

SHAPE effectue une passe hors ligne sur un petit ensemble de données de calibration spécifique à la tâche ( $D_{cal}$ ) en utilisant le modèle non élagué. Il enregistre les décisions de routage (sélections d'experts top- $k$ ) pour chaque jeton à travers toutes les couches MoE. Cela produit un ensemble de combinaisons d'experts observées (coalitions) et leurs fréquences d'activation, qui servent de statistiques empiriques caractérisant la coopération des experts conditionnée par la tâche.

B. Utilité Basée sur les Coalitions et Évaluation de Type Shapley

Au lieu de traiter les experts comme des unités indépendantes, SHAPE formule le processus d'inférence comme un jeu coopératif empirique.

Définition de l'Utilité : L'utilité d'une coalition (un ensemble spécifique de $k$ experts) est définie par sa fréquence d'activation observée sur l'ensemble de calibration.
Contribution Marginale : Pour déterminer la valeur d'un expert, SHAPE estime sa contribution marginale à l'utilité de la coalition. Puisque la suppression d'un expert d'une coalition top- $k$ résulte en un sous-ensemble $(k-1)$ qui n'est pas directement observé sous un routage top- $k$ , SHAPE approxime l'utilité de ces sous-coalitions en utilisant des statistiques de cooccurrence.
Approximation de Type Shapley : Le cadre calcule un score de type Shapley ( $\phi$ ) pour chaque expert. Ce score fait la moyenne de la contribution marginale de l'expert à travers toutes les coalitions auxquelles il participe, pondérée par la taille de la coalition.
Correction de Monotonie : Pour garantir que l'approximation respecte l'exigence de monotonie des jeux coopératifs (c'est-à-dire qu'une coalition ne devrait pas avoir une utilité inférieure à ses sous-coalitions), SHAPE introduit un facteur d'échelle conservateur ( $\alpha$ ) dérivé des fréquences observées. Cela empêche de surestimer la substituabilité des experts.

C. Sélection de la Couverture de Qualité Shapley

Pour déterminer quels experts conserver, SHAPE emploie une règle de sélection de couverture de qualité plutôt qu'un simple seuil basé sur le comptage.

Couverture par Couche : Pour chaque couche, le cadre trie les experts par leurs scores de Shapley non négatifs. Il sélectionne le sous-ensemble minimal d'experts tel que leur masse de Shapley cumulative couvre une fraction $\alpha$ de la contribution totale de la couche.
Appariement du Budget Global : Une recherche binaire (dichotomique) est utilisée pour trouver le seuil de couverture $\alpha$ optimal qui satisfait un taux de conservation global cible (par exemple, conserver 60 % ou 80 % des experts).
Préservation Structurelle : Cette approche garantit que les couches avec une valeur hautement concentrée conservent moins d'experts, tandis que les couches avec des contributions diffuses en conservent davantage, évitant ainsi l'« effondrement de couche » où l'élagage affecterait de manière disproportionnée certaines couches spécifiques.

3. Principales Contributions

Évaluation de l'Expertise Coalitive : L'article reformule l'élagage MoE, passant d'une estimation d'importance par expert à une modélisation de la contribution sensible aux coalitions. Il introduit un mécanisme rigoureux utilisant les valeurs de Shapley pour attribuer les contributions des experts conditionnées par les coalitions routées, distinguant les experts fréquemment sélectionnés de ceux essentiels pour les collaborations à haute utilité.
Stratégie d'Élagage Préservant la Structure : SHAPE propose un mécanisme de sélection conscient de la topologie qui préserve la capacité coopérative par couche. En imposant une contrainte de couverture de qualité basée sur la valeur de Shapley cumulative, il évite les déséquilibres structurels causés par un classement global ou des comptes fixes par couche.
Validation Empirique : Des expériences approfondies démontrent que la préservation de la coopération entre experts est critique pour un élagage efficace. Le cadre atteint un élagage significatif (jusqu'à 40 %) avec une dégradation de performance négligeable sur les benchmarks intensifs en raisonnement, surpassant à la fois les approches heuristiques et les méthodes d'élagage de pointe sans réentraînement.

4. Résultats Expérimentaux

Les auteurs ont évalué SHAPE sur trois backbones MoE modernes : Qwen3-30B-A3B, GPT-OSS-20B, et DeepSeek-V2-Lite. L'évaluation a couvert divers benchmarks, notamment le raisonnement mathématique (GSM8K, MATH-500), la génération de code (HumanEval), le QA de connaissances (GPQA-Diamond) et le QA médical.

Rétention de Performance : Sous un ratio d'élagage de 20 %, SHAPE a maintenu des performances comparables, voire légèrement supérieures, aux bases non élaguées. À un ratio d'élagage de 40 %, SHAPE a systématiquement surpassé les méthodes de référence (incluant l'élagage aléatoire, basé sur la fréquence, basé sur le gating, RAEP et EASY-EP), particulièrement sur les tâches de raisonnement intensif où la coopération des experts est critique.
Robustesse : Bien que les tâches de raisonnement (ex: GSM8K, GPQA-Diamond) aient montré une plus grande sensibilité à l'élagage, l'approche de SHAPE sensible aux coalitions a préservé l'exactitude de manière nettement plus efficace que les heuristiques par expert. Les modèles plus larges (Qwen3, GPT-OSS) ont démontré une plus grande résilience, mais SHAPE est resté efficace même sur le modèle plus compact DeepSeek-V2-Lite.
Efficacité Mémoire : L'élagage a directement réduit l'empreinte mémoire GPU de pointe. L'étude a souligné que servir l'intégralité du pool d'experts induit un overhead de mémoire substantiel, indépendamment de la sparsité d'activation. SHAPE a permis des réductions claires de la VRAM (proportionnelles au ratio d'élagage) sans réentraînement ni modifications architecturales supplémentaires.
Études d'Ablation : Les comparaisons avec le classement global et l'élagage indépendant par couche ont confirmé que la contrainte de couverture de qualité est vitale. L'élagage global a conduit à un déséquilibre structurel, tandis que l'élagage par couche n'a pas tenu compte de la distribution de la capacité spécifique aux tâches. L'approche équilibrée de SHAPE a produit les résultats les plus stables à travers tous les ratios d'élagage.

5. Signification et Revendications

L'article affirme que SHAPE répond à une limitation critique de la compression MoE actuelle : l'incapacité à prendre en compte la nature coopérative de l'inférence des experts. En déplaçant l'attention des métriques individuelles des experts vers l'utilité coalitive, SHAPE fournit une solution robuste et sans réentraînement pour déployer de grands modèles MoE dans des environnements à ressources mémoires contraintes.

Les auteurs soulignent que leur travail ne nécessite ni réentraînement ni modification architecturale, ce qui en fait une optimisation pratique orientée vers le déploiement. Les résultats suggèrent qu'une partie significative du pool d'experts dans les modèles MoE modernes contribue une utilité marginale limitée lorsqu'ils sont considérés isolément, mais que c'est la structure de leur collaboration qui soutient la performance du modèle. SHAPE identifie et préserve avec succès ces structures collaboratives critiques, permettant un compromis favorable entre la capacité du modèle et l'empreinte des ressources. Le code open-source est fourni pour faciliter la recherche et l'application ultérieures dans ce domaine.