🤖 machine learning

Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution

Ce papier révèle que les modèles pré-entraînés existants de type Mixture-of-Experts (MoE) possèdent intrinsèquement une forte parcimonie d'activation intra-expert, ce qui peut être exploité en modifiant le pipeline d'exécution vLLM pour sauter les calculs de neurones inactifs, permettant d'obtenir une accélération allant jusqu'à 2,5 fois pour l'exécution de la couche MoE et une accélération de bout en bout de 1,2 fois sans aucun réentraînement du modèle ni modification des paramètres.

Auteurs originaux : Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Trouver les « Géants Dormants » dans l'IA

Imaginez une immense cuisine de restaurant haut de gamme (le modèle d'IA) qui compte des centaines de chefs spécialisés (appelés Experts). Dans une configuration standard de « Mélange d'Experts » (MoE), lorsqu'un client commande un plat, le chef de cuisine (le Routeur) ne choisit que quelques experts spécifiques pour travailler sur cette commande. Par exemple, si la commande est un « curry épicé », le routeur pourrait réveiller l'« Expert Épices » et l'« Expert Curry », tandis que l'« Expert Dessert » et l'« Expert Pain » restent endormis.

Ceci est déjà efficace car la cuisine ne fait pas fonctionner les 100 chefs pour chaque commande. Cependant, les chercheurs de ce papier ont posé une nouvelle question : « Même lorsqu'un chef est éveillé et travaille, utilise-t-il toute son énergie ? »

Ils ont découvert que même les chefs « éveillés » passent la plupart de leur temps à ne rien faire. Ils ont constaté que, au sein d'un seul expert, jusqu'à 90 % des neurones (les cellules cérébrales individuelles de l'IA) sont effectivement « endormis » ou produisent une sortie nulle pour une entrée donnée.

Le Problème : Pourquoi Nous Ne Pouvons Pas Simplement Ajouter Plus de Chefs

Auparavant, pour rendre l'IA plus rapide, les chercheurs tentaient de rendre la cuisine plus efficace en ajoutant plus de chefs et en réveillant moins d'entre eux (augmentant la « parcimonie inter-experts »). Mais cela devient très difficile.

La Lutte de l'Entraînement : Si vous avez trop de chefs et que vous n'en réveillez que quelques-uns, la cuisine devient chaotique. Certains chefs reçoivent tout le travail (déséquilibre de charge), tandis que d'autres ne sont jamais entraînés et deviennent inutiles (effondrement de l'expert).
La Limite : Nous atteignons un mur où nous ne pouvons plus facilement rendre la sélection « qui travaille » plus efficace sans casser le modèle.

La Solution : La Stratégie du « Chef Paresseux »

Au lieu d'essayer de choisir moins de chefs, les auteurs ont décidé de rendre les chefs individuels plus efficaces. Ils ont réalisé que même lorsqu'un chef travaille, il n'a pas besoin d'utiliser chaque outil de sa boîte à outils.

L'Analogie :
Imaginez un maître menuisier (un Expert) construisant une chaise.

Ancienne Méthode : Le menuisier attrape chaque marteau, scie et tournevis dans le hangar, même s'il n'a besoin que d'un marteau et d'un tournevis. Il transporte tout le hangar sur le chantier.
Nouvelle Méthode (Ce Papier) : Le menuisier examine le travail, réalise qu'il n'a besoin que du marteau et du tournevis, et laisse la scie et les 90 % restants des outils dans le hangar. Il ne transporte que ce dont il a besoin.

Les chercheurs ont constaté que, dans les modèles d'IA préentraînés existants (comme Qwen, Llama et DeepSeek), ce comportement « paresseux » se produit déjà naturellement. Les mathématiques à l'intérieur du modèle annulent naturellement la majeure partie du travail. Ils avaient simplement besoin d'enseigner à l'ordinateur de sauter ce travail gaspillé.

Comment Ils L'Ont Fait : Le Système de « Liste de Sauts »

L'équipe a pris un moteur d'IA populaire et haute vitesse appelé vLLM (pensez-y comme au service de livraison qui apporte la nourriture de la cuisine au client) et l'a amélioré.

La Vérification : Avant que le « chef » ne commence à cuisiner, le système vérifie rapidement quels outils (neurones) sont réellement nécessaires.
Le Saut : Si un outil n'est pas nécessaire (sa valeur est trop faible), le système ne le charge même pas dans la mémoire ni n'essaie de l'utiliser. Il saute littéralement le calcul.
Le Résultat : Ils ont construit une « voie rapide » spéciale dans le logiciel. Si le lot de commandes est petit (comme une pause déjeuner calme), le système utilise cette voie rapide et évite les efforts lourds. Si la cuisine est très occupée (une énorme ruée du dîner), il revient au mode standard et robuste pour maintenir la stabilité.

Ce Qu'ils Ont Découvert (Les Résultats)

Ils ont testé cela sur huit grands modèles d'IA différents, allant des petits (1 milliard de paramètres) aux massifs (400 milliards de paramètres).

Précision : Ils pouvaient sauter jusqu'à 90 % du travail à l'intérieur d'un expert et l'IA donnait encore les bonnes réponses 95 % du temps. C'était comme sauter 90 % des ingrédients d'une recette et que le plat ait toujours un goût 95 % aussi bon.
Vitesse :
- Pour la partie spécifique de « cuisson » de l'IA (la couche MoE), ils ont observé des accélérations allant jusqu'à 2,5 fois.
- Pour l'ensemble du système (de bout en bout), ils ont observé une accélération de 1,2 fois.
Matériel : L'accélération était la plus spectaculaire sur les cartes graphiques plus petites et moins puissantes (comme une carte de jeu grand public), prouvant que c'est un excellent moyen d'exécuter de grands modèles d'IA sur du matériel moins cher.

Le Bémol (Limitations)

Le papier est honnête sur les limites :

Le Gardien : Le système doit toujours vérifier quels outils sont nécessaires avant de pouvoir les sauter. Cette « vérification » prend du temps et ne peut pas encore être sautée. C'est comme un manager qui doit toujours faire le tour de la cuisine pour dire aux chefs quels outils attraper, même si les chefs n'utilisent pas tous ces outils.
Taille du Lot : L'accélération est optimale lorsque l'IA traite quelques demandes à la fois. Si vous traitez des milliers de demandes simultanément, la surcharge de « vérification » devient un goulot d'étranglement et l'accélération diminue.

Résumé

Ce papier n'a pas inventé un nouveau type d'IA ni entraîné un nouveau modèle à partir de zéro. Au lieu de cela, ils ont examiné des modèles d'IA existants et puissants et ont réalisé : « Hé, ces modèles font déjà beaucoup de travail inutile, même lorsqu'ils sont 'actifs'. »

En construisant un système qui reconnaît cet effort gaspillé et le saute simplement, ils ont rendu ces modèles d'IA massifs beaucoup plus rapides et plus efficaces, en particulier sur du matériel qui n'est pas extrêmement cher. C'est une technique de « saut intelligent » qui rend la génération actuelle de modèles d'IA plus pratique à exécuter.

Résumé Technique : Révélation de la Sparsité d'Activation Intra-Expert pour une Exécution Efficace des Modèles à Mélange d'Experts

Énoncé du Problème
Les architectures à Mélange d'Experts (MoE) sont devenues la norme pour les Modèles de Langage de Grande Taille (LLM) les plus avancés, en raison de leur efficacité computationnelle dérivée de l'activation sparse des experts. Cependant, l'augmentation supplémentaire de la sparsité par le biais d'une granularité experte plus fine (sparsité inter-expert) se heurte à des défis fondamentaux d'entraînement, notamment l'effondrement des experts, le déséquilibre de charge et l'effondrement des représentations. Ces problèmes rendent de plus en plus difficile la réduction du pourcentage d'experts actifs sans compromettre la qualité du modèle ou la stabilité de l'entraînement. Par conséquent, il est nécessaire d'explorer des dimensions complémentaires de sparsité qui ne reposent ni sur des changements architecturaux ni sur un réentraînement.

Méthodologie
Les auteurs investiguent la sparsité d'activation intra-expert, une dimension de sparsité existant au sein des activations d'experts individuels dans des modèles MoE pré-entraînés. La méthodologie comprend trois composantes principales :

Analyse Empirique : L'étude analyse huit modèles MoE prêts à l'emploi, allant de 1 milliard à 400 milliards de paramètres (incluant des variantes de Granite, OLMoE, DeepSeek-V2, GPT-OSS, Qwen3.5 et Llama-4). Les auteurs mesurent la précision sur des benchmarks (ARC-Challenge, ARC-Easy, HellaSwag, Winogrande, TruthfulQA) tout en annulant progressivement les activations neuronales les moins performantes au sein des experts actifs. Ils distinguent les « experts routés » (sélectionnés par le routeur) des « experts partagés » (toujours actifs).
Observation des Caractéristiques de Sparsité : L'analyse révèle que les sorties d'activation dans les couches FFN des modèles MoE suivent une distribution à longue traîne. Une fraction significative de neurones produit des activations proches de zéro, permettant une sparsité substantielle (jusqu'à 90 %) avec une perte de précision minimale. L'étude constate que les neurones d'experts partagés ont un impact par neurone plus élevé sur la précision que les neurones d'experts routés ; dans de grands modèles comme Qwen3.5-122B-A10B, le maintien de tous les neurones d'experts partagés actifs tout en n'activant que ~2 % des neurones d'experts routés suffit à préserver la capacité du modèle.
Implémentation Système dans vLLM : Les auteurs intègrent cette sparsité dans le système d'inférence de niveau production vLLM. L'implémentation modifie le pipeline d'exécution des experts routés tout en préservant l'exécution des experts partagés et la logique du routeur pour maintenir la compatibilité avec le parallélisme des experts et les optimisations existantes (Graphes HIP, Graphes CUDA, fusion de noyaux).
- Projection de Porte : Exécutée de manière dense en utilisant un noyau de multiplication matricielle par lots (BMM) pour déterminer les scores d'activation.
- Masquage d'Activation : Un noyau Triton personnalisé effectue un masquage basé sur un seuil en un seul passage ( $O(n)$ ), évitant le coût computationnel du tri top-k ( $O(n \log n)$ ).
- Projection Up-Down Fusionnée : Un noyau sparse personnalisé rassemble les poids uniquement pour les neurones actifs, les regroupe dans une matrice dense en mémoire partagée et effectue une multiplication matrice-vecteur dense. Cette approche équilibre l'irrégularité de l'accès sparse avec le débit des accélérateurs matériels denses.
- Commutation Dynamique : Pour gérer le compromis entre l'exécution sparse à faible latence et l'exécution dense à haut débit, le système commute dynamiquement entre les chemins de code sparse et dense en fonction de la taille du lot.

Contributions Clés

Découverte de la Sparsité Intra-Expert : L'article démontre qu'une sparsité d'activation intra-expert substantielle est facilement disponible dans les modèles MoE pré-entraînés existants, sans aucune modification des paramètres du modèle ou des fonctions d'activation.
Intégration Système : Les auteurs redessinent le pipeline d'exécution MoE de vLLM pour exploiter efficacement à la fois la sparsité inter-expert et intra-expert sur les GPU, maintenant un support complet des fonctionnalités de niveau production telles que le parallélisme des experts et la capture de graphes.
Évaluation des Performances : Le travail fournit une évaluation complète à travers différentes échelles de modèles et matériels (AMD MI355X, NVIDIA H200, RTX4090), établissant la viabilité pratique de cette optimisation.

Résultats

Niveaux de Sparsité : L'étude identifie des seuils de sparsité où les modèles conservent 95 % de leur précision de base. Par exemple, le plus grand modèle testé (Llama-4-Maverick) conserve sa précision avec jusqu'à 90,8 % de sparsité intra-expert, tandis que des modèles plus petits comme Granite-1B-A400M la conservent à 26,5 %.
Accélération par Couche : L'exécution sparse intra-expert atteint jusqu'à 2,5× d'accélération dans l'exécution de la couche MoE par rapport à la base dense de vLLM. L'accélération est la plus prononcée sur du matériel aux ressources contraintes (par exemple, RTX4090) et pour des modèles plus grands (Qwen3.5-122B-A10B), où les goulots d'étranglement mémoire et de calcul sont plus sévères.
Accélération de Bout en Bout : En raison de la loi d'Amdahl (la couche MoE constituant environ 45 % du temps d'exécution total), l'accélération d'inférence de bout en bout est plus modeste, atteignant jusqu'à 1,2× sur H200 et 1,1× sur MI355X. Les bénéfices sont les plus significatifs pour les charges de travail limitées par la latence (par exemple, des scénarios lourds en décodage avec de petites tailles de lot).
Préservation de la Précision : L'approche basée sur un seuil maintient 95 % de la note moyenne des benchmarks de base jusqu'aux seuils de sparsité identifiés (par exemple, 85 % de sparsité cible pour Qwen3.5-35B-A3B).

Signification
L'article positionne la sparsité d'activation intra-expert comme une technique d'optimisation pratique et complémentaire à la sparsité inter-expert. Elle répond aux limites de la poussée de la sparsité inter-expert plus loin en exploitant la redondance inhérente au sein du FFN dense de chaque expert sélectionné. Les auteurs affirment que ce travail jette les bases de futures recherches sur les LLM efficaces, offrant une méthode pour réduire les coûts de service des grands modèles MoE sans nécessiter de réentraînement ni de changements architecturaux. L'intégration dans vLLM démontre qu'une telle sparsité peut être utilisée efficacement dans des systèmes de production haute performance, comblant le fossé entre la sparsité théorique et le débit réalisé.