💬 NLP

SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference

SpenseGPT introduit une méthode de l'élagage pratique en une seule étape qui utilise un format de poids hybride clairsemé-dense pour atteindre une accélération du décodage de LLM allant jusqu'à 1,2x sur les GPU B200 tout en maintenant la précision du modèle, surmontant ainsi les limitations de la parcimonie semi-structurée stricte sans nécessiter de support de compilateur personnalisé.

Auteurs originaux : Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive et incroyablement intelligente (un grand modèle de langage, ou LLM) qui aide les ordinateurs à écrire du code, à résoudre des problèmes mathématiques et à suivre des instructions. Pour faire fonctionner cette bibliothèque rapidement sur les ordinateurs modernes, les ingénieurs essaient de l'« élaguer » — en supprimant les livres inutiles pour la rendre plus légère et plus rapide.

Cependant, il y a un piège : pour lire ces livres rapidement sur les nouvelles puces informatiques (comme le B200 de NVIDIA), il faut suivre une règle très stricte : pour quatre livres sur une étagère, exactement deux doivent être vides. C'est ce qu'on appelle la « sparsité 2:4 ».

Le Problème : La Règle Stricte

Le problème avec cette règle stricte, c'est qu'elle revient à essayer de remplir une valise où l'on doit laisser exactement la moitié de l'espace vide. Si vous jetez simplement la moitié des livres au hasard pour respecter la règle, vous perdez des informations importantes et la bibliothèque cesse de bien fonctionner. L'ordinateur devient rapide, mais les réponses qu'il donne deviennent absurdes ou erronées.

D'autres chercheurs ont essayé de corriger cela en rendant les règles plus flexibles, mais leurs solutions ressemblaient à la construction d'un moteur sur mesure et coûteux qui ne fonctionne qu'avec un type de carburant spécifique, ou ils ont ajouté tellement de travail supplémentaire (surcoût) que le gain de vitesse s'est évaporé.

La Solution : Spense (L'Étagère Hybride)

Les auteurs de cet article proposent une nouvelle méthode appelée Spense. Au lieu de forcer l'entière bibliothèque à suivre la règle stricte du « deux vides, deux pleins », ils divisent les étagères en deux zones :

La Zone Sparse (Creuse) : Ici, ils suivent la règle stricte (2 livres sur 4 sont supprimés). Cette zone bénéficie de l'accélération matérielle de l'ordinateur.
La Zone Dense : Ici, ils gardent tous les livres. Aucun livre n'est supprimé. Cette zone préserve l'information la plus importante.

Voyez cela comme une voiture hybride. La « Zone Sparse » est le moteur électrique (ultra efficace pour la croisière), et la « Zone Dense » est le moteur à essence (puissant quand vous devez grimper une colline). En combinant les deux, vous obtenez le meilleur des deux mondes : de la vitesse sans perdre de puissance.

Le Secret : Choisir ce qu'il faut Garder

La partie délicate consiste à décider quels livres vont dans la « Zone Dense » et lesquels seront jetés. Les auteurs ont découvert que ce choix est crucial. Si vous choisissez les mauvais livres à garder, la bibliothèque échouera malgré tout.

Ils ont développé deux stratégies pour faire ce choix :

SpenseGPT (La Stratégie Simple) : Imaginez que les livres sont disposés en ligne. Cette méthode dit : « Gardons les derniers 25 % des livres sur l'étagère tels quels (Denses), et élaguons les 75 % restants (Sparse). » Il s'avère que cette approche simple de « coupe à la fin » fonctionne étonnamment bien en raison de la manière dont le calcul de l'élagage est effectué.
SpenseGPT+ (La Stratégie Intelligente) : C'est comme embaucher un bibliothécaire qui lit chaque livre pour voir lesquels sont les plus importants. Il calcule un « score » pour chaque livre en fonction de sa contribution à la réponse finale. Il garde les livres ayant les scores les plus élevés dans la Zone Dense, garantissant que les connaissances les plus critiques ne soient jamais perdues.

Les Résultats : Rapide et Précis

L'équipe a testé cela sur deux modèles très grands et intelligents (Qwen3-32B et Seed-OSS-36B) en utilisant les puces informatiques les plus rapides du moment (GPU B200).

Vitesse : Ils ont obtenu une accélération de 1,2x en usage réel. Cela signifie que l'ordinateur peut générer des réponses sensiblement plus vite qu'avant.
Précision : Contrairement aux autres méthodes qui rendaient les modèles « bêtes », Spense a permis aux modèles de rester intelligents. Ils ont performé aussi bien sur des tâches difficiles comme le raisonnement mathématique, le codage et le suivi d'instructions que les modèles originaux non élagués.
Praticité : Crucialement, cette méthode ne nécessite pas la création de nouveaux logiciels informatiques personnalisés (compilateurs). Elle fonctionne avec les outils standards et hautement optimisés qui existent déjà sur ces puces.

Résumé

En bref, l'article présente un moyen de rendre les modèles d'IA plus rapides sans les rendre moins intelligents. Au lieu de forcer tout le modèle à être « à moitié vide » (ce qui le brise), ils ont créé un système hybride : une partie du modèle est épurée pour la vitesse, et la partie la plus importante est conservée pleine pour la précision. Cela permet aux ordinateurs modernes de faire fonctionner ces cerveaux d'IA géants plus rapidement que jamais, en utilisant des outils qui sont déjà disponibles.

Résumé Technique : SpenseGPT : Élaguement (Pruning) One-shot pratique pour les GEMM creux et denses dans l'inférence de LLM

1. Énoncé du Problème

La parcité semi-structurée 2:4 (où deux poids sur quatre consécutifs sont élagués à zéro) est largement supportée par les accélérateurs modernes (par exemple, NVIDIA B200, GPU AMD, Meta MTIAs) et offre une accélération théorique de 2× en permettant au matériel de sauter les calculs de poids nuls. Cependant, l'adoption pratique pour l'inférence des Grands Modèles de Langage (LLM) fait face à deux obstacles majeurs :

Dégradation stricte de la précision : La contrainte rigide de parcité de 50 % entraîne souvent une perte de précision significative lors de l'élaguement post-entraînement, particulièrement sur les tâches de raisonnement et de suivi d'instructions, à moins d'effectuer un réentraînement intensif.
Impracticabilité des relaxations existantes : Des travaux récents tentant de relaxer la contrainte 2:4 (par exemple, PATCH, SlideSparse) souffrent de limitations critiques. PATCH nécessite un support de compilateur spécialisé (Triton) qui n'est pas encore largement disponible, tandis que SlideSparse nécessite une expansion des activations d'entrée, introduisant des surcoûts de temps d'exécution qui annulent les gains de vitesse de bout en bout, surtout pour les séquences longues ( $M$ ).

2. Méthodologie

Le papier propose Spense, un format hybride creux-dense pratique, et SpenseGPT, une méthode d'élaguement post-entraînement one-shot basée sur celui-ci.

A. Le Format Spense
Au lieu d'imposer une parcité 2:4 sur l'ensemble de la matrice de poids, Spense divise chaque matrice de poids en deux régions contiguës :

Une région dense (conservant $p\%$ des poids).
Une région creuse 2:4 (élaguée avec une parcité 2:4 standard).

Cette conception exploite les bibliothèques GEMM existantes et hautement optimisées (par exemple, cuSPARSELt pour le creux et cuBLASLt pour le dense sur les GPU NVIDIA) sans nécessiter de compilateurs personnalisés ou d'expansion des activations d'entrée. Les auteurs implémentent deux variantes :

Output-split (Division par sortie) : Divise le tenseur de sortie, utilisant un GEMM creux pour une partie et un GEMM dense pour l'autre.
Input-split (Division par entrée) : Divise le tenseur d'entrée, traitant la première partie avec un GEMM creux et la seconde avec un GEMM dense (avec accumulation).
Pour les variantes de MLP de type GLU, les auteurs utilisent l'output-split pour $W_{up}$ et $W_{gate}$ , et l'input-split pour $W_{down}$ .

B. Stratégies de Sélection d'Indices Denses
Une intuition cruciale est que quels indices intermédiaires sont conservés en mode dense impacte significativement la qualité du modèle. Le papier identifie que les indices intermédiaires dans les MLP de type GLU peuvent être permutés sans changer le résultat mathématique, permettant la sélection d'indices spécifiques pour rester denses avant de les réorganiser en un bloc contigu pour l'exécution. Deux stratégies sont proposées :

SpenseGPT (Stratégie Simple) : Sélectionne les derniers $p\%$ des indices intermédiaires pour rester denses. Cela s'aligne sur l'ordre de traitement par colonnes de SparseGPT, où les colonnes traitées sont gelées et les erreurs de reconstruction sont compensées en mettant à jour les colonnes restantes vers la droite. Garder les colonnes denses sur la droite fournit un « tampon de compensation ».
SpenseGPT+ (Stratégie Sensible à la Perte) : Sélectionne les indices denses en fonction d'une estimation de la perte de reconstruction. Inspiré de Wanda, il calcule un score d'importance pour chaque indice intermédiaire en agrégeant les contributions à travers les projections gate, up et down. Le score combine la magnitude du poids et la magnitude de l'activation d'entrée ( $S_{ij} = |W_{ij}|\sqrt{H_{j,j}}$ ). Les indices ayant les scores les plus élevés sont sélectionnés pour rester denses, puis permutés vers la région contiguë avant d'appliquer SparseGPT aux régions creuses restantes.

3. Contributions Clés

Format Spense : Un format hybride creux-dense qui relaxe la contrainte stricte de 2:4 tout en maintenant la compatibilité avec les bibliothèques GEMM performantes existantes, évitant ainsi le besoin de compilateurs spécialisés ou de surcoûts d'expansion d'activation.
Importance de la Sélection Dense : Démonstration que la sélection des indices denses est un facteur critique pour maintenir la qualité du modèle, une sélection naïve entraînant de sévères chutes de performance.
Stratégies d'Élagage : Introduction de SpenseGPT (sélection de queue contiguë) et SpenseGPT+ (sélection basée sur la perte de reconstruction) pour l'élaguement one-shot.
Accélération Réelle : Première démonstration d'un élaguement one-shot atteignant des accélérations de décodage LLM de bout en bout sur des GPU récents (B200) en utilisant des Tensor Cores creux semi-structurés tout en préservant la qualité du modèle.

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur Qwen3-32B et Seed-OSS-36B en précision FP8 sur des GPU B200 avec le framework VLLM. Les benchmarks incluaient AIME (mathématiques), GPQA (connaissances), IFEval (suivi d'instructions) et LiveCodeBench (codage).

Préservation de la Précision :
- L'élaguement 2:4 strict (parcité de 50 %) a causé des chutes de précision significatives (par exemple, le score moyen de Seed-OSS-36B est passé de 73,86 à 65,18 avec SparseGPT).
- SpenseGPT+ à 25 % de parcité a atteint un score moyen de 73,12 sur Seed-OSS-36B, égalant presque la base dense (73,86).
- Sur Qwen3-32B, SpenseGPT+ à 25 % de parcité a atteint 70,76, proche de la base dense de 71,68.
- Les comparaisons ont montré que SpenseGPT+ surpasse nettement SpenseGPT et d'autres bases (HyperPrune, Wanda) en sélectionnant correctement les indices denses.
Accélération de Bout en Bout :
- Spense a atteint jusqu'à 1,2× d'accélération de décodage de bout en bout par rapport à la base dense sur des GPU B200.
- En revanche, SlideSparse n'a pas fourni d'accélération significative en raison des surcoûts non-GEMM liés à l'expansion des activations d'entrée.
Efficacité :
- L'élaguement des modèles 32B–36B a pris environ 1,33–2,15 heures sur un seul GPU B200, comparable à SparseGPT et bien plus rapide qu'HyperPrune. ProxSparse a épuisé la mémoire sur ces modèles.

5. Signification et Revendications

Le papier affirme présenter la première démonstration d'élaguement one-shot d'accélérations de décodage LLM de bout en bout dans le monde réel, dérivées de Tensor Cores creux semi-structurés sur du matériel récent (spécifiquement les GPU B200) tout en maintenant la qualité du modèle.

Les auteurs soulignent que leur approche comble le fossé entre l'accélération matérielle théorique et le déploiement pratique. En évitant le besoin de compilateurs spécialisés ou d'expansion d'entrée, Spense permet l'utilisation immédiate de bibliothèques optimisées existantes. Ce travail met en évidence que simplement relaxer la contrainte de parcité est insuffisant ; la stratégie de sélection des poids qui restent denses est primordiale pour préserver les capacités de raisonnement et de suivi d'instructions du modèle.

Limites Reconnues :

L'accélération dépend de l'efficacité des bibliothèques GEMM sous-jacentes et varie selon la taille du batch, la longueur de la séquence et le matériel.
SpenseGPT+ repose sur des données de calibration ; si la distribution de déploiement diffère significativement de l'ensemble de calibration, les indices denses sélectionnés peuvent ne pas être optimaux.