💬 NLP

SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference

SpenseGPT introduceert een praktische one-shot pruning-methode die gebruikmaakt van een hybride sparse-dense gewichtsformaat om tot 1,2x end-to-end LLM-decoderingsversnelling op B200 GPU's te bereiken terwijl de modelnauwkeurigheid behouden blijft, waarmee de beperkingen van strikte semi-gestructureerde sparsity worden overwonnen zonder dat aangepaste compilerondersteuning vereist is.

Oorspronkelijke auteurs: Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

Gepubliceerd 2026-06-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk slimme bibliotheek hebt (een Large Language Model, of LLM) die computers helpt bij het schrijven van code, het oplossen van wiskundige problemen en het opvolgen van instructies. Om deze bibliotheek snel te laten draaien op moderne computers, proberen ingenieurs deze bibliotheek te "prunen" (snoeien)—het verwijderen van onnodige boeken om het lichter en sneller te maken.

Er is echter een addertje onder het gras: de snelste manier om deze boeken te lezen op nieuwe computerchips (zoals NVIDIA's B200) vereist een zeer strikte regel: voor elke vier boeken op een plank, moeten er precies twee leeg zijn. Dit wordt "2:4 sparsity" genoemd.

Het Probleem: De Strikte Regel

Het probleem met deze strikte regel is dat het lijkt op het inpakken van een koffer waarbij je moet precies de helft van de ruimte leeg laat. Als je gewoon willekeurig de helft van de boeken weggooit om aan de regel te voldoen, verlies je belangrijke informatie en stopt de bibliotheek goed te functioneren. De computer wordt weliswaar snel, maar de antwoorden die hij geeft worden onzinnig of foutief.

Andere onderzoekers probeerden dit op te lossen door de regels flexibeler te maken, maar hun oplossingen waren als het bouwen van een op maat gemaakte, dure motor die alleen werkt met een specif kind type brandstof, of ze voegden zoveel extra werk (overhead) toe dat de snelheidswinst verdween.

De Oplossing: Spense (De Hybride Boekenplank)

De auteurs van dit artikel stellen een nieuwe methode voor genaamd Spense. In plaats van de gehele bibliotheek te dwingen de strikte "twee leeg, twee vol" regel te volgen, verdelen ze de planken in twee zones:

De Sparse Zone (De Schrale Zone): Hier volgen ze de strikte regel (2 van de 4 boeken worden verwijderd). Deze zone krijgt de snelheidssprong van de speciale hardware van de computer.
De Dense Zone (De Dichte Zone): Hier houden ze alle boeken aan. Geen boeken worden verwijderd. Deze zone behoudt de belangrijkste informatie.

Denk aan het als een hybride auto. De "Sparse Zone" is de elektromotor (super efficiënt voor cruisen), en de "Dense Zone" is de benzinemotor (krachtig wanneer je een heuvel op moet klimmen). Door deze te combineren, krijg je het beste van beide werelden: snelheid zonder verlies van kracht.

Het Geheim: Kiezen Wat Je Bewaart

Het lastige deel is beslissen welke boeken in de "Dense Zone" gaan en welke worden weggegooid. De auteurs ontdekten dat deze keuze cruciaal is. Als je de verkeerde boeken bewaart, faalt de bibliotheek nog steeds.

Ze ontwikkelden twee strategieën om deze keuze te maken:

SpenseGPT (De Simpele Strategie): Stel je voor dat de boeken in een lijn zijn gerangschikt. Deze methode zegt: "Laten we de laatste 25% van de boeken op de plank zoals ze zijn houden (Dense), en de eerste 75% snoeien (Sparse)." Het blijkt dat deze simpele "snij aan het einde" aanpak verrassend goed werkt vanwege de manier waarop de pruning-wiskunde wordt berekend.
SpenseGPT+ (De Slimme Strategie): Dit is alsof je een bibliothecaris inhuurt die elk boek leest om te zien welke het belangrijkst zijn. Het berekent een "score" voor elk boek op basis van hoeveel het bijdraagt aan het uiteindelijke antwoord. Het houdt de boeken met de hoogste score in de "Dense Zone", waardoor de meest kritieke kennis nooit verloren gaat.

De Resultaten: Snel en Accuraat

Het team heeft dit getest op twee zeer grote, slimme modellen (Qwen3-32B en Seed-OSS-36B) met behulp van de nieuwste, supersnelle computerchips (B200 GPU's).

Snelheid: Ze bereikten een 1.2x versnelling in real-world gebruik. Dit betekent dat de computer antwoorden merkbaar sneller kan genereren dan voorheen.
Nauwkeurigheid: In tegen tegenstelling tot andere methoden die de modellen "dom" maakten, hield Spense de modellen slim. Ze presteerden net zo goed op moeilijke taken zoals wiskundige redenering, coderen en het opvolgen van instructies als de originele, niet-gesnoeide modellen.
Praktische bruikbaarheid: Cruciaal is dat deze methode geen nieuwe, aangepaste computersoftware (compilers) vereist. Het werkt met de standaard, hoog geoptimaliseerde tools die al op deze chips aanwezig zijn.

Samenvatting

Kortom, het artikel introduceert een manier om AI-modellen sneller te maken zonder ze minder slim te maken. In plaats van de hele methode te dwingen "half-leeg" te zijn (wat het kapot maakt), hebben ze een hybride systeem gecreëerd: een deel van het model is afgestript voor snelheid, en het belangrijkste deel wordt volledig behouden voor nauwkeurigheid. Hierdoor kunnen moderne computers deze gigantische AI-breinen sneller dan ooit aansturen, met behulp van tools die al beschikbaar zijn.

Technische Samenvatting: SpenseGPT: Praktische One-shot Pruning voor Sparse en Dense GEMMs in LLM Inference

1. Probleemstelling

Semi-gestructureerde 2:4 sparsity (waarbij twee van de vier opeenvolgende gewichten tot nul worden gepruned) wordt breed ondersteund door moderne versnellers (bijv. NVIDIA B200, AMD GPU's, Meta MTIAs) en biedt een theoretische versnelling van 2× door hardware toe te staan om berekeningen met gewichten van nul over te slaan. De praktische adoptie voor Large Language Model (LLM) inference staat echter voor twee primaire hindernissen:

Strikte Nauwkeurigheidsdegradatie: De rigide 2:4 constraint leidt vaak tot aanzienlijk verlies aan nauwkeurigheid bij post-training pruning, met name op taken gerelateerd aan redeneren en instructie-opvolging, tenzij uitgebreide hertraining wordt uitgevoerd.
Impraktische Bestaande Relaxaties: Recente werken die proberen de 2:4 constraint te versoepelen (bijv. PATCH, SlideSparse) lijden aan kritieke beperkingen. PATCH vereist gespecialiseerde compiler-ondersteuning (Triton) die nog niet breed beschikbaar is, terwijl SlideSparse input-activatie expansie vereist, wat runtime-overhead introduceert die de end-to-end versnellingen tenietdoet, vooral voor grote sequentielengtes ( $M$ ).

2. Methodologie

Het paper stelt Spense voor, een praktisch hybride sparse-dense formaat, en SpenseGPT, een one-shot post-training pruning methode gebouwd op dit formaat.

A. Het Spense Formaat
In plaats van 2:4 sparsity af te dwingen over de gehele gewichtsmatrix, splitst Spense elke gewichtsmatrix in twee aaneengesloten regio's:

Een dense regio (behoudt $p\%$ van de gewichten).
Een 2:4 sparse regio (gepruned met standaard 2:4 sparsity).

Dit ontwerp maakt gebruik van bestaande, hoog geoptimaliseerde GEMM-libraries (bijv. cuSPARSELt voor sparse en cuBLASLt voor dense op NVIDIA GPU's) zonder dat er aangepaste compilers of input-activatie expansie nodig zijn. De auteurs implementeren twee varianten:

Output-split: Splitst de output-tensor, waarbij sparse GEMM wordt gebruikt voor één deel en dense GEMM voor het andere deel.
Input-split: Splitst de input-tensor, waarbij het eerste deel wordt verwerkt met sparse GEMM en het tweede deel met dense GEMM (met accumulatie).
Voor GLU-variant MLP's gebruiken de auteurs output-split voor $W_{up}$ en $W_{gate}$ , en input-split voor $W_{down}$ .

B. Strategieën voor Dense Index Selectie
Een cruciaal inzicht is dat welke tussenliggende indices dicht blijven, de modelkwaliteit aanzienlijk beïnvloedt. Het paper identificeert dat tussenliggende indices in GLU-stijl MLP's gepermuteerd kunnen worden zonder de wiskundige output te veranderen, waardoor het mogelijk is om specifieke indices te selecteren om dicht te blijven voordat ze worden geherordend naar een aaneengesloten blok voor executie. Er worden twee strategieën voorgesteld:

SpenseGPT (Eenvoudige Strategie): Selecteert de laatste $p\%$ van de tussenliggende indices om dicht te blijven. Dit sluit aan bij de kolomgewijze verwerkingsvolgorde van SparseGPT, waarbij verwerkte kolommen worden bevroren en reconstructiefouten worden gecompenseerd door de resterende kolommen naar rechts toe bij te werken. Het dicht houden van kolommen aan de rechterkant biedt een "compensatiebuffer".
SpenseGPT+ (Loss-Aware Strategie): Selecteert dense indices op basis van een geschatte reconstructie-loss. Geïnspireerd door Wanda, berekent het een belangrijkscorescore voor elke tussenliggende index door bijdragen over de gate, up, en down projecties te aggregeren. De score combineert gewichtsmagnitude en input-activatiemagnitude ( $S_{ij} = |W_{ij}|\sqrt{H_{j,j}}$ ). De hoogst scorende indices worden geselecteerd om dicht te blijven, en vervolgens gepermuteerd naar de aaneengesloten regio voordat SparseGPT wordt toegepast op de resterende sparse regio's.

3. Belangrijkste Bijdragen

Spense Formaat: Een hybride sparse-dense formaat dat de strikte 2:4 sparsity versoepelt terwijl de compatibiliteit met bestaande hoog-presterende sparse en dense GEMM-libraries behouden blijft, waardoor de noodzaak voor aangepaste compiler-ondersteuning of input-expansie wordt vermeden.
Belang van Dense Selectie: Demonstratie dat de selectie van dense indices een cruciale factor is voor het behoud van de modelkwaliteit, waarbij naïeve selectie leidt tot ernstige prestatievermindering.
Pruning Strategieën: Introductie van SpenseGPT (aaneengesloten staartselectie) en SpenseGPT+ (reconstructie-loss-gebaseerde selectie) voor one-shot pruning.
Real-World Versnelling: De eerste demonstratie van one-shot pruning die real-world end-to-end LLM decoding versnelling bereikt op recente GPU's (B200) met behulp van semi-gestructureerde sparse tensor cores terwijl de modelkwaliteit behouden blijft.

4. Experimentele Resultaten

De methoden werden geëvalueerd op Qwen3-32B en Seed-OSS-36B met FP8 precisie op B200 GPU's met het VLLM framework. De benchmarks omvatten AIME (wiskunde), GPQA (kennis), IFEval (instructie-opvolging) en LiveCodeBench (coderen).

Behoud van Nauwkeurigheid:
- Strikte 2:4 pruning (50% sparsity) veroorzaakte aanzienlijke nauwkeurigheidsdalingen (bijv. de gemiddelde score van Seed-OSS-36B daalde van 73.86 naar 65.18 met SparseGPT).
- SpenseGPT+ bij 25% sparsity behaalde een gemiddelde score van 73.12 op Seed-OSS-36B, wat bijna gelijk is aan de dense baseline (73.86).
- Op Qwen3-32B bereikte SpenseGPT+ bij 25% sparsity een score van 70.76, dicht bij de dense baseline van 71.68.
- Vergelijkingen toonden aan dat SpenseGPT+ significant beter presteerde dan SpenseGPT en andere baselines (HyperPrune, Wanda) door correcte selectie van dense indices.
End-to-End Versnelling:
- Spense behaalde tot wel 1.2× end-to-end decoding versnelling ten opzichte van de dense baseline op B200 GPU's.
- In tegenstelling hiertoe bood SlideSparse geen significante versnelling vanwege de non-GEMM overhead door input-activatie expansie.
Efficiëntie:
- Het prunen van 32B–36B modellen duurde ongeveer 1.33–2.15 uur op een enkele B200 GPU, vergelijkbaar met SparseGPT en veel sneller dan HyperPrune. ProxSparse liep buiten het geheugen (out of memory) op deze modellen.

5. Betekenis en Claims

Het paper claimt de eerste one-shot pruning demonstratie te presenteren van real-world end-to-end LLM decoding versnelling afgeleid van semi-gestructureerde sparse tensor cores op recente hardware (specifiek B200 GPU's) terwijl de modelkwaliteit behouden blijft.

De auteurs benadrukken dat hun aanpak de kloof overbrugt tussen theoretische hardware-acceleratie en praktische implementatie. Door de noodzaak voor gespecialiseerde compilers of input-expansie te vermijden, maakt Spense directe benutting van bestaande geoptimaliseerde libraries mogelijk. Het werk benadrukt dat het simpelweg versoepelen van de sparsity constraint onvoldoende is; de strategie voor het selecteren van welke gewichten dicht blijven, is essentieel voor het behoud van de redeneer- en instructie-opvolgingscapaciteiten van het model.

Erkende Beperkingen:

De versnelling is afhankelijk van de efficiëntie van de onderliggende GEMM-libraries en varieert met batch size, sequentielengte en hardware.
SpenseGPT+ vertrouwt op kalibratiedata; als de distributie tijdens de inzet (deployment) significant verschilt van de kalibratieset, zijn de geselecteerde dense indices mogelijk niet optimaal.