💬 NLP

SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference

SpenseGPT führt eine praktische One-Shot-Pruning-Methode ein, die ein hybrides Sparse-Dense-Gewichtsformat nutzt, um eine bis zu 1,2-fache End-to-End-LLM-Dekodierungsbeschleunigung auf B200-GPUs zu erreichen, während die Modellgenauigkeit beibehalten wird und die Einschränkungen strikter semistrukturierter Sparsity ohne die Notwendigkeit einer speziellen Compiler-Unterstützung überwunden werden.

Ursprüngliche Autoren: Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

Veröffentlicht 2026-06-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, unglaublich kluge Bibliothek (ein Large Language Model oder LLM), die Computern hilft, Code zu schreiben, mathematische Probleme zu lösen und Anweisungen zu befolgen. Um diese Bibliothek auf modernen Computern schnell laufen zu lassen, versuchen Ingenieure sie zu „beschneiden“ (Pruning) – also unnötige Bücher zu entfernen, um sie leichter und schneller zu machen.

Es gibt jedoch einen Haken: Die schnellste Art, diese Bücher auf neuen Computerchips (wie NVIDIAs B200) zu lesen, erfordert eine sehr strikte Regel: Für alle vier Bücher im Regal müssen genau zwei leer sein. Dies wird als „2:4-Sparsity“ bezeichnet.

Das Problem: Die strikte Regel

Das Problem mit dieser strikten Regel ist, dass es ist, als würde man versuchen, einen Koffer zu packen, bei dem man zwingend die Hälfte des Platzes leer lassen muss. Wenn man einfach wahllos die Hälfte der Bücher wegwirft, um die Regel zu erfüllen, verliert man wichtige Informationen, und die Bibliothek funktioniert nicht mehr gut. Der Computer wird zwar schnell, aber die Antworten, die er gibt, werden albern oder falsch.

Andere Forscher haben versucht, dies zu beheben, indem sie die Regeln flexibler gestalteten, aber ihre Lösungen waren wie ein maßgeschneiderter, teurer Motor, der nur mit einem ganz bestimmten Kraftstoff funktioniert, oder sie fügten so viel zusätzliche Arbeit (Overhead) hinzu, dass der Geschwindigkeitsgewinn wieder verschwand.

Die Lösung: Spense (Das Hybrid-Regal)

Die Autoren dieses Papers schlagen eine neue Methode namens Spense vor. Anstatt zu verlangen, dass das gesamte Modell der strikten „zwei leer, zwei voll“-Regel folgt, teilen sie die Regale in zwei Zonen auf:

Die Sparse-Zone (Dünne Zone): Hier folgen sie der strikten Regel (2 von 4 Büchern werden entfernt). Diese Zone profitiert vom Geschwindigkeitsvorteil der speziellen Hardware.
Die Dense-Zone (Dichte Zone): Hier behalten sie alle Bücher bei. Keine Bücher werden entfernt. Diese Zone bewahrt die wichtigsten Informationen.

Man kann es sich wie ein Hybridauto vorstellen. Die „Sparse-Zone“ ist der Elektromotor (super effizient beim Gleiten), und die „Dense-Zone“ ist der Benzinmotor (kraftvoll, wenn man einen Hügel hochfahren muss). Durch die Kombination beider erhalten Sie das Beste aus beiden Welten: Geschwindigkeit ohne den Verlust von Leistung.

Das Geheimnis: Die Entscheidung, was man behält

Der knifflige Teil ist die Entscheidung, welche Bücher in die „Dense-Zone“ kommen und welche weggeworfen werden. Die Autoren fanden heraus, dass diese Wahl entscheidend ist. Wenn man die falschen Bücher behält, scheitert das Modell dennoch.

Sie entwickelten zwei Strategien, um diese Wahl zu treffen:

SpenseGPT (Die einfache Strategie): Stellen Sie sich vor, die Bücher sind in einer Reihe angeordnet. Diese Methode besagt: „Lassen wir die letzten 25 % der Bücher im Regal so, wie sie sind (Dense), und beschneiden wir die ersten 77,5 % (Sparse).“ Es stellt sich heraus, dass dieser einfache „Schnitt am Ende“-Ansatz überraschend gut funktioniert, da er mit der Mathematik hinter dem Pruning übereinstimmt.
SpenseGPT+ (Die intelligente Strategie): Dies ist, als würde man einen Bibliothekar engagieren, der jedes Buch liest, um zu sehen, welches am wichtigsten ist. Er berechnet einen „Score“ für jedes Buch basierend darauf, wie viel es zum Endergebnis beiträgt. Er behält die am höchsten bewerteten Bücher in der Dense-Zone und stellt so sicher, dass das kritischste Wissen niemals verloren geht.

Die Ergebnisse: Schnell und präzise

Das Team testete dies an zwei sehr großen, intelligenten Modellen (Qwen3-32B und Seed-OSS-36B) unter Verwendung der neuesten, superschnellen Computerchips (B200 GPUs).

Geschwindigkeit: Sie erreichten eine 1,2-fache Beschleunigung in der realen Anwendung. Das bedeutet, der Computer kann Antworten spürbar schneller generieren als zuvor.
Genauigkeit: Im Gegensatz zu anderen Methoden, die die Modelle „dumm“ machten, hielt Spense die Modelle intelligent. Sie schnitten bei schwierigen Aufgaben wie mathematischem Denken, Programmieren und dem Befolgen von Anweisungen genauso gut ab wie die ursprünglichen, unbeschnittenen Modelle.
Praktikabilität: Entscheidend ist, dass diese Methode keine neue, maßgeschneiderte Computer-Software (Compiler) erfordert. Sie funktioniert mit den bereits existierenden, hochoptimierten Werkzeugen, die auf diesen Chips vorhanden sind.

Zusammenfassung

Kurz gesagt führt das Paper eine Methode ein, um KI-Modelle schneller zu machen, ohne sie weniger intelligent zu machen. Anstatt das gesamte Modell dazu zu zwingen, „halb leer“ zu sein (was es zerstören würde), haben sie ein Hybridsystem geschaffen: Ein Teil des Modells wird für die Geschwindigkeit reduziert, und der wichtigste Teil bleibt vollständig erhalten. Dies ermöglicht es modernen Computern, diese riesigen KI-Gehirne schneller als je zuvor zu betreiben, und zwar mit Werkzeugen, die bereits verfügbar sind.

Technisches Resümee: SpenseGPT: Praktisches One-Shot-Pruning für spärliche und dichte GEMMs in der LLM-Inferenz

1. Problemstellung

Semi-strukturierte 2:4-Sparsity (bei der zwei von jeweils vier aufeinanderfolgenden Gewichten auf Null gesetzt werden) wird von modernen Beschleunigern (z. B. NVIDIA B200, AMD GPUs, Meta MTIAs) weitgehend unterstützt und bietet eine theoretische 2×-Beschleunigung, da die Hardware Berechnungen mit Null-Gewichten überspringen kann. Die praktische Anwendung für die Inferenz von Large Language Models (LLMs) steht jedoch vor zwei primären Hürden:

Starke Genauigkeitsverluste: Die starre 2:4-Sparsity-Beschränkung führt oft zu einem signifikanten Genauigkeitsverlust beim Post-Training-Pruning, insbesondere bei Aufgaben der logischen Schlussfolgerung (Reasoning) und Befolgung von Instruktionen (Instruction-Following), sofern keine umfangreichen Retrainings durchgeführt werden.
Unpraktikabilität bestehender Relaxierungen: Jüngste Arbeiten, die versuchen, die 2:4-Beschränkung zu lockern (z. B. PATCH, SlideSparse), leiden unter kritischen Einschränkungen. PATCH erfordert eine spezialisierte Compiler-Unterstützung (Triton), die noch nicht weit verbreitet ist, während SlideSparse eine Expansion der Input-Aktivierungen erfordert, was Runtime-Overheads einführt, die die End-to-End-Beschleunigungen, insbesondere bei großen Sequenzlängen ( $M$ ), zunichtemachen.

2. Methodik

Das Paper schlägt Spense vor, ein praktisches hybrides spärliches-dichtes Format, und SpenseGPT, eine darauf aufbauende One-Shot Post-Training-Pruning-Methode.

A. Das Spense-Format
Anstatt eine 2:4-Sparsity über die gesamte Gewichtsmatrix zu erzwingen, unterteilt Spense jede Gewichtsmatrix in zwei zusammenhängende Regionen:

Eine dichte Region (behält $p\%$ der Gewichte).
Eine 2:4-spärliche Region (geprunt mit Standard-2:4-Sparsity).

Dieses Design nutzt bestehende, hochoptimierte GEMM-Bibliotheken (z. B. cuSPARSELt für spärliche und cuBLASLt für dichte Operationen auf NVIDIA GPUs) ohne die Notwendigkeit für benutzerdefinierte Compiler oder die Expansion der Input-Aktivierungen. Die Autoren implementieren zwei Varianten:

Output-split: Teilt den Output-Tensor auf, wobei für einen Teil ein spärlicher GEMM und für den anderen ein dichter GEMM verwendet wird.
Input-split: Teilt den Input-Tensor auf, wobei der erste Teil mit einem spärlichen GEMM und der zweite Teil mit einem dichten GEMM (mit Akkumulation) verarbeitet wird.
Für GLU-Varianten der MLPs verwenden die Autoren den Output-split für $W_{up}$ und $W_{gate}$ sowie den Input-split für $W_{down}$ .

B. Strategien zur Auswahl der dichten Indizes
Eine entscheidende Erkenntnis ist, dass die Frage, welche intermediären Indizes dicht bleiben, die Modellqualität maßgeblich beeinflusst. Das Paper identifiziert, dass die intermediären Indizes in GLU-basierten MLPs ohne Änderung des mathematischen Outputs permutiert werden können, was die Auswahl spezifischer Indizes ermöglicht, die dicht bleiben, bevor sie in einen zusammenhängenden Block für die Ausführung umgeordnet werden. Es werden zwei Strategien vorgeschlagen:

SpenseGPT (Einfache Strategie): Wählt die letzten $p\%$ der intermediären Indizes aus, die dicht bleiben sollen. Dies steht im Einklang mit der spaltenweisen Verarbeitungsreihenfolge von SparseGPT, bei der verarbeitete Spalten eingefroren werden und Rekonstruktionsfehler durch Aktualisierung der verbleibenden Spalten nach rechts kompensiert werden. Das Behalten der dichten Spalten auf der rechten Seite dient als „Kompensationspuffer“.
SpenseGPT+ (Verlustbewusste Strategie): Wählt die dichten Indizes basierend auf einem geschätzten Rekonstruktionsverlust aus. Inspiriert von Wanda, berechnet sie einen Wichtigkeitswert für jeden intermediären Index, indem sie die Beiträge über die Gate-, Up- und Down-Projektionen aggregiert. Der Score kombiniert die Gewichtsmagnitude und die Input-Aktivierungsmagnitude ( $S_{ij} = |W_{ij}|\sqrt{H_{j,j}}$ ). Die Indizes mit den höchsten Scores werden ausgewählt, um dicht zu bleiben, und anschließend in die zusammenhängende Region permutiert, bevor die verbleibenden spärlichen Regionen mittels SparseGPT bearbeitet werden.

3. Zentrale Beiträge

Spense-Format: Ein hybrides spärliches-dichtes Format, das die strikte 2:4-Sparsity lockert und gleichzeitig die Kompatibilität mit bestehenden Hochleistungs-Bibliotheken für spärliche und dichte GEMMs wahrt, wodurch der Bedarf an spezialisierten Compilern oder der Overhead durch die Expansion von Aktivierungen vermieden wird.
Bedeutung der Auswahl der dichten Indizes: Demonstration, dass die Auswahl der dichten Indizes ein kritischer Faktor für die Aufrechterhaltung der Modellqualität ist, wobei eine naive Auswahl zu massiven Leistungseinbußen führt.
Pruning-Strategien: Einführung von SpenseGPT (kontinuierliche Tail-Selektion) und SpenseGPT+ (rekonstruktionsverlustbasierte Selektion) für das One-Shot-Pruning.
Reale Beschleunigung: Die erste Demonstration von One-Shot-Pruning, das reale End-to-End-LLM-Decoding-Beschleunigungen auf aktuellen GPUs (B200) unter Nutzung semi-strukturierter Sparse Tensor Cores erreicht und dabei die Modellqualität bewahrt.

4. Experimentelle Ergebnisse

Die Methoden wurden auf Qwen3-32B und Seed-OSS-36B unter Verwendung von FP8-Präzision auf B200-GPUs mit dem VLLM-Framework evaluiert. Die Benchmarks umfassten AIME (Mathematik), GPQA (Wissen), IFEval (Instruktionsbefolgung) und LiveCodeBench (Coding).

Erhalt der Genauigkeit:
- Striktes 2:4-Pruning (50% Sparsity) verursachte signifikante Genauigkeitsabfälle (z. B. sank der Durchschnittsscore von Seed-OSS-36B von 73,86 auf 65,18 mit SparseGPT).
- SpenseGPT+ erreichte bei 25% Sparsity einen Durchschnittsscore von 73,12 auf Seed-OSS-36B, was dem dichten Baseline-Wert (73,86) fast entspricht.
- Auf Qwen3-32B erreichte SpenseGPT+ bei 25% Sparsity 70,76, nahe der dichten Baseline von 71,68.
- Vergleiche zeigten, dass SpenseGPT+ die anderen Baselines (HyperPrune, Wanda) deutlich übertraf, indem es die dichten Indizes korrekt auswählte.
End-to-End-Beschleunigung:
- Spense erreichte eine bis zu 1,2× End-to-End-Decoding-Beschleunigung gegenüber der dichten Baseline auf B200-GPUs.
- Im Gegensatz dazu konnte SlideSparse aufgrund der Nicht-GEMM-Overheads durch die Expansion der Input-Aktivierungen keine signifikante Beschleunigung erzielen.
Effizienz:
- Das Pruning von 32B–36B Modellen dauerte etwa 1,33–2,15 Stunden auf einer einzelnen B200-GPU, was mit SparseGPT vergleichbar und wesentlich schneller als HyperPrune ist. ProxSparse lief bei diesen Modellen in den Speicherüberlauf.

5. Bedeutung und Behauptungen

Das Paper behauptet, die erste Demonstration eines One-Shot-Prunings für reale End-to-End-LLM-Decoding-Beschleunigungen zu präsentieren, die aus semi-strukturierten spärlichen Tensor Cores auf aktueller Hardware (speziell B200-GPUs) resultieren, während die Modellqualität erhalten bleibt.

Die Autoren betonen, dass ihr Ansatz die Lücke zwischen theoretischer Hardware-Beschleunigung und praktischer Implementierung schließt. Durch den Verzicht auf spezialisierte Compiler oder die Expansion von Aktivierungen ermöglicht Spense die sofortige Nutzung bestehender optimierter Bibliotheken. Die Arbeit verdeutlicht, dass eine bloße Lockerung der Sparsity-Beschränkung nicht ausreicht; die Strategie zur Auswahl der Gewichte, die dicht bleiben sollen, ist entscheidend, um die Reasoning- und Instruction-Following-Fähigkeiten des Modells zu bewahren.

Anerkannte Einschränkungen:

Die Beschleunigung hängt von der Effizienz der zugrunde liegenden GEMM-Bibliotheken ab und variiert je nach Batch-Größe, Sequenzlänge und Hardware.
SpenseGPT+ ist auf Kalibrierungsdaten angewiesen; falls die Einsatzverteilung (Deployment Distribution) signifikant von dem Kalibrierungsdatensatz abweicht, sind die ausgewählten dichten Indizes möglicherweise nicht optimal.