🤖 machine learning

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

PATCH ist ein hybrides Sparsitäts-Framework, das LLM-Gewichtsmatrizen in Kacheln mit lernbaren dichten oder 2:4-sparsen Zuordnungen partitioniert, um kontinuierliche Sparsitätsverhältnisse zwischen 0 % und 50 % zu ermöglichen und damit im Vergleich zu bestehenden unstrukturierten oder starren semi-strukturierten Pruning-Methoden eine überlegene Genauigkeit sowie praktische GPU-Geschwindigkeitssteigerungen zu erreichen.

Ursprüngliche Autoren: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Veröffentlicht 2026-04-30

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, hyper-organisierte Bibliothek vor, die Milliarden von Büchern (Parameter) enthält. Um diese Bibliothek auf einem Standardcomputer schnell laufen zu lassen, müssen Sie einige Bücher entfernen. Sie stehen jedoch vor einem kniffligen Dilemma:

Der „unordentliche" Ansatz (Unstrukturierte Sparsität): Sie werfen zufällige Bücher von überall in den Regalen weg. Dies hält das Wissen der Bibliothek sehr genau, da Sie sehr selektiv sein können, erzeugt aber ein chaotisches Durcheinander. Eine Bibliothekarin (die GPU des Computers), die versucht, Bücher zu finden, muss überall herumhüpfen, was den Prozess langsam und ineffizient macht.
Der „strenge" Ansatz (2:4-Sparsität): Sie entscheiden, einer strengen Regel zu folgen: „In jeder Gruppe von vier Büchern müssen Sie genau zwei entfernen." Dies macht die Arbeit der Bibliothekarin einfach und schnell, da das Muster vorhersehbar ist. Diese Regel ist jedoch zu starr. Manchmal sind die zwei Bücher, die Sie müssen entfernen, tatsächlich die wichtigsten, was dazu führt, dass die Bibliothek ihre Intelligenz und Genauigkeit verliert.

Hier kommt PATCH ins Spiel: Der „intelligente Fliesen"-Bibliothekar

Die Arbeit stellt eine neue Methode namens PATCH (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity) vor. Anstatt sich zwischen dem „unordentlichen" und dem „strengen" Ansatz zu entscheiden, agiert PATCH wie ein intelligenter Bibliothekar, der die Bibliothek in Fliesen (kleine, überschaubare Regalsektionen) unterteilt.

So funktioniert es, mithilfe einer einfachen Analogie:

Das Fliesensystem: Stellen Sie sich vor, die Bibliothek ist in quadratische Fliesen unterteilt, wie ein Mosaik.
Die Entscheidung: Für jede Fliese lernt das PATCH-System, eine Wahl zu treffen:
- Option A (Dicht): Halten Sie diese Fliese vollständig mit Büchern gefüllt. Dies ist für die „kritischen" Bereiche der Bibliothek gedacht, wo Genauigkeit am wichtigsten ist.
- Option B (2:4-Spars): Wenden Sie die strenge Regel „zwei von vier entfernen" auf diese Fliese an. Dies ist für Bereiche gedacht, in denen die Bibliothek zusätzliche, redundante Bücher hat, die sicher entfernt werden können, um Platz zu sparen und die Geschwindigkeit zu erhöhen.
Der Lernprozess: Das System rät nicht. Es „trainiert" sich selbst, um genau herauszufinden, welche Fliesen voll und welche spärlich sein sollten. Es lernt, die wichtigen Teile dicht und die redundanten Teile spärlich zu halten, während es gleichzeitig hardwarefreundliche Regeln befolgt.

Warum ist das eine große Sache?

Das Beste aus beiden Welten: PATCH überbrückt die Lücke. Es hält die Bibliothek genau (wie der unordentliche Ansatz), organisiert sie aber so, dass Computer sie schnell lesen können (wie der strenge Ansatz).
Flexible Geschwindigkeit: Sie können PATCH sagen: „Ich möchte, dass die Bibliothek 25 % kleiner ist" oder „50 % kleiner". Es passt die Anzahl der „vollen Fliesen" gegenüber den „spärlichen Fliesen" an, um dieses Ziel perfekt zu erreichen, anstatt bei einer festen 50 %-Reduzierung stecken zu bleiben.
Realwelt-Ergebnisse: Die Autoren testeten dies an Modellen von klein bis sehr groß (bis zu 13 Milliarden Parameter).
- Geschwindigkeit: Auf einer Standard-Konsumenten-Grafikkarte (eine A6000-GPU) ließen PATCH die Modelle 1,18- bis 1,38-mal schneller laufen als die ursprünglichen, unbeschnittenen Modelle.
- Intelligenz: Im Gegensatz zu anderen Methoden, die das Modell „dümmer" machen, wenn sie es beschleunigen, machte PATCH die Modelle tatsächlich genauer (um 0,37 % bis 2,96 %) im Vergleich zur aktuellen state-of-the-art-strengen Methode (MaskLLM).

Zusammenfassung

Denken Sie an PATCH als eine Möglichkeit, ein riesiges Lagerhaus aufzuräumen. Anstatt zufällig Dinge wegzuwerfen (was die Gabelstapler verlangsamt) oder einer dummen Regel zu folgen, die wichtige Gegenstände wegwirft, weist PATCH intelligent bestimmte Zonen zu, die voll gehalten werden sollen, und andere Zonen, die nach einem Muster geräumt werden sollen, das Gabelstapler lieben. Das Ergebnis ist ein Lagerhaus, das schneller zu navigieren ist und dennoch alle wesentlichen Kenntnisse enthält.

1. Problemstellung

Large Language Models (LLMs) bieten überlegene Leistung, leiden jedoch bei der Bereitstellung unter prohibitiven Speicher- und Rechenkosten. Das Modell-Pruning ist eine primäre Lösung, doch bestehende Ansätze stehen vor einem fundamentalen Zielkonflikt:

Unstrukturierte Sparsity: Erlaubt nicht-null Elemente an beliebigen Stellen, bewahrt hohe Genauigkeit, erzeugt aber unregelmäßige Speicherzugriffsmuster, die eine effiziente GPU-Beschleunigung (z. B. Tensor Cores) verhindern.
Semi-strukturierte Sparsity (z. B. 2:4): Erzwingt ein starres Muster (zwei Nicht-Null-Werte pro vier Elemente), das hardwarefreundlich ist und die Inferenz beschleunigt. Der feste 50%-Sparsity-Verhältnis und die einheitliche Anwendung über alle Schichten hinweg führen jedoch häufig zu signifikanten Genauigkeitsverlusten, insbesondere bei der Verwendung von One-Shot-Pruning-Methoden.

Aktuelle Methoden haben Schwierigkeiten, die Lücke zwischen der Flexibilität des unstrukturierten Prunings und der Hardware-Effizienz des semi-strukturierten Prunings zu schließen, insbesondere hinsichtlich der Unfähigkeit, Sparsity-Verhältnisse kontinuierlich anzupassen oder Sparsity nicht-uniform über die Schichten hinweg zu verteilen.

2. Methodik: PATCH

Die Autoren schlagen PATCH (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity) vor, ein Framework, das ein kontinuierliches Sparsity-Verhältnis zwischen 0 % und 50 % ermöglicht und gleichzeitig die Hardware-Kompatibilität bewahrt.

Kernmechanismus

PATCH unterteilt Gewichtsmatrizen in Tiles (z. B. $b_1 \times b_2$ ). Für jedes Tile lernt das Modell zu entscheiden, ob es dicht (0 % Sparsity) bleiben oder 2:4-sparse (50 % Sparsity) werden soll.

Hybride Maskengenerierung: Die finale Maske ist eine gewichtete Kombination einer "dichten" Option und einer "2:4-sparse" Option.
Lernbare Verteilungen:
1. Tile-Auswahl: Eine lernbare Logit-Verteilung bestimmt die Wahrscheinlichkeit, dass ein Tile dicht oder sparse ist. Dies wird mittels Gumbel-Softmax abgetastet, um eine differenzierbare Optimierung zu ermöglichen.
2. Muster-Auswahl: Innerhalb der als sparse gekennzeichneten Tiles wählt eine separate lernbare Verteilung das spezifische 2:4-Muster (aus 6 möglichen Permutationen).
Optimierungsziel: Das Trainingsziel kombiniert:
- Standard-Modellierungsverlust (z. B. Next Token Prediction).
- Sparsity-Regularisierung: Ein Term, der Abweichungen von einem Zielglobal-Sparsity-Verhältnis ( $\rho$ ) bestraft und eine präzise Steuerung im Bereich 0–50 % ermöglicht.
- Gewichts-Regularisierung: Fördert größere Gewichtsbeträge, um die Gradientenpropagation zu unterstützen.

Varianten

PATCHJoint: Optimiert gemeinsam sowohl die Tile-Level-Auswahl (dicht vs. sparse) als auch die feingranularen 2:4-Muster innerhalb der sparse Tiles. Wird für kleinere Modelle (<1 Mrd. Parameter) verwendet.
PATCHTile: Eine speichereffiziente Variante, bei der die 2:4-Muster eingefroren sind (initialisiert aus einer hochwertigen One-Shot-Methode wie MaskLLM) und nur die Tile-Level-Entscheidungen für dicht/sparse optimiert werden. Dies ermöglicht die Skalierung auf größere Modelle (bis zu 13 Mrd.) bei begrenztem GPU-Speicher.

Inferenz & Bereitstellung

STOICC-Integration: Da Standard-GPU-Bibliotheken (cuBLAS, cuSPARSELt) gemischte dicht/sparse-Tiles nicht unterstützen, nutzt PATCH STOICC, einen Compiler auf Basis von Triton. STOICC autotunt Kernel-Konfigurationen (Tile-Größen, z. B. $128 \times 128$ ), um die hybride Ausführung effizient zu handhaben.
Hardware-Kompatibilität: Durch die Sicherstellung, dass sparse Tiles strikt dem 2:4-Muster folgen, nutzt PATCH NVIDIA/AMD Tensor Cores zur Beschleunigung, während dichte Tiles Standard-dichte Kernel verwenden.

3. Hauptbeiträge

Hybrides Sparsity-Framework: Einführung der ersten Methode, die ein kontinuierliches Sparsity-Verhältnis (0 %–50 %) ermöglicht, indem dicht und 2:4 sparse Tiles dynamisch innerhalb derselben Gewichtsmatrix gemischt werden.
Lernbare nicht-uniforme Allokation: Im Gegensatz zu festen 2:4-Methoden lernt PATCH, Sparsity adaptiv zuzuweisen. Es bewahrt die Dichte in sensiblen Schichten (z. B. frühe/späte Transformer-Blöcke, Attention-Mechanismen) und wendet Sparsity auf redundante Schichten an (z. B. mittlere Blöcke, MLP Up/Gate/Down-Matrizen).
End-to-End differenzierbares Training: Nutzt Gumbel-Softmax, um die Maskenauswahl und das Gewichts-Pruning gemeinsam zu optimieren, wodurch der mit One-Shot-Pruning verbundene Genauigkeitsverlust vermieden wird.
Praktische Bereitstellung: Demonstriert die erste erfolgreiche Integration von hybrider Tile-Level-Sparsity mit einem Compiler (STOICC), um reale Geschwindigkeitssteigerungen auf Consumer-GPUs zu erzielen.

4. Experimentelle Ergebnisse

Die Autoren bewerteten PATCH an Modellen mit 0,5 bis 13 Mrd. Parametern (Qwen-2.5, LLaMA-2/3, Gemma-3) unter Verwendung von 8 Zero-Shot-Downstream-Aufgaben und der WikiText2-Perplexität.

Genauigkeit:
- PATCH übertrifft konsistent die State-of-the-Art-2:4-Pruning-Methoden (MaskLLM, SparseGPT, Wanda, ProxSparse).
- Bei LLaMA-2 7B erreicht PATCH (bei 25 % Sparsity) eine durchschnittliche Genauigkeit von 51,58 % im Vergleich zu 48,62 % für MaskLLM (50 % Sparsity) und 45,92 % für ProxSparse.
- PATCH verengt die Lücke zu dichten Modellen erheblich; bei 25 % Sparsity liegt es innerhalb von ca. 2 Prozentpunkten der dichten Genauigkeit.
- Perplexität: PATCH erzielt eine niedrigere Perplexität als alle Baselines. Für LLaMA-2 7B bei 25 % Sparsity beträgt PPL 5,86 gegenüber 6,78 für MaskLLM.
Geschwindigkeitssteigerung & Effizienz:
- Auf einer NVIDIA A6000 GPU (LLaMA-2 7B) erreicht PATCH End-to-End-Geschwindigkeitssteigerungen von 1,18× bis 1,38× gegenüber dichten Baselines.
- Der Speicherbedarf wird auf 0,59×–0,76× des dichten Modells reduziert.
- PATCH übertrifft unstrukturiertes Pruning (das keine Geschwindigkeitssteigerung bietet) und starres 2:4-Pruning (das die Genauigkeit oft zu stark verschlechtert, um die Geschwindigkeit zu rechtfertigen).
Ablationsstudien:
- Global vs. Schichtweise: Globale Sparsity-Ziele (die variable Sparsity pro Schicht erlauben) übertreffen einheitliche schichtweise Ziele signifikant.
- Tile-Größe: Die Leistung ist über Tile-Größen hinweg robust, wobei $4 \times 4$ die feinste Kontrolle bietet. Die Hardware-Effizienz erfordert jedoch größere Ausführungstiles ( $128 \times 128$ ).
- Initialisierung: Die Methode ist robust gegenüber Initialisierungspriors; das globale Sparsity-Ziel ermöglicht eine dynamische Neuverteilung während des Trainings.

5. Bedeutung

PATCH stellt einen bedeutenden Schritt vorwärts in der effizienten LLM-Inferenz dar, indem es das Dilemma "Genauigkeit vs. Beschleunigung" löst.

Überbrückung der Lücke: Es kombiniert erfolgreich die Hardware-Beschleunigungsvorteile der semi-strukturierten Sparsity mit der Flexibilität der unstrukturierten Allokation.
Praktikabilität: Es geht über theoretisches Pruning hinaus und demonstriert tatsächliche Geschwindigkeitssteigerungen auf echter Hardware unter Verwendung bestehender Compiler-Infrastruktur (STOICC).
Skalierbarkeit: Die speichereffiziente Variante (PATCHTile) beweist, dass hybride Sparsity auf große Modelle (13 Mrd.+) angewendet werden kann, ohne massive Rechenbudgets für das Training der Masken zu erfordern.
Zukunftsrichtung: Das Framework ist musteragnostisch und kann theoretisch auf andere N:M-Muster (z. B. 4:8) erweitert werden, sobald neue Hardware diese unterstützt, was es zu einer vielseitigen Lösung für die zukünftige LLM-Komprimierung macht.

Zusammenfassend bietet PATCH eine flexible, lernbare und hardware-effiziente Pruning-Strategie, die Praktikern ermöglicht, den Zielkonflikt zwischen Modellqualität und Inferenzgeschwindigkeit mit beispielloser Granularität zu justieren.