🤖 machine learning

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

PATCH is een hybride framework voor sparsiteit dat de gewichtsmatrices van LLM's partitioneert in tegels met leerbare dichte of 2:4-sparse toewijzingen, waardoor continue sparsiteitsverhoudingen tussen 0% en 50% mogelijk worden om superieure nauwkeurigheid en praktische GPU-versnellingen te bereiken in vergelijking met bestaande ongestructureerde of rigide semi-gestructureerde pruning-methoden.

Oorspronkelijke auteurs: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Gepubliceerd 2026-04-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, hyper-georganiseerde bibliotheek met miljarden boeken (parameters). Om deze bibliotheek snel te laten draaien op een standaardcomputer, moet je sommige boeken verwijderen. Je staat echter voor een lastig dilemma:

De "rommelige" aanpak (niet-gestructureerde sparsiteit): Je gooit willekeurige boeken van overal op de planken weg. Dit houdt de kennis van de bibliotheek zeer accuraat omdat je zeer selectief kunt zijn, maar het creëert een chaotische puinhoop. Een bibliothecaris (de GPU van de computer) die boeken probeert te vinden, moet overal heen springen, waardoor het proces traag en inefficiënt wordt.
De "stijve" aanpak (2:4-sparsiteit): Je besluit een strikte regel te volgen: "In elke groep van vier boeken moet je precies twee verwijderen." Dit maakt het werk van de bibliothecaris makkelijk en snel omdat het patroon voorspelbaar is. Deze regel is echter te stijf. Soms zijn de twee boeken die je moet verwijderen eigenlijk de belangrijkste, waardoor de bibliotheek zijn intelligentie en nauwkeurigheid verliest.

Maar dan komt PATCH: de "slimme tegel"-bibliothecaris

Het artikel introduceert een nieuwe methode genaamd PATCH (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity). In plaats van te kiezen tussen de "rommelige" en de "stijve" aanpak, fungeert PATCH als een slimme bibliothecaris die de bibliotheek indelt in tegels (kleine, beheersbare secties van planken).

Hier is hoe het werkt, met een eenvoudige analogie:

Het tegelsysteem: Stel je voor dat de bibliotheek is verdeeld in vierkante tegels, zoals een mozaïek.
De beslissing: Voor elke tegel leert het PATCH-systeem een keuze te maken:
- Optie A (Dicht): Houd deze tegel volledig vol met boeken. Dit is voor de "kritieke" secties van de bibliotheek waar nauwkeurigheid het meest telt.
- Optie B (2:4-spars): Pas de strikte regel "verwijder twee van de vier" toe op deze tegel. Dit is voor secties waar de bibliotheek extra, overbodige boeken heeft die veilig kunnen worden verwijderd om ruimte te besparen en het proces te versnellen.
Het leerproces: Het systeem raadt niet. Het "traint" zichzelf om precies uit te zoeken welke tegels vol moeten zitten en welke spaarzaam moeten zijn. Het leert om de belangrijke delen dicht te houden en de overbodige delen spaarzaam, terwijl het tegelijkertijd de hardware-vriendelijke regels volgt.

Waarom is dit een groot iets?

Het beste van twee werelden: PATCH overbrugt de kloof. Het houdt de bibliotheek accuraat (zoals de rommelige aanpak), maar organiseert het op een manier die computers snel kunnen lezen (zoals de stijve aanpak).
Flexibele snelheid: Je kunt tegen PATCH zeggen: "Ik wil dat de bibliotheek 25% kleiner is," of "50% kleiner." Het past het aantal "volle tegels" versus "spaarzame tegels" aan om dat doel perfect te bereiken, in plaats van vast te zitten aan een vaste reductie van 50%.
Resultaten uit de praktijk: De auteurs hebben dit getest op modellen variërend van klein tot zeer groot (tot 13 miljard parameters).
- Snelheid: Op een standaard consumentengrafische kaart (een A6000 GPU) liet PATCH de modellen 1,18 tot 1,38 keer sneller draaien dan de originele, niet-begroeide modellen.
- Slimheid: In tegenstelling tot andere methoden die het model "dommer" maken wanneer ze het versnellen, maakte PATCH de modellen nauwkeuriger (met 0,37% tot 2,96%) in vergelijking met de huidige state-of-the-art stijve methode (MaskLLM).

Samenvattend

Denk aan PATCH als een manier om een gigantisch magazijn op te ruimen. In plaats van willekeurig dingen weg te gooien (wat de vorkliften vertraagt) of een domme regel te volgen die belangrijke items weggooit, wijst PATCH op intelligente wijze specifieke zones aan die volgehouden moeten worden en andere zones die volgens een patroon dat vorkliften liefhebben, leeggemaakt moeten worden. Het resultaat is een magazijn dat sneller te navigeren is en nog steeds alle essentiële kennis bevat.

1. Probleemstelling

Grote Taalmodellen (LLMs) bieden superieure prestaties, maar lijden tijdens implementatie onder prohibitieve geheugen- en rekenkosten. Modelpruning is een primaire oplossing, maar bestaande benaderingen staan voor een fundamentele afweging:

Ongestructureerde Sparsiteit: Staat niet-nul elementen overal toe, behoudt hoge nauwkeurigheid, maar creëert onregelmatige geheugentoegangspatronen die efficiënte GPU-versnelling (bijv. Tensor Cores) belemmeren.
Semigestructureerde Sparsiteit (bijv. 2:4): Dwingt een star patroon af (twee niet-nul elementen per vier elementen) dat hardwarevriendelijk is en inferentie versnelt. Echter, het vaste 50% sparsiteitsratio en de uniforme toepassing over alle lagen leiden vaak tot significante nauwkeurigheidsdegradatie, vooral bij het gebruik van one-shot pruning-methoden.

Huidige methoden worstelen om de kloof te overbruggen tussen de flexibiliteit van ongestructureerde pruning en de hardware-efficiëntie van semigestructureerde pruning, met name wat betreft het onvermogen om sparsiteitsratio's continu aan te passen of sparsiteit niet-uniform over lagen toe te wijzen.

2. Methodologie: PATCH

De auteurs stellen PATCH (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity) voor, een kader dat een continu sparsiteitsratio tussen 0% en 50% mogelijk maakt terwijl hardware-compatibiliteit behouden blijft.

Kernmechanisme

PATCH partitioneert gewichtsmatrices in tegels (bijv. $b_1 \times b_2$ ). Voor elke tegel leert het model om te beslissen of deze dicht (0% sparsiteit) moet blijven of 2:4 spaarzaam (50% sparsiteit) moet worden.

Hybride Maskergeneratie: Het uiteindelijke masker is een gewogen combinatie van een "dicht" optie en een "2:4 spaarzaam" optie.
Leerbaar Distributions:
1. Tegelselectie: Een leerbaar logit-distributie bepaalt de waarschijnlijkheid dat een tegel dicht versus spaarzaam is. Dit wordt bemonsterd met Gumbel-Softmax om differentieerbare optimalisatie mogelijk te maken.
2. Patroonselectie: Binnen tegels die als spaarzaam zijn aangewezen, selecteert een aparte leerbaar distributie het specifieke 2:4-patroon (uit 6 mogelijke permutaties).
Optimalisatiedoel: Het trainingsdoel combineert:
- Standaard modelleringverlies (bijv. Next Token Prediction).
- Sparsiteitsregularisatie: Een term die afwijkingen van een doelglobaal sparsiteitsratio ( $\rho$ ) straft, waardoor precieze controle over het 0–50% bereik mogelijk is.
- Gewichtsregularisatie: Moedigt grotere gewichtsmagnitudes aan om gradiëntvoortplanting te helpen.

Varianten

PATCHJoint: Optimaliseert gezamenlijk zowel de tegelniveau-selectie (dicht versus spaarzaam) als de fijnkorrelige 2:4-patronen binnen spaarzame tegels. Wordt gebruikt voor kleinere modellen (<1B parameters).
PATCHTile: Een geheugenefficiënte variant waarbij de 2:4-patronen bevroren zijn (geïnitieerd vanuit een hoogwaardige one-shot methode zoals MaskLLM), en alleen de tegelniveau dicht/spaarzaam beslissingen worden geoptimaliseerd. Dit maakt schaling naar grotere modellen (tot 13B) mogelijk op beperkt GPU-geheugen.

Inferentie & Implementatie

STOICC-integratie: Aangezien standaard GPU-bibliotheken (cuBLAS, cuSPARSELt) geen gemengde dicht/spaarzame tegels ondersteunen, maakt PATCH gebruik van STOICC, een compiler gebaseerd op Triton. STOICC autotune kernelconfiguraties (tegelgroottes, bijv. $128 \times 128$ ) om hybride uitvoering efficiënt te verwerken.
Hardware-compatibiliteit: Door ervoor te zorgen dat spaarzame tegels strikt voldoen aan het 2:4-patroon, maakt PATCH gebruik van NVIDIA/AMD Tensor Cores voor versnelling, terwijl dichte tegels standaard dichte kernels gebruiken.

3. Belangrijkste Bijdragen

Hybride Sparsiteitskader: Introduceert de eerste methode om een continu sparsiteitsratio (0%–50%) mogelijk te maken door dynamisch dichte en 2:4 spaarzame tegels binnen dezelfde gewichtsmatrix te mengen.
Leerbaar Niet-Uniforme Toewijzing: In tegenstelling tot vaste 2:4-methoden, leert PATCH om sparsiteit adaptief toe te wijzen. Het behoudt dichtheid in gevoelige lagen (bijv. vroege/late Transformer-blokken, Attention-mechanismen) en past sparsiteit toe op redundante lagen (bijv. middelste blokken, MLP up/gate/down-matrices).
End-to-End Differentieerbare Training: Gebruikt Gumbel-Softmax om maskergeneratie en gewichtspruning gezamenlijk te optimaliseren, waardoor de nauwkeurigheidsdaling die geassocieerd is met one-shot pruning wordt vermeden.
Praktische Implementatie: Demonstreert de eerste succesvolle integratie van hybride tegelniveau-sparsiteit met een compiler (STOICC) om echte snelheidswinsten op consumentengpu's te bereiken.

4. Experimentele Resultaten

De auteurs evalueerden PATCH op modellen variërend van 0,5B tot 13B parameters (Qwen-2.5, LLaMA-2/3, Gemma-3) met behulp van 8 zero-shot downstream-taken en WikiText2 perplexiteit.

Nauwkeurigheid:
- PATCH presteert consequent beter dan state-of-the-art 2:4 pruning-methoden (MaskLLM, SparseGPT, Wanda, ProxSparse).
- Op LLaMA-2 7B bereikt PATCH (bij 25% sparsiteit) een 51,58% gemiddelde nauwkeurigheid vergeleken met 48,62% voor MaskLLM (50% sparsiteit) en 45,92% voor ProxSparse.
- PATCH verkleint de kloof met dichte modellen aanzienlijk; bij 25% sparsiteit herstelt het zich binnen ongeveer 2 procentpunten van de dichte nauwkeurigheid.
- Perplexiteit: PATCH bereikt een lagere perplexiteit dan alle baselines. Voor LLaMA-2 7B bij 25% sparsiteit is de PPL 5,86 versus 6,78 voor MaskLLM.
Snelheidswinst & Efficiëntie:
- Op een NVIDIA A6000 GPU (LLaMA-2 7B) bereikt PATCH end-to-end snelheidswinsten van 1,18× tot 1,38× boven dichte baselines.
- Het geheugenvoetafdruk wordt gereduceerd tot 0,59×–0,76× van het dichte model.
- PATCH presteert beter dan ongestructureerde pruning (wat geen snelheidswinst biedt) en starre 2:4-pruning (die vaak de nauwkeurigheid te veel degradeert om de snelheid te rechtvaardigen).
Ablatiestudies:
- Globaal versus Laagsgewijs: Globale sparsiteitsdoelen (variabele sparsiteit per laag toestaan) presteren aanzienlijk beter dan uniforme laagsgewijze doelen.
- Tegelgrootte: De prestaties zijn robuust over tegelgroottes, hoewel $4 \times 4$ de fijnste controle biedt. Hardware-efficiëntie dicteert het gebruik van grotere uitvoeringstegels ( $128 \times 128$ ).
- Initialisatie: De methode is robuust ten opzichte van initialisatie-priors; het globale sparsiteitsdoel maakt dynamische herverdeling tijdens training mogelijk.

5. Betekenis

PATCH vertegenwoordigt een belangrijke stap voorwaarts in efficiënte LLM-inferentie door het dilemma "nauwkeurigheid versus versnelling" op te lossen.

Kloof Overbruggen: Het combineert succesvol de hardware-versnellingsvoordelen van semigestructureerde sparsiteit met de flexibiliteit van ongestructureerde toewijzing.
Praktijkgerichtheid: Het gaat verder dan theoretische pruning om daadwerkelijke snelheidswinsten op echte hardware te demonstreren met bestaande compiler-infrastructuur (STOICC).
Schaalbaarheid: De geheugenefficiënte variant (PATCHTile) bewijst dat hybride sparsiteit kan worden toegepast op grote modellen (13B+) zonder enorme rekenbudgetten te vereisen voor het trainen van de maskers.
Toekomstige Richting: Het kader is patroon-agnostisch en kan theoretisch worden uitgebreid naar andere N:M-patronen (bijv. 4:8) naarmate nieuwe hardware deze ondersteunt, waardoor het een veelzijdige oplossing wordt voor toekomstige LLM-compressie.

Kortom, PATCH biedt een flexibele, leerbare en hardware-efficiënte pruningstrategie die practitioners in staat stelt de afweging tussen modelkwaliteit en inferentiesnelheid te tunen met ongekende granulariteit.