🤖 machine learning

NIRVANA: Structured Pruning Reimagined for Large Language Model Compression

NIRVANA is een nieuw, hardware-bewust gestructureerd pruning-framework dat gebruikmaakt van Neural Tangent Kernel-geïnspireerde salientie, een globale unit-rankingstrategie met optimale allocatie, en KL-divergentie-gestuurde dataselectie om state-of-the-art compressie van Large Language Models te bereiken, terwijl de zero-shot prestaties en fine-tuning mogelijkheden behouden blijven zonder computationeel dure hertraining.

Oorspronkelijke auteurs: Mengting Ai, Tianxin Wei, Sirui Chen, Jingrui He

Gepubliceerd 2026-07-21

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mengting Ai, Tianxin Wei, Sirui Chen, Jingrui He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk slimme bibliotheek van boeken hebt die elke vraag kan beantwoorden, grappen kan vertellen of code kan schrijven. Deze bibliotheek is zo groot dat er een hele loods aan computers nodig is om alleen al de lichten brandend te houden. In de wereld van kunstmatige intelligentie worden deze Large Language Models (LLM's) genoemd. Ze zijn als superhersenen, maar ze zijn zo zwaar en hongerig naar elektriciteit dat alleen de grootste techreuzen het zich kunnen veroorloven om ze te draaien. Wetenschappers proberen deze hersenen te verkleinen—zoals een volledige encyclopedie in een zaknotitieblokboek te proppen—zonder het vermogen om te lezen of te begrijpen te verliezen.

Om dit te doen, gebruiken onderzoekers een techniek genaamd "pruning" (snoeien). Denk aan een boom in de winter. Om de boom te helpen overleven en in de lente sneller te groeien, knipt een tuinier dode of overbodige takken weg. In AI betekent pruning het wegknippen van delen van het model die niet veel werk verrichten. Er zijn twee belangrijke manieren om dit te doen: je kunt overal kleine individuele draadjes (gewichten) knippen, wat de boom een rommelig uiterlijk geeft en hem niet echt sneller laat draaien op een computer, of je kunt hele takken (neuronen of attention heads) afhakken, wat de vorm van de boom netjes houdt en hem veel sneller maakt. Het probleem is dat wanneer je te veel takken afhakt, de boom vaak stopt met groeien of vergeet hoe hij moet praten. Hij heeft veel dure "hersteltraining" nodig om opnieuw te leren, en zelfs dan blijft hij vaak een beetje onhandig.

Hier komt een nieuwe methode genaamd NIRVANA in beeld. De onderzoekers achter deze methode wilden een strategie voor pruning ontwikkelen die niet alleen raadt welke takken geknipt moeten worden, maar die ook daadwerkelijk begrijpt hoe de boom denkt. Ze realiseerden zich dat het simpelweg kijken naar hoe "sterk" een tak is (het gewicht) niet genoeg is. In plaats daarvan gebruikten ze een wiskundig concept genaamd de Neural Tangent Kernel (NTK). Je kunt NTK zien als een kaart van het "groeipotentieel" van de boom. Het laat niet alleen zien hoe groot een tak is, maar ook hoeveel het toekomstige leren van de boom van die tak afhangt. Door deze kaart te gebruiken, bepaalt NIRVANA precies welke takken geknipt moeten worden zodat de boom gezond blijft, zijn geheugen behoudt en direct klaar is om nieuwe dingen te leren, zonder dat er een lange, dure herstelperiode nodig is.

Het Grote Idee: Een Slimme Tuinier voor AI-bomen

Het artikel introduceert NIRVANA (wat staat voor NTK-InfoRmed adaptiVe neuron & AttentioN heAd pruning), een nieuwe manier om grote AI-modellen te verkleinen die zowel slim als hardware-vriendelijk is. De auteurs stellen dat eerdere methoden waren als een tuinier die gewoon de grootste takken afknipt zonder naar de algehele gezondheid van de boom te kijken. Dit leidt er vaak toe dat de boom instort of het vermogen verliest om complexe taken uit te voeren, zoals rekenen of programmeren.

NIRVANA verandert het spel door te fungeren als een hoogopgeleide botanicus die een speciale "groeikaart" (de NTK) gebruikt om te beslissen wat er geknipt wordt. Hier is hoe het werkt, onderverdeeld in eenvoudige stappen:

1. De "Groeikaart" (NTK-Guided Saliency)
In plaats van alleen te vragen: "Is dit gewicht groot?", vraagt NIRVANA: "Als ik dit wegknipt, hoeveel zal het vermogen van de boom om te leren dan veranderen?" Ze gebruiken een first-order function-space saliency score geïnspireerd door de Neural Tangent Kernel. In gewone mensentaal meet dit hoeveel een specifelijk deel van het model bijdraagt aan de output van het model en aan het toekomstige vermogen om te finetunen (getraind te worden op nieuwe taken).

De Analogie: Stel je een band voor die een liedje speelt. Sommige instrumenten zijn hard, maar als je ze dempt, klinkt het liedje nog steeds prima. Andere instrumenten kunnen zacht zijn, maar als je ze dempt, valt het hele liedje uit elkaar. NIRVANA luistert naar het "liedje" (de output van het model) en de "bladmuziek" (de trainingsdynamiek) om de instrumenten te vinden die echt essentieel zijn, in plaats van alleen de luidste.

2. Hele Takken Knippen, Niet Alleen Bladjes (Structured Pruning)
Veel oudere methoden proberen individuele draadjes (gewichten) verspreid over het hele model weg te knippen. Dit is als het wegknippen van piepkleine stukjes van elk blad aan een boom. Het maakt de boom lichter, maar omdat de sneden slordig zijn, kan de computerhardware (die gebouwd is om dingen in nette rijen te verwerken) de boom niet sneller laten draaien.
NIRVANA knipt in één keer hele "takken" weg. In een AI-model zijn deze takken ofwel Attention Heads (die het model helpen zich te concentreren op belangrijke woorden) of MLP-neuronen (die het model helpen feiten en logica op te slaan). Door hele eenheden te verwijderen, wordt het model kleiner en draait het aanzienlijk sneller op standaardcomputers.

3. De Perfecte Balans (Adaptive Sparsity)
Dit is een lastig deel: niet alle takken zijn hetzelfde. Sommige delen van het model (zoals de MLP-neuronen) zijn erg goed in het opslaan van feiten, terwijl andere (zoals de Attention Heads) goed zijn in het begrijpen van context. Als je te veel van één type wegknipt, verliest het model een specifieke vaardigheid.
NIRVANA gebruikt een speciale formule om de perfecte ratio te bepalen. Het berekent een waarde genaamd $\gamma$ (gamma) om te beslissen hoeveel er geknipt moet worden van de "feit-opslag"-delen versus de "focus"-delen.

De Bevinding: Het artikel suggereert dat voor de modellen die ze hebben getest (zoals Llama3.1-8B), je ongeveer 3,36 keer meer moet wegknippen van de MLP-neuronen dan van de Attention heads om het model in balans te houden. Dit is geen willekeurige gok; ze hebben dit wiskundig afgeleid en bewezen dat het beter werkt dan alles gelijkmatig wegknippen.

4. De Juiste "Testvragen" Kiezen (KL-Divergence Data Selection)
Om te weten welke takken er geknipt moeten worden, heeft de tuinier een boom nodig om te testen. Hiervoor is een kleine set gegevens (kalibratiedata) nodig. Eerdere methoden pakten vaak willekeurige tekst om op te testen. De auteurs ontdekten dat de kwaliteit van deze testdata belangrijker is dan de kwantiteit.
Ze introduceerden een methode om de beste testdata te selecteren door de KL-divergentie (een manier om te meten hoe verschillend twee dingen zijn) te meten. Ze testen verschillende kleine batches tekst en kijken welke de minste verandering veroorzaakt in de output van het model wanneer het gepruned wordt.

Het Resultaat: Ze ontdekten dat het gebruik van slechts 32 voorbeelden (met een lengte van 128 tokens per stuk) voldoende is. Verrassend genoeg ontdekten ze dat de "beste" data niet altijd de meest coherente of feitelijk correcte tekst was. Soms werkte vreemde of incoherente tekst juist beter voor pruning, wat suggereert dat de statistische patronen in de data belangrijker zijn dan de door mensen waargenomen kwaliteit.

Wat Ze Hebben Gevonden (en Wat Niet)

De onderzoekers hebben NIRVANA getest op verschillende beroemde AI-modellen, waaronder Llama3.1-8B, Llama3.2-3B, Qwen2.5 en T5. Ze hebben het vergeleken met andere top pruning-methoden zoals LLM-Pruner, SliceGPT en FLAP.

Het Goede Nieuws:

Betere Prestaties: Bij hetzelfde niveau van verkleining (sparsity) scoort NIRVANA consequent hoger op tests voor wiskunde, programmeren en algemene kennis. Bijvoorbeeld, op een test voor code-generatie (MBPP), terwijl andere methoden bij 20% sparsity bijna naar nul zakken, behoudt NIRVANA een score van 23,80, waarmee het de op één na beste methode (die een score van 4,40 behaalde) ruim verslaat.
Snellere Herstelperiode: Wanneer ze probeerden de geprunede modellen te "her-trainen" met een lichtgewicht methode genaamd LoRA, herstelde NIRVANA zijn vaardigheden veel sneller en beter dan de anderen. Dit suggereert dat de pruning het vermogen van het model om te leren niet heeft beschadigd.
Echte Snelheid: Omdat ze hele takken wegknippen en ervoor zorgen dat de resterende groottes veelvouden van 8 zijn (een vereiste voor computerchips om snel te werken), zorgt NIRVANA er ook daadwerkelijk voor dat het model sneller draait. Op een standaard computerchip (NVIDIA A100) verminderde het de tijd die nodig is om tekst te genereren (latency) aanzienlijk in vergelijking met andere methoden die alleen de wiskundige operaties verminderden maar de hardware niet versnelden.

De Limieten:

Hoge Sparsity is Moeilijk: Net als alle pruning-methoden geldt: als je te veel wegknipt (zoals 50% of meer), daalt de prestatie van het model. Het artikel geeft toe dat bij zeer hoge compressiegroottes het model mogelijk uitgebreidere her-training nodig heeft om volledig te herstellen.
One-Shot vs. Iteratief: NIRVANA is een "one-shot" methode, wat betekent dat het de sneden in één keer maakt. Sommige andere methoden maken gebruik van urenlange trial-and-error (iteratieve zoektocht) om de beste sneden te vinden. Hoewel NIRV even snel is (minder dan 2 seconden om te prunen), merkt het artikel op dat iteratieve methoden misschien iets betere sneden vinden als je dagen de tijd hebt om te wachten, maar NIRVANA biedt de beste balans tussen snelheid en kwaliteit.

Waarom Dit Belangrijk Is

Het artikel suggereert dat NIRVANA een "theoretisch onderbouwde en praktische aanpak" biedt om AI kleiner te maken. Het lost het probleem op dat modellen te groot zijn voor gewone computers door ze op een manier te verkleinen die respect heeft voor hoe ze leren. Door de "groeikaart" (NTK) te gebruiken en de sneden zorgvuldig in balans te houden, blijft de AI slim en snel zonder dat er een enorme loods vol computers nodig is om het te draaien.

Kortom, NIRVANA is een slimmere manier om AI te verkleinen. Het knipt niet zomaar in het model; het snoeit het zorgvuldig bij zodat de AI gezond blijft, snel leert en snel draait op de apparaten die we daadwerkelijk bezitten.

Technische Samenvatting: NIRVANA - Gestructureerde Pruning Heruitgevonden voor Compressie van Large Language Models

Probleemstelling

Large Language Models (LLM's) kampen met aanzienlijke barrières voor brede adoptie vanwege hun enorme computationele en geheugeneisen. Hoewel compressietechnieken zoals pruning een oplossing bieden, lijden bestaande methoden aan kritieke beperkingen:

Ongestructureerde Pruning: Methoden zoals SparseGPT en Wanda bereiken een bijna verliesloze nauwkeurigheid, maar falen in het leveren van praktische versnellingen op hardware-acceleratoren door onregelmatige sparsity-patronen.
Semi-gestructureerde Pruning: Benaderingen die vaste patronen afdwingen (bijv. 2:4 block sparsity) worstelen tijdens supervised fine-tuning (SFT), omdat optimizer-updates de vooraf gedefinieerde structuren verstoren.
Gestructureerde Pruning: Hoewel veelbelovend voor hardware-acceleratie, worden huidige methoden (bijv. LLM-Pruner, FLAP) geconfronteerd met drie belangrijke uitdagingen:
- Inefficiënt Herstel: Ze vertrouwen op kostbare fine-tuning (bijv. LoRA) zonder de pruning-beslissingen expliciet af te stemmen op de fine-tuning dynamiek van het model, wat leidt tot suboptimale herstelprestaties.
- Uniforme Behandeling: Ze passen vaak uniforme pruning-ratio's toe over alle lagen en modules (Attention versus MLP), waarbij ze de verschillende functionele rollen negeren, wat leidt tot prestatievermindering.
- Kalibratiesensitiviteit: De resultaten van pruning zijn zeer kwetsbaar voor de selectie van kalibratiedata, een factor die vaak over het hoofd wordt gezien of suboptimaal wordt afgehandeld.

Methodologie: NIRVANA

NIRVANA (NTK-InfoRmed adaptiVe neuron & AttentioN heAd pruning) is een hardware-bewuste, one-shot gestructureerde pruning-framework ontworpen om zowel de zero-shot prestaties als het optimalisatielandschap voor downstream fine-tuning te behouden. Het bestaat uit vier kerncomponenten:

1. NTK-geleide Saliency Scoring (Gewichts niveau)

In plaats van traditionele loss-gebaseerde heuristieken, evalueert NIRVANA de structurele belangrijkheid via een first-order function-space saliency geïnspireerd door de Neural Tangent Kernel (NTK).

Mechanisme: De saliency score voor een gewicht $W_{i,j}$ wordt gedefinieerd als $S(W_{i,j}) = |\frac{\partial f(x; W)}{\partial W_{i,j}} \cdot W_{i,j}|$ . Dit legt de directe impact vast van het verwijderen van een gewicht op de output van het model.
NTK Connectie: De methode slaat een brug tussen deze score en de trainingsdynamiek door de NTK onder Adam-optimalisatie (benaderd als SignGD) te analyseren. De auteurs bewijzen dat pruning gebaseerd op deze score de NTK-stabiliteitsgrens behoudt, wat ervoor zorgt dat het geprunede model een vergelijkbaar optimalisatiepad volgt tijdens fine-tuning. Dit theoretische fundament rechtvaardigt het behoud van zowel de onmiddellijke output-stabiliteit als de langetermijn-trainbaarheid.

2. Gestructureerde Groepering (Neuron/Head niveau)

Om hardware-acceleratie mogelijk te maken, worden gewichten samengevoegd in gestructureerde eenheden:

MLP: Elke verborgen eenheid $u$ wordt behandeld als een groep bestaande uit de $u$ -de kolom van $W_{gate}$ en $W_{up}$ , en de $u$ -de rij van $W_{down}$ .
Attention: Elke attention head $a$ is een groep bestaande uit alle gewichten in $W_Q, W_K, W_V$ en het bijbehorende deel van $W_O$ .
Pruning: Eenheden worden gerangschikt op basis van hun cumulatieve saliency scores. Eenheden die onder een globale drempelwaarde vallen, worden gepruned (op nul gezet), met inachtneming van de afhankelijkheidsstructuur van het netwerk.

3. Adaptieve Sparsity Allocatie (Model niveau)

NIRVANA hanteert een globale sparsity-strategie in plaats van vaste lokale ratio's.

Globale Rangschikking: Alle eenheden over alle lagen en modules worden gezamenlijk gerangschikt op basis van hun saliency scores.
Adaptieve Ratio ( $\gamma$ ): Erkenning dat MLP-lagen en Attention heads verschillende structurele invloeden hebben, introduceert NIRVANA een parameter $\gamma$ om de agressiviteit van de pruning te balanceren. De optimale $\gamma$ wordt analytisch afgeleid door de verwachte structurele invloed van het verwijderen van één attention head versus één MLP-neuron te kwantificeren, rekening houdend met het aantal parameters en architecturale hyperparameters (bijv. in Llama3.1-8B, $\gamma \approx 3.36$ ).
Hardware Bewustzijn: Een afrondingsstap zorgt ervoor dat alle resterende dimensies veelvouden zijn van 8, om aan te sluiten bij GPU Tensor Core-optimalisaties, wat prestatievermindering door kernel fallbacks voorkomt.

4. KL-Divergentie-gestuurde Kalibratiedata Selectie

Om instabiliteit door willekeurige data-sampling te minimaliseren, gebruikt NIRVANA een lichtgewicht selectieproces:

Mechanisme: Meerdere kandidaat-batches worden gesampled uit een dataset. Het model wordt gepruned met elke batch, en de KL-divergentie tussen de output van het geprunede model en de output van het originele model wordt berekend op een vaste held-out set.
Selectie: De batch die de KL-divergentie minimaliseert, wordt geselecteerd als de kalibratiedata $C^*$ . Dit zorgt ervoor dat de pruning-beslissingen de oorspronkelijke outputverdeling van het model behouden.

Belangrijkste Bijdragen

NIRVANA Framework: Een nieuwe NTK-geleide gestructureerde pruning-methode die de beslissingen van pruning expliciet verbindt met de trainingsdynamiek, waardoor zowel de zero-shot nauwkeurigheid als de fine-tuning capaciteit behouden blijven.
Adaptieve Sparsity Allocatie: Een strategie die de pruning-ratio's dynamisch aanpast over lagen en tussen MLP/Attention modules met behulp van een analytisch afgeleide ratio $\gamma$ , waarmee verschillen worden aangepakt die door uniforme benaderingen worden genegeerd.
Kalibratiedata Selectie: Een KL-divergentie-gestuurde mechanisme dat optimale kalibratie-subsets identificeert, waardoor de kwaliteit van de pruning wordt losgekoppeld van de datasetgrootte en robuustheid wordt gegarandeerd.
Hardware-bewust Ontwerp: Integratie van dimensie-afstemming om praktische snelheidswinsten op moderne GPU's te garanderen.

Experimentele Resultaten

Uitgebreide evaluaties zijn uitgevoerd op Llama3 (1-8B, 3.2-3B), Qwen2.5 (7B, 14B) en T5-base architecturen.

Zero-Shot Prestaties: NIRVANA presteert consequent beter dan state-of-the-art baselines (LLM-Pruner, SliceGPT, FLAP, Tyr-the-Pruner) op het gebied van perplexiteit (WikiText, PTB, Lambada) en downstream taken (ARC-e, WinoG, HellaS, SVAMP, MBPP). Opvallend genoeg bereikt NIRVANA bij 20% sparsity een Pass@1 van 23.80% op MBPP, wat de beste baseline (4.40%) aanzienlijk overtreft.
Fine-Tuning Herstel: Onder lichte LoRA fine-tuning behaalt NIRVANA de hoogste herstelde nauwkeurigheid over alle sparsity-niveaus, wat de preservatie van het optimalisatielandschap valideert.
Efficiëntie: In tegenstelling tot baselines die een grillig latentiegedrag vertonen, laat NIRVANA een consistente reductie in latentie en verbetering in throughput zien naarmate de sparsity toeneemt, wat direct toe te schrijven is aan de hardware-bewuste dimensie-afstemming.
Ablatie-studies: Het verwijderen van de NTK-geleide score, de adaptieve ratio $\gamma$ , of de KL-gebaseerde dataselectie leidt tot een significante prestatievermindering, wat de noodzaak van elke component bevestigt.

Betekenis en Claims

Het artikel claimt dat NIRVANA een theoretisch onderbouwde en praktische aanpak biedt voor LLM-compressie. Door de pruning-criteria af te stemmen op NTK-dynamiek, balanceert het uniek de onmiddellijke nauwkeurigheid met de langetermijn fine-tuning aanpasbaarheid. De methode vestigt nieuwe state-of-the-art resultaten op diverse benchmarks zonder uitgebreide hertraining of wijzigingen aan standaard fine-tuning pipelines te vereisen. De auteurs benadrukken dat hun aanpak de kritieke hiaten in bestaande gestructureerde pruning-methoden aanpakt met betrekking tot fine-tuning alignment, module-specifieke kenmerken en de invloed van kalibratiedata, en daarmee een robuuste oplossing biedt voor het implementeren van efficiënte LLM's op hulpbron-beperkte hardware.