💬 NLP

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

Dit artikel introduceert GISP, een globale iteratieve gestructureerde pruning-methode die first-order op verlies gebaseerde belangrijkheidsscores aggregeert om attention-heads en MLP-kanalen efficiënt te verwijderen, waardoor traditionele lokale paradigma's worden overtroffen door stabilisatie van de nauwkeurigheid op hoge sparsiteitsniveaus en het mogelijk maken van taakspecifieke optimalisatie zonder tussenliggende fine-tuning.

Oorspronkelijke auteurs: Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk slimme bibliotheek (een Large Language Model) hebt met miljarden boeken. Het weet bijna alles, maar het is zo groot dat het eeuwen duurt om een specifieke feitelijke informatie te vinden, en het vereist een gigantisch, duur gebouw om het op te slaan. Je wilt deze bibliotheek verkleinen tot hij in een rugzak past, zonder de mogelijkheid te verliezen om vragen correct te beantwoorden.

Dit is het probleem dat het artikel aanpakt. De auteurs introduceren een nieuwe methode genaamd GISP (Global Iterative Structured Pruning). Hieronder wordt uitgelegd hoe dit werkt, via eenvoudige analogieën:

Het Probleem: De "Lokale" Aanpak versus het "Globale" Perspectief

De Oude Manier (Lokale Pruning):
Stel je voor dat je probeert de bibliotheek te verkleinen door elke kamer één voor één te bekijken. Je besluit: "Deze kamer heeft te veel boeken; laten we 20% ervan weggooien." Je doet dit voor elke kamer onafhankelijk van elkaar.

De Tekortkoming: Je gooit misschien een boek weg in de "Geschiedenis"-kamer dat lokaal nutteloos lijkt, maar dat blijkt later de sleutel te zijn tot het begrijpen van een complex verhaal. Omdat je slechts naar één kamer tegelijk kijkt, mis je het grote plaatje. Je eindigt met een bibliotheek die nog steeds "zwaar" aanvoelt en moeite kan hebben met specifieke taken, zoals het oplossen van een wiskundeprobleem of het beantwoorden van een lastig raadsel, zelfs als het er op een algemene test nog goed uitziet.

De Nieuwe Manier (GISP - Globale Iteratieve Pruning):
In plaats van kamers één voor één te bekijken, suggereren de auteurs om naar de hele bibliotheek tegelijk te kijken en te vragen: "Als ik dit specifieke boek verwijder, hoeveel schaadt dat dan het vermogen van de bibliotheek om deze specifieke vraag te beantwoorden?"

Hoe GISP Werkt: De Drie Magische Stappen

1. De "One-Shot" Fout (Proberen om alles in één keer te doen)
Als je probeert 50% van de boeken in één grote slag te verwijderen, gooi je misschien per ongeluk de belangrijkste weg. Het is alsof je probeert 25 kilo in één dag af te vallen; je zult crashen en falen. Het artikel toont aan dat dit "alles in één keer" doen ertoe leidt dat de bibliotheek instort en stopt met het maken van zin.

2. De "Iteratieve" Oplossing (De Langzame Trim)
GISP lost dit op door kleine stappen te nemen. Stel je voor dat je een standbeeld beeldhouwt. In plaats van een enorm stuk steen af te hakken, hak je een klein beetje weg, controleer je de vorm, hak je nog een klein beetje weg en controleer je opnieuw.

Het Proces: GISP verwijdert een klein beetje van het model, controleert of het nog werkt, en verwijdert dan nog een klein beetje. Dit herhaalt het vele malen.
Het Voordeel: Hierdoor kan het model zich "aanpassen" naarmate het krimpt. Het voorkomt dat de bibliotheek instort, zelfs wanneer je tot een zeer kleine omvang komt (hoge sparsiteit).

3. De "Geneste" Bibliotheek (Eén keer Prunen, Veelvuldig Deployen)
Dit is een slimme truc. Omdat GISP boeken langzaam en zorgvuldig verwijdert, creëert elke fase van het proces een werkende bibliotheek.

De Analogie: Stel je voor dat je een set Russische doosjes hebt. Je hoeft geen klein doosje, een medium doosje en een groot doosje apart te bouwen. Je bouwt gewoon het grote, en naarmate je de lagen afpelt, komen er van nature perfecte, kleinere versies uit naar voren.
Het Resultaat: Je hoeft alleen het zware werk van "prunen" één keer te doen. Uit dat ene proces krijg je een hele familie modellen: één dat 20% kleiner is, één dat 40% kleiner is, en één dat 50% kleiner is. Je kunt degene kiezen die het beste in je rugzak past zonder extra werk te hoeven doen.

Het Geheime Ingrediënt: Trainen voor de Specifieke Taak

Het artikel benadrukt dat de meeste oude methoden "taalonafhankelijk" zijn. Ze proberen de bibliotheek over het algemeen goed te houden in alles. Maar wat als je alleen wilt dat de bibliotheek geweldig is in medische examens of wiskunde?

De Oude Manier: De pruning-methode kijkt naar een algemene lijst van "belangrijke boeken" en negeert of die boeken helpen bij wiskunde.
De GISP-Manier: GISP kan worden verteld: "We geven alleen om wiskundeproblemen." Het kijkt dan naar de boeken en zegt: "Dit boek is nutteloos voor wiskunde, maar dit ene is cruciaal." Het gebruikt een speciale "score" gebaseerd op de specifieke taak waar je om geeft.
Het Resultaat: Toen de auteurs dit testten op wiskunde- en redeneertaken, hield GISP het model veel slimmer dan de oude methoden, vooral wanneer het model aanzienlijk was verkleind.

De Resultaten in Gewone Taal

De auteurs testten dit op verschillende beroemde AI-modellen (zoals Llama en Mistral). Ze ontdekten dat:

Het beter werkt: Bij hoge niveaus van verkleining (het verwijderen van 40-50% van het model) hield GISP de AI veel slimmer dan de vorige beste methoden.
Het flexibel is: Je kunt een heel scala aan modelgroottes krijgen uit één enkele pruning-run.
Het robuust is: Zelfs als je niet over een enorme hoeveelheid data beschikt om het pruning-proces te "leren", werkt het nog steeds goed.

Samenvatting

Denk aan GISP als een meester-tuinier. In plaats van willekeurig takken af te hakken (de oude manier), snoeien ze de boom voorzichtig centimeter voor centimeter (iteratief), en controleren ze altijd of de boom nog vruchten kan dragen (prestatie). Ze passen de snoei ook aan op de specifieke vrucht die je wilt (taalspecifiek), en omdat ze zo zorgvuldig zijn, kunnen ze je een kleine bonsai, een middelgrote boom of een grote boom geven, allemaal uit dezelfde oorspronkelijke plant, zonder dat je iets opnieuw hoeft te planten.

1. Probleemstelling

Grote Taalmodellen (LLM's) zijn rekenkundig duur, wat efficiënte implementatiestrategieën noodzakelijk maakt. Gestructureerde pruning (het verwijderen van volledige attention-heads of MLP-kanaals) wordt de voorkeur gegeven boven ongestructureerde pruning vanwege hardware-compatibiliteit. Het huidige dominante paradigma is echter Lokale Pruning (bijv. SparseGPT, Wanda), die laagniveau-reconstructiefouten optimaliseert.

Belangrijkste beperkingen van Lokale Pruning:

Taak-agnostisch: Het minimaliseert het verschil tussen de outputs van de gepruinde en dichte lagen, waardoor de algemene perplexiteit behouden blijft, maar het faalt in het optimaliseren voor specifieke downstream-taken.
Beperkte kalibratie: Zelfs bij gebruik van taakspecifieke kalibratiegegevens kunnen lokale methoden taaksignalen niet effectief benutten, omdat hun doelfunctie (laagniveau-MSE) losstaat van het uiteindelijke modelverlies.
Instabiliteit bij hoge sparsiteit: Lokale methoden hebben vaak moeite om nauwkeurigheid te behouden bij hoge pruning-ratio's (40–50%).
Inefficiëntie voor meerdere sparsiteitsniveaus: Om modellen op verschillende sparsiteitsniveaus te verkrijgen, vereisen lokale methoden aparte, onafhankelijke pruning-uitvoeringen voor elke doelratio.

2. Methodologie: GISP (Global Iterative Structured Pruning)

De auteurs stellen GISP voor, een post-training framework voor gestructureerde pruning dat verschuift van lokale reconstructie naar globale, verlies-gealigneerde optimalisatie.

Kerncomponenten:

Globaal Belangsmetriek:
- In plaats van laagniveau-reconstructie definieert GISP belang op basis van de eerste-orde Taylor-expansie van het globale modelverlies ( $L$ ) met betrekking tot gewichtsperturbatie.
- Belangsscore voor een gewicht $W_{ij}$ : $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$ .
- Taak-Alignering: De verliesfunctie $L$ kan worden ingeruild. Voor taalmodellering wordt Perplexity (Cross-Entropy) gebruikt. Voor beslissingsgerichte taken (bijv. QA) wordt een Margin-based Loss gebruikt om de beslissingsgrens tussen juiste en onjuiste antwoorden te behouden.
Iteratief Pruning-schema:
- Probleem: Naïeve "one-shot" globale pruning (het tegelijkertijd verwijderen van alle gewichten) is instabiel en veroorzaakt een ineenstorting van de nauwkeurigheid bij hoge sparsiteit.
- Oplossing: GISP pruneert iteratief. Het past een kleine pruning-ratio ( $\rho_k$ ) toe bij elke stap $k$ over $n$ iteraties, waardoor de totale sparsiteit geleidelijk toeneemt tot de doelwaarde $\rho$ .
- Normalisatie: Om het onevenwicht aan te pakken waarbij Attention-blokken vaak hogere belangsscores hebben dan MLP-blokken, normaliseert GISP scores apart binnen Attention- en MLP-structuren voordat er een globale ranking wordt gemaakt.
"Eén keer prunen, veelvuldig deployen"-workflow:
- Omdat GISP iteratief is, genereert het van nature een geneste subnetwerk-structuur. Het model dat is gepruind tot 20% sparsiteit is een subset van het model dat is gepruind tot 30%, wat op zijn beurt een subset is van het 50%-model.
- Dit maakt het mogelijk dat één enkele pruning-uitvoering een Pareto-frontier van modellen op verschillende sparsiteitsniveaus produceert, waardoor de noodzaak voor meerdere onafhankelijke pruning-uitvoeringen wordt geëlimineerd.

3. Belangrijkste Bijdragen

Herbezinning op Globale Pruning: Toont aan dat globale pruning, wanneer iteratief en post-training wordt uitgevoerd, lokale pruning overtreft in zowel perplexiteit als downstream-nauwkeurigheid, vooral bij hoge sparsiteit (40–50%).
Taakspecifieke Pruning: Introduceert een mechanisme om belang direct te definiëren via taakspecifieke verliesfuncties (bijv. margin-verlies voor QA), waardoor de kloof tussen generieke compressie en taakbewuste optimalisatie wordt overbrugd.
Efficiëntie via Geneste Subnetwerken: Vestigt een "once-for-all"-workflow waarbij één iteratief pruning-proces meerdere bruikbare modellen op verschillende sparsiteitsniveaus oplevert, waardoor de rekenkosten van iteratie worden afgeschreven.
Robuustheid: Toont aan dat GISP effectief blijft, zelfs bij aanzienlijk verminderde kalibratiebudgetten (tot 1% van het standaard token-aantal).

4. Experimentele Resultaten

De auteurs hebben GISP geëvalueerd op Llama2-7B/13B, Llama3-8B, Mistral-0.3-7B, DeepSeek-R1-Distill-Llama-3-8B en Qwen3-8B.

Perplexiteit (WikiText-2): GISP behaalt consequent een lagere perplexiteit dan lokale baselines (Wanda, LLM-Pruner, FLAP, OWL). Bij 50% sparsiteit lijden lokale methoden vaak aan "perplexity collapse" (PPL > 100), terwijl GISP concurrerende PPL behoudt (bijv. ~64 voor Llama2-7B versus ~81 voor Wanda).
Downstream Nauwkeurigheid (CMQA):
- GISP presteert beter dan alle baselines over alle modellen en sparsiteitsniveaus.
- Taakspecifieke Winst: Het gebruik van CMQA-gegevens voor kalibratie en een margin-based loss verbetert de nauwkeurigheid aanzienlijk in vergelijking met het gebruik van generieke C4-gegevens. Bijvoorbeeld, op Llama2-13B bij 40% sparsiteit bereikt GISP (Margin) een nauwkeurigheid van 63,34% versus 59,11% voor Wanda.
Redeneringstaken (GSM8K):
- Op DeepSeek-R1 en Qwen3 verbetert taak-gealigneerde kalibratie (met gebruik van GSM8K-gegevens) de prestaties drastisch. Wanda-sp stort in tot 0% nauwkeurigheid op DeepSeek-R1 bij 20% sparsiteit met generieke kalibratie, terwijl GISP met taakkalibratie 67,93% bereikt.
Efficiëntie:
- Hoewel GISP door de iteraties een hogere totale runtime heeft, is de geamortiseerde tijd per bruikbaar model lager dan bij lokale methoden, omdat het in één uitvoering 112+ bruikbare subnetwerken produceert, terwijl lokale methoden er slechts één per uitvoering produceren.
- Gepruinde modellen tonen aanzienlijke versnellingen in inferentie (tot 1,7x prefill-snelheid) en geheugenreductie (tot 45% bij 50% sparsiteit).

5. Betekenis en Impact

Paradigmaverschuiving: Het artikel daagt de dominantie van op lokale reconstructie gebaseerde pruning uit en bewijst dat globale, verlies-gealigneerde pruning superieur is voor LLM's wanneer iteratief wordt geïmplementeerd.
Praktische Implementatie: De "prune-once, deploy-many"-capaciteit is zeer waardevol voor edge-implementatie, waardoor één enkel modelbestand dynamisch kan worden aangepast aan verschillende hardware-beperkingen zonder opnieuw te prunen.
Taakadaptatie: Het biedt een robuust kader voor het aanpassen van LLM's aan specifieke domeinen (bijv. medisch, wiskunde) zonder volledige fine-tuning, simpelweg door de kalibratiegegevens en het verliesdoel tijdens de pruning-fase te wijzigen.
Ressourcenefficiëntie: Door robuustheid te demonstreren met minimale kalibratiegegevens, verlaagt GISP de drempel voor het toepassen van gestructureerde pruning op grote modellen in omgevingen met beperkte middelen.

Kortom, GISP biedt een eenvoudige maar krachtige alternatief voor huidige pruning-methoden, met hogere nauwkeurigheid, betere stabiliteit bij hoge sparsiteit en grotere flexibiliteit voor taakspecifieke implementatie.