💬 NLP

Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model

Dit artikel stelt een trainingsvrije, batch-gewijze adaptieve pruning-methode voor voor Large Reasoning Models voor, die periodieke top-k selectie en een activatiegeheugenmechanisme gebruikt om de nauwkeurigheidsdegradatie van bestaande methoden bij batch-inferentie te overwinnen, waarbij significante versnellingen worden bereikt terwijl een hoge redeneerprestatie behouden blijft.

Oorspronkelijke auteurs: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Gepubliceerd 2026-08-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel moeilijk puzzel probeert op te lossen, zoals een complexe wiskundige som of een lastig logisch raadsel. Je hebt een briljante maar zeer hongerige assistent (een Large Reasoning Model) die de stappen kan doordenken om het antwoord te vinden. Het nadeel? Deze assistent is zo grondig dat hij een enorme, stapsgewijze dagboekregistratie van zijn gedachten opschrijft voordat hij het uiteindelijke antwoord geeft. Hoewel deze "chain of thought" (keten van gedachten) de assistent ongelooflijk slim maakt, maakt het hem ook traag en duur om te draaien, alsof je een supercomputer probeert aan te sturen met een enkele AA-batterij.

Om deze assistent sneller te maken, proberen wetenschappers hem te "prunen" (snoeien)—in feite vertellen ze de assistent om bepaalde delen van zijn brein (neuronen) te negeren die hij op dat moment blijkbaar niet nodig heeft. Denk hierbij aan een chefkok die, terwijl hij een enorm banket bereidt, besluit te stoppen met het snijden van groenten voor gerechten die nog niet besteld zijn. Het probleem is dat wanneer je probeert te koken voor een hele menigte (batch inference), de oude methoden om te beslissen wat er gesneden moet worden, in de war raken. Ze gebruiken een vaste regel die werkt voor één persoon, maar die in de war raakt wanneer deze wordt toegepast op een groep. Dit zorgt ervoor dat de assistent vergeet hoe hij moet denken en begint met het herhalen van onzin. Dit artikel introduceert een nieuwe, slimmere manier om te beslissen wat er gesnoeid moet worden, zodat de assistent scherp blijft, zelfs wanneer hij een menigte bedient.

Het Probleem: De "Eén-maat-voor-iedereen"-fout

Stel je voor dat je een dirigent bent die een orkest leidt. Als je slechts één violist hebt, kun je gemakkelijk zeggen: "Speel nu hard, en speel later zacht." Maar als je een hele sectie violisten hebt die samen spelen (een batch), en je geeft hen allemaal exact dezelfde instructie op basis van wat één violist gewoon zou doen, kan de muziek een puinhoop worden.

Dit is precies wat er gebeurt met huidige AI-modellen wanneer ze proberen meerdere verzoeken tegelijk te verwerken. Bestaande methoden om deze modellen te versnellen, maken gebruik van een "drempelwaarde"-regel. Het is alsof je zegt: "Als de activiteit van een neuron boven de 5 ligt, behoud het; als het onder de 5 ligt, zet het uit." Dit werkt prima wanneer de AI alleen denkt. Maar wanneer je een batch van verschillende vragen aan de AI voert, worden de "activiteitsniveaus" van de neuronen bij elkaar gemengd, waardoor het gemiddelde verschuift. De oude regel (de drempelwaarde van 5) komt niet langer overeen met de nieuwe realiteit. Het resultaat? De AI zet per ongeluk de verkeerde neuronen uit, het "brein" wordt wazig en de AI begint te falen bij redeneertaken. Het artikel laat zien dat wanneer je deze modellen probeert te draaien op een batch van 4 verzoeken, de bestaande methoden bijna al hun intelligentie verliezen en de nauwkeurigheid met enorme marges dalen (soms meer dan 50 punten).

De Oplossing: Een Periodieke "Top-K"-Strategie met een Geheugen

De auteurs stellen een nieuwe methode voor genaamd Batch-wise Adaptive Pruning. In plaats van een starre "pass/fail"-lijn (drempelwaarde) te gebruiken, gebruiken ze een slimmere, flexibelere aanpak met twee belangrijke trucs.

Ten eerste stoppen ze met het gebruik van de vaste lijn en gaan ze over op een "Top-K"-selectie. Stel je voor dat je een groep van 100 hardlopers (neuronen) hebt en er is maar plek voor 50 in de bus. In plaats van te zeggen: "Alleen rennen als je sneller bent dan 10 seconden," zeg je simpelweg: "De 50 snelste hardlopers mogen in de bus." Dit maakt niet uit of de hardlopers vandaag over het algemeen sneller of langzamer zijn; je kiest altijd de beste 50. Dit lost het probleem van de "verschuivende distributie" op dat de oude methoden kapot maakte.

Ten tweede realiseerden ze zich dat belangrijke neuronen niet zomaar één keer vuren en dan verdwijnen; ze hebben een ritme. Het artikel observeerde dat tijdens lange redeneertaken de belangrijkste neuronen de neiging hebben om "opnieuw te vuren" (wakker te worden en werk te verrichten) in een regelmatig patroon, ongeveer elke 22,8 tokens (tekstblokken). Om dit ritme te vangen, werkt de nieuwe methode zijn pruning-masker alleen periodiek bij (elke 20 stappen) in plaats van bij elk woord. Dit bespaart tijd omdat de computer niet bij elk klein moment hoeft te stoppen en opnieuw te berekenen welke neuronen behouden moeten blijven.

Maar het meest slimme deel is dat ze een Activation Memory (activatiegeheugen) hebben toegevoegd. Denk aan dit als een "highlight reel" of een plaknotitie. Als een neuron superbelangrijk was in de eerste batch gedachten, houdt het geheugen een verslag daarvan bij. Zelfs als het neuron een paar stappen stil is, zorgt het geheugen ervoor dat het neuron niet uit de bus wordt gezet, alleen omdat het een kort dutje heeft genomen. Op deze manier behoudt de AI de neuronen die consistent belangrijk zijn over een bepaalde tijd, wat voorkomt dat het de logica die het begon te volgen, vergeet.

De Resultaten: Snel, Slim en Klaar voor de Menigte

De auteurs hebben deze nieuwe methode getest op krachtige redeneermodellen (specifiek DeepSeek-R1-Distill-Qwen-7B en DeepSeek-R1-Distill-Llama-8B) met behulp van moeilijke wiskunde- en wetenschappelijke benchmarks. De resultaten waren opmerkelijk.

Wanneer de methode wordt uitgevoerd met een batchgrootte van 4 (het tegelijk verwerken van vier vragen) en met als doel de modelgrootte met 50% te verkleinen:

De oude beste methode (TEAL) stortte in en behaalde slechts ongeveer 14,3% gemiddelde nauwkeurigheid.
De nieuwe methode behield een sterke gemiddelde nauwkeurigheid van 54,0%.
Dit is een enorme verbetering van 39,7 procentpunt.

Bovendien maakte de nieuwe methode de modellen daadwerkelijk sneller. Door het onnodige werk weg te laten, bereikte het een versnelling van 1,40x vergeleken met het draaien van het volledige, niet-geprunte model. Het artikel merkt op dat deze versnelling vooral nuttig is wanneer de computer druk is (compute-bound), wat gebeurt wanneer je veel verzoeken tegelijk verwerkt.

Wat Dit Betekent

De auteurs benadrukken dat deze methode "training-free" is, wat betekent dat het niet vereist om het model opnieuw te onderwijzen; het past alleen de manier waarop het model in realtime werkt aan. Ze wijzen er ook op dat hoewel andere methoden misschien werken voor eenvoudige taken, ze spectaculair falen bij complexe redeneringen wanneer ze in batches worden uitgevoerd. Deze nieuwe aanpak, door een periodieke update en een geheugen van wat belangrijk is te gebruiken, houdt het redeneervermogen van de AI scherp terwijl het het efficiënt genoeg maakt om real-world workloads te verwerken waarbij veel gebruikers tegelijk vragen stellen. Het is een praktische oplossing die deze enorme, slimme modellen sneller laat draaien zonder hun vermogen om diep na te denken te verliezen.

Technische Samenvatting: Batch-gewijze Adaptieve Pruning voor Grote Reasoning Modellen

Probleemstelling
Grote Reasoning Modellen (LRM's) behalen hoge prestaties op complexe taken door middel van uitgebreide chain-of-thought generatie, maar brengen aanzienlijke computationele kosten met zich mee. In productieomgevingen vereist een hoge doorvoer batch-inferentie (het gelijktijdig verwerken van meerdere samples). Echter, bestaande training-vrije adaptieve pruning-methoden, zoals TEAL en CATS, falen significant in dit regime.

Het kernmechanisme van het falen is tweeledig:

Distributieverschuiving: Bestaande methoden gebruiken één enkele pruning-masker voor de gehele batch. Ze aggregeren per-sample activaties (bijv. via het gemiddelde) en passen een drempelwaarde toe die offline is gekalibreerd op single-sample distributies. Deze aggregatie verschuift de activatiedistributie, waardoor de drempelwaarde niet langer overeenkomt met de data, wat leidt tot een drift in de gerealiseerde sparsiteitsratio en een instorting van de redeneernauwkeurigheid.
Statisch versus Dynamisch Tegenwicht: Statische pruning-methoden (vaste patronen) kunnen evoluerende activatiepatronen tijdens lange reasoning-ketens niet bijhouden. Omgekeerd is het selecteren van een nieuw masker bij elke token-stap computationeel te kostbaar, wat de snelheidswinst tenietdoet.

Methodologie
De auteurs stellen Batch-gewijze Adaptieve Pruning voor, een training-vrije methode die specif kind is ontworpen voor batch-inferentie in LRM's. De aanpak steunt op twee primaire componenten:

Periodieke Top-k Selectie:
- In plaats van een gekalibreerde drempelwaarde te gebruiken (die gevoelig is voor distributieverschuivingen), maakt de methode gebruik van top-k selectie op geaggregeerde belangrijkheidsscores. Top-k selectie is alleen afhankelijk van de relatieve ordening van scores, wat het robuust maakt tegen de distributieverschuivingen veroorzaakt door batch-aggregatie.
- Om de computationele overhead van het updaten van het masker bij elke token te vermijden, wordt het pruning-masker periodiek (elke $T_{trans}$ stappen) bijgewerkt in plaats van bij elke decoding-stap.
- Batch-aggregatie: Voor een batch van $B$ samples worden per-sample belangrijkheidsscores geaggregeerd tot een enkele vector met behulp van een element-gewijze maximum (in plaats van een gemiddelde). Deze conservatieve aanpak zorgt ervoor dat een neuron die cruciaal is voor ten minste één sample een hoge score behoudt, waardoor wordt voorkomen dat deze wordt gepruned vanwege een lage activatie in andere samples binnen dezelfde batch.
Activatiegeheugen:
- Observaties van LLM-activatiepatronen laten zien dat belangrijke neuronen periodiek opnieuw vuren tijdens lange reasoning-generaties (bijv. opnieuw vuren elke ~22 tokens met een re-firing ratio van ~76%).
- Om dit te vangen, houdt de methode een activatiegeheugen bij dat belangrijkheidsscores accumuleert over update-fasen. Het geheugen wordt bijgewerkt via een element-gewijs maximum ( $m_n \leftarrow \max(m_{n-1}, s_n)$ ).
- Dit zorgt ervoor dat neuronen die in eerdere fasen als belangrijk zijn geïdentificeerd, kandidaten blijven voor behoud, zelfs als hun activatie tijdelijk daalt, waardoor het masker kan adapteren aan evoluerende patronen zonder kritieke componenten te verliezen.

Algoritme Flow
De methode werkt in drie fasen tijdens autoregressieve generatie:

Input Fase: Verwerkt de initiële prompt om initiële belangrijkheidsscores te berekenen.
Dense Exploratie Fase: Voert een vastgesteld aantal dense stappen uit ( $T_{init}$ ) om de reasoning-richting vast te stellen en context-specifieke activatiestatistieken te verzamelen. Het geheugen wordt bijgewerkt en het eerste pruning-masker wordt gegenereerd.
Periodieke Adaptieve Pruning Fase: Wisselt af tussen sparse computation ( $T_p$ stappen) en dense exploratie ( $T_E$ stappen). Aan het einde van elke dense exploratie-fase wordt het activatiegeheugen bijgewerkt en wordt een nieuw top-k masker gegenereerd op basis van het geaccumuleerde geheugen.

Belangrijkste Bijdragen

Empirische Identificatie van Batch-instorting: Het artikel is de eerste die empirisch aantoont dat bestaande training-vrije pruning-methoden (zowel statisch als adaptief) ernstig presteren op reasoning-taken onder batch-inferentie. Specifiek verliezen adaptieve methoden zoals TEAL 58,4 tot 67,7 procentpunten aan gemiddelde nauwkeurigheid bij een batchgrootte van 4 vergeleken met dense modellen.
Robuust Batch-Pruning Framework: De auteurs introduceren een methode die de nauwkeurigheid in batch-settings behoudt door threshold-gebaseerde selectie te vervangen door periodieke top-k selectie en een activatiegeheugen te integreren om de terugkerende neuron-belangrijkheid te volgen.
Kalibratie-vrije Werking: In tegenstelling tot methoden die offline kalibratie op externe corpora vereisen (zoals Wanda, TEAL), vertrouwt deze methode uitsluitend op runtime-activaties, waardoor het kalibratie-vrij is.

Experimentele Resultaten
Experimenten zijn uitgevoerd op DeepSeek-R1-Distill-Qwen-7B en DeepSeek-R1-Distill-Llama-8B over vijf reasoning-benchmarks (GSM8K, MATH500, MINERVA, AMC23, GPQA-DIAMOND).

Nauwkeurigheid: Bij een target sparsity van 50% en een batchgrootte van 4, presteert de voorgestelde methode met 39,7 procentpunten in gemiddelde nauwkeurigheid beter dan de vorige state-of-the-art (TEAL) op het Qwen-7B model (54,0% vs. 14,3%) en met 24,1 punten op het Llama-8B model.
Stabiliteit: In tegen tegenstelling tot TEAL, dat een hoge prestatie laat zien bij batchgrootte 1 maar instort naarmate de batchgrootte toeneemt, behoudt de voorgestelde methode een consistente prestatie over alle batchgroottes (1, 4, 8, 16).
Versnelling: De methode bereikt een 1,40× versnelling ten opzichte van dense inferentie bij 50% werkelijke sparsity op het Qwen-7B model. De versnelling is prominenter in batch-settings omdat de methode structureel de dimensies van de gewichtsmatrix vermindert, wat de berekening direct verlaagt, terwijl methoden die vertrouwen op het overslaan van nul-activaties minder effectief worden wanneer de workload verschuift van memory-bound naar compute-bound.
Hoge Sparsity: De methode behoudt sterke prestaties, zelfs bij hoge sparsity-niveaus (bijv. 71,0% nauwkeurigheid bij 50% target sparsity), terwijl baselines scherp degraderen voorbij 40% sparsity.

Betekenis en Claims
Het artikel claimt dat de methode een kritieke bottleneck aanpakt bij het implementeren van Grote Reasoning Modellen: de incompatibiliteit van bestaande adaptieve pruning-technieken met batch-inferentie. Door het distributieverschuivingsprobleem inherent aan batch-aggregatie op te lossen en gebruik te maken van de periodieke aard van neuron re-firing, maakt de methode efficiënte, hoog-doorvoet inferentie mogelijk zonder de prestatie-instorting die bij eerdere benaderingen optreedt. De auteurs benadrukken dat hun winsten worden gedreven door de periodieke top-k selectie en het activatiegeheugen, in plaats door de specifieke keuze van de aggregatie-operator (max vs. mean), die slechts marginale verschillen in prestatie vertoonde.

Technische Samenvatting: Batch-gewijze Adaptieve Pruning voor Grote Reasoning Modellen

Meer zoals dit