Motivating Next-Gen Accelerators with Flexible (N:M) Activation Sparsity via Benchmarking Lightweight Post-Training Sparsification Approaches

Dit onderzoek toont aan dat post-training N:M-sparse activaties in grote taalmodellen, met name met het 8:16-patroon, een efficiëntere en hardware-vriendelijke oplossing bieden voor inferentie dan traditionele weegs-pruning, terwijl de generatieve prestaties behouden blijven.

De kern

🚀 De Kernboodschap: Slimmer Verkeersbeheer voor AI

Stel je voor dat een Grote Taalmodel (LLM) (zoals de slimme AI's die we vandaag gebruiken) een gigantisch, drukke stad is. Om deze stad te laten draaien, moeten er miljoenen auto's (data) door de straten rijden.

Op dit moment proberen ingenieurs de stad sneller te maken door wegen te sluiten (dit noemen ze 'sparsification'). Maar ze doen het op een ouderwetse manier: ze sluiten altijd precies de helft van de rijstroken in elke straat, ongeacht of er nu een file staat of dat de weg helemaal leeg is. Dit heet 2:4 weight sparsification. Het werkt, maar het is niet flexibel genoeg.

De auteurs van dit paper zeggen: "Wacht even! Waarom sluiten we niet de verkeerslichten uit die geen auto's hebben?"

Ze pleiten voor Activerings-Sparsity. In plaats van statische wegen te sluiten, kijken ze naar de auto's zelf (de activeringen) die op dat specifieke moment rijden. Als er op een bepaald moment geen auto is op een bepaalde straat, dan sluiten ze die straat gewoon tijdelijk af. Dit is veel flexibeler en kan de stad veel sneller maken.

---

🔍 Het Probleem: De Huidige Hardware is Stug

De huidige computerchips (hardware) zijn gebouwd om alleen die statische "2:4" wegsluitingen te begrijpen. Ze zijn als een verkeerscentrale die alleen werkt met vaste schema's.

De onderzoekers zeggen: "De toekomstige generatie chips moet kunnen omgaan met flexibele N:M patronen."

• N:M betekent: In een blok van M straten, sluit je er N af.
• Ze testen patronen als 8:16 (8 van de 16 straten openhouden) of 16:32.

De Analogie:

• 2:4 (Huidig): Je mag in een blok van 4 straten altijd maar 2 gebruiken. Het maakt niet uit of de andere 2 leeg zijn of vol. Je hebt maar 6 mogelijke combinaties.
• 8:16 (Nieuw): Je mag in een blok van 16 straten 8 kiezen. Je hebt 12.870 mogelijke combinaties! Dit is als een verkeerscentrale die in real-time kan beslissen welke straten het beste open zijn, gebaseerd op het huidige verkeer.

---

🧪 Wat hebben ze gedaan? (De Experimenten)

De onderzoekers hebben vier populaire AI-modellen (Llama, Qwen, Gemma) getest. Ze hebben geprobeerd de "auto's" (activaties) te verwijderen die weinig bijdragen, zonder dat de AI "dwaas" wordt.

Ze hebben twee dingen vergeleken:

1. Wegsluiten (Weight Pruning): Je verwijdert straten permanent. Dit is snel, maar als je een verkeerde straat verwijdert, kan de hele stad in de war raken.
2. Auto's negeren (Activation Pruning): Je kijkt per ritje welke auto's er niet zijn en slaat die over. Dit is veiliger en behoudt de kwaliteit van de AI beter.

Het Resultaat:
Het blijkt dat Auto's negeren (Activeringen) veel beter werkt dan Wegsluiten (Gewichten). De AI blijft slimmer, zelfs als je veel data weglaat.

---

🛠️ De Oplossingen: Hoe maak je het werkend?

Als je auto's weghaalt, kan de stad in de war raken (de AI wordt minder accuraat). De onderzoekers hebben "reparatietools" ontwikkeld om dit op te lossen, zonder dat je de hele stad opnieuw hoeft te bouwen (zonder opnieuw te trainen):

1. De "Verkeersdrukte-Correctie" (VAR - Variance Correction):
   Als je halve auto's weghaalt, is de drukte in de stad lager. Deze tool past de snelheid van de resterende auto's aan, zodat het totaalbeeld hetzelfde blijft.
2. De "Nul-Shift" (PTS - Per-Token Shift):
   Soms zijn de auto's net iets te zwaar of licht. Deze tool schuift de balans een beetje bij, zodat de weg weer glad is.
3. De "Slimme Keuze" (CLACT & Amber-Pruner):
   In plaats van willekeurig auto's te kiezen, kijken deze methoden naar de context. "Is deze auto belangrijk voor de route?" Als ja, dan blijft hij rijden.

---

🏆 De Grote Winnaars

De onderzoekers hebben verschillende patronen getest:

• 2:4 (Huidig): Werkt, maar niet geweldig. De AI wordt ongeveer 14% minder goed.
• 16:32 (De "Super Flexibele"): Werkt bijna net zo goed als als je niets zou verwijderen (ongeveer 5% verlies). Maar dit is misschien te complex voor de huidige hardware.
• 8:16 (De "Gouden Middenweg"): Dit is hun favoriet. Het is twee keer zo goed als de huidige 2:4 methode (alleen 7% verlies in plaats van 14%), maar het is nog steeds haalbaar om te bouwen in nieuwe computerchips.

💡 Waarom is dit belangrijk?

Dit paper is een oproep aan de hardwarebouwers (zoals NVIDIA, AMD, Intel):
"Stop met alleen maar 2:4 te ondersteunen. Bouw chips die 8:16 of 16:32 kunnen aan. Als jullie dit doen, kunnen we AI-modellen veel sneller en zuiniger laten draaien, zonder dat ze dommer worden."

Het is alsof ze zeggen: "Jullie hebben een auto met een stug stuurwiel. Als jullie een stuurbekrachtiging bouwen die flexibel reageert op de weg, kunnen we sneller rijden zonder ongelukken."

Samenvatting in één zin:

Door slim te kijken naar welke data echt nodig is op het moment zelf (in plaats van statische regels), kunnen we AI veel sneller maken, en de onderzoekers zeggen dat de computerchips van de toekomst hier specifiek voor moeten worden gebouwd.

Technische samenvatting

1. Het Probleem

De vraag naar efficiënte inferentie van Large Language Models (LLM's) is enorm toegenomen. Hoewel kwantisatie en sparsificatie (het weglaten van parameters) veelbelovende oplossingen zijn, is de huidige hardware-ondersteuning voor sparsificatie beperkt tot 2:4 gestructureerde gewichtssparsificatie (waarbij in elke blokk van 4 gewichten er 2 nul zijn).

Dit creëert twee belangrijke beperkingen:

• Statische beperking: Gewichtssparsificatie is statisch en kan de modelkwaliteit onomkeerbaar degraderen.
• Gemiste kansen bij Activaties: Activaties (de tussentijdse output van neurale netwerken) zijn vaak al van nature spaarzaam (veel waarden zijn dicht bij nul of nul). Het weglaten van deze actieve waarden biedt potentieel voor dynamische, input-afhankelijke compressie met aanzienlijke voordelen voor I/O-bandbreedte en geheugen. Echter, post-training activiteitssparsificatie wordt over het hoofd gezien in hardwareontwerp, en bestaande methoden zijn vaak niet getest op flexibele N:M patronen (zoals 8:16 of 16:32) zonder zware hertraining.

2. Methodologie

De auteurs voeren een uitgebreide post-training studie uit om de effectiviteit van N:M activiteitssparsificatie te benchmarken.

• Modellen: De studie omvat vier diverse LLM's: Llama2-7B-chat, Llama3.1-8B-Instruct, Qwen2.5-7B-Instruct en Gemma3-4B-Instruct.
• Sparsificatiepatronen: Er worden verschillende semi-gestructureerde patronen getest: 2:4, 4:8, 8:16 en 16:32. Dit betekent dat in blokken van grootte M, er N niet-nul elementen worden behouden.
• Selectiecriteria (Welke activaties te verwijderen?):
  • ACT: Absolute grootte van de activatie.
  • WT: Grootte van het bijbehorende gewicht.
  • CLACT: Een contextbewuste metriek gebaseerd op cosine-verlies (geïnspireerd op output-cosine-similariteit).
  • Amber-Pruner: Een methode die gewichtuitbijters verwijdert en activaties scoort op basis van gewichtsgrootte.
• Foutmitigatie (Hoe het verlies te compenseren?):
  De auteurs evalueren lichtgewicht, "plug-and-play" technieken die minimale of geen kalibratie-data vereisen:
  • D-/S-/L-PTS: Dynamische, statische of leerbare per-token verschuivingen (centering) om activaties dicht bij nul te brengen.
  • VAR: Variatiecorrectie na sparsificatie om de schaal van de output te herstellen.
  • R-Sparse: Combinatie van activiteitssparsificatie met een laag-rang (low-rank) benadering van de gewichten.
• Evaluatie: De methoden worden getest op diverse benchmarks (BoolQ, WinoGrande, PIQA, ARC, IFEval, etc.) met behulp van de LM Eval Harness.

3. Belangrijkste Bijdragen

1. Activaties vs. Gewichten: Het paper demonstreert dat activiteitssparsificatie consistent beter presteert dan gewichtssparsificatie bij gelijke sparsiteitsniveaus. Activaties behouden de modelcapaciteit beter omdat ze input-adaptief zijn.
2. Benchmark van Foutmitigatie: Er wordt een reeks nieuwe en bestaande, lichtgewicht technieken geëvalueerd. Methodes zoals CLACT (selectie) en VAR en S-PTS (correctie) blijken sterke baselines te vormen die geen zware hertraining vereisen.
3. Optimalisatie van N:M Patronen: De studie toont aan dat grotere patronen (zoals 8:16 en 16:32) aanzienlijk beter presteren dan het standaard 2:4 patroon.
   • 16:32 benadert de prestaties van ongestructureerde 50% sparsificatie.
   • 8:16 biedt de beste balans tussen nauwkeurigheid en praktische haalbaarheid voor toekomstige hardware.

4. Resultaten

• Superioriteit van Activaties: Bij ongestructureerde sparsificatie (50%) leidt het verwijderen van gewichten tot een veel grotere prestatiedaling dan het verwijderen van activaties.
• Patroonvergelijking:
  • Het 2:4 patroon (huidige hardware-standaard) resulteert in een prestatiedaling van ongeveer 14,35%.
  • Het 8:16 patroon vermindert deze daling tot 7,38%.
  • Het 16:32 patroon vermindert de daling verder tot 5,40%, wat zeer dicht bij de prestaties van ongestructureerde 50% sparsificatie (4,30% daling) ligt.
• Beste Technieken:
  • Voor selectie presteren CLACT en Amber-Pruner beter dan simpele magnitude-pruning.
  • Voor foutcorrectie blijken S-PTS (statische verschuiving) en VAR (variatiecorrectie) het meest effectief en lichtgewicht.
  • Opmerkelijk: L-PTS (leerbare verschuiving) presteerde slechter dan de statische variant, wat suggereert dat complexe aanpassingen zonder hertraining niet altijd helpen.
• Taak-specifieke resultaten: De methoden werken uitstekend voor meerkeuzevragen (QA), maar er is een grotere degradatie bij generatieve taken (zoals IFEval), wat wijst op een bias in de huidige evaluatie naar de "prefill"-fase van inferentie.

5. Betekenis en Conclusie

Dit werk biedt concrete bewijzen dat de volgende generatie hardware-versnellers (accelerators) native ondersteuning voor N:M activiteitssparsificatie moet overwegen, en niet alleen voor 2:4 gewichtssparsificatie.

• Hardware Implicaties: Het ondersteunen van flexibeler patronen zoals 8:16 biedt een veel grotere flexibiliteit in configuraties (van 6 mogelijke layout's bij 2:4 naar 12.870 bij 8:16) tegen een bescheiden toename in metadata-kosten.
• Efficiëntie: Hoewel dynamische activiteitssparsificatie op huidige hardware extra berekeningen vereist, toont de analyse aan dat met gespecialiseerde hardware (zoals dedicated sparsity controllers en statistische eenheden) een netto snelheidswinst van >1,6x haalbaar is.
• Toekomstvisie: De auteurs pleiten voor 8:16 als de optimale doelstelling voor de korte termijn, omdat het een verdubbeling van de nauwkeurigheid behoudt ten opzichte van 2:4 biedt, terwijl het technisch haalbaar blijft voor toekomstige chip-ontwerpen.

Kortom, dit paper schakelt de focus van statische gewichtssparsificatie naar dynamische activiteitssparsificatie en levert de benchmark-data en methodologische basis om hardware-ontwikkelaars te motiveren voor de volgende generatie spaarzaamheidsbewuste architecturen.