🤖 machine learning

Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks

Dit artikel stelt Spiking Brain Compression (SBC) voor, een nieuw one-shot post-training framework dat de Optimal Brain Surgeon-methode uitbreidt naar Spiking Neural Networks door gebruik te maken van een op spike-trains gebaseerde doelstelling met een goedkoop berekenbare Hessian, waarmee het state-of-the-art compressieprestaties en significante nauwkeurigheidswinsten behaalt ten opzichte van bestaande methoden over diverse datasets en architecturen heen.

Oorspronkelijke auteurs: Lianfeng Shi, Ao Li, Benjamin Ward-Cherrier

Gepubliceerd 2026-01-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lianfeng Shi, Ao Li, Benjamin Ward-Cherrier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel slim, energiezuinig robotbrein hebt: een Spiking Neural Network (SNN). In tegen tegen de gewone computerbreinen die constant met getallen kletsen, "praat" dit robotbrein alleen wanneer het iets belangrijks te melden heeft, met behulp van kleine elektrische vonken die spikes worden genoemd. Dit maakt het ongelooflijk snel en energiezuinig, perfect voor speciale chip-hardware die het menselijk brein nabootst.

Echter, deze robotbreinen zijn vaak te groot en zwaar om op de kleine, draagbare chips te passen die we willen gebruiken. We moeten ze verkleinen zonder dat ze "vergeten" hoe ze moeten denken.

Het Probleem: Het "Zware Tilwerk" van Verkleinen

In het verleden was het verkleinen van deze netwerken alsof je een enorm boek probeerde te bewerken door de hele tekst steeds opnieuw te herschrijven. Je haalde een zin eruit, las het hele boek om te zien of het nog wel klopte, haalde nog een zin weg, en herhaalde dit proces. Dit proces, genaamd iteratieve training, kost een enorme hoeveelheid tijd en energie. Voor de grootste, meest complexe robotbreinen (zoals die gebruikt worden voor ImageNet of Transformers) is dit "herschrijvingsproces" zo duur dat het bijna onmogelijk is om te doen.

De Oplossing: "Spiking Brain Compression" (SBC)

De auteurs van dit paper introduceerden een nieuwe methode genaamd Spiking Brain Compression (SBC). Denk aan SBC als een "one-shot, chirurgische snoei". In plaats van het boek steeds opnieuw te herschrijven, neem je één enkele, precieze blik op de tekst en besluit je direct welke woorden je wegknipt en hoe je de resterende woorden aanpast, zodat het verhaal nog steeds perfect vloeit.

Zo hebben ze het gedaan, met behulp van enkele eenvoudige analogieën:

1. De Foutieve Methode: Het Verkeerde Meten

Eerdere pogingen om deze netwerken te verkleinen, gebruikten een liniaal die ontworpen is voor reguliere computers (Artificial Neural Networks). Ze maten de "stroom" of de ruwe getallen. Maar voor een spiking brein is het belangrijkste niet het ruwe getal, maar de timing van de vonken (de spike train).

Analogie: Stel je voor dat je de kwaliteit van een drumsolo probeert te beoordelen door te meten hoe hard de drumstokken op de grond vallen, in plaats van te luisteren naar het ritme van de beats. Je zou een verkeerd beeld krijgen van wat de muziek goed maakt.

2. De Juiste Methode: Luisteren naar het Ritme

De auteurs creëerden een nieuwe "liniaal" gebaseerd op de Van Rossum Distance. Deze meet hoe vergelijkbaar de timing van de vonken is vóór en na de inkorting.

Analogie: In plaats van alleen te tellen hoeveel woorden er in een zin zitten, luisteren ze naar het ritme van de spraak. Als ze een woord verwijderen, controleren ze of het ritme van de zin nog steeds natuurlijk aanvoelt.

3. De Magische Truc: De "Surrogate Membrane Potential"

Om deze "one-shot" inkorting mogelijk te maken, hebben ze een slimme afkorting uitgevonden genaamd de Surrogate Membrane Potential (SMP).

De Wiskundige Metafoor: Normaal gesproken vereist het berekenen van de exacte impact van een inkorting op het hele brein het oplossen van een gigantische, complexe puzzel (een "Hessian matrix") die eeuwen duurt. De auteurs hebben een manier gevonden om deze puzzel te benaderen met een eenvoudig, vlak oppervlak dat makkelijk te berekenen is.
Het Resultaat: Ze kunnen naar het netwerk kijken, de beste inkervingen berekenen en de resterende delen repareren in één enkele backward pass. Het is als een meesterkleermaker die naar een pak kan kijken, precies kan markeren waar hij moet knippen, en direct weet hoe hij de naden moet laten uitlopen om de pas perfect te houden — en dat alles in één seconde.

Wat Hebben Ze Bereikt?

Het paper testte deze "one-shot" methode op diverse robotbreinen, van kleine breinen die handgebaren herkennen tot enorme breinen die afbeeldingen herkennen (zoals ImageNet).

Snelheid: Het is 10 tot 1.000 keer sneller dan de oude methoden die hertraining vereisten.
Nauwkeurigheid: Zelfs toen ze 90% of meer van de verbindingen wegknipten (waardoor het brein zeer "sparse" werd), herinnerde het robotbrein zich nog steeds bijna even goed hoe het zijn werk moest doen als daarvoor.
Veelzijdigheid: Het werkte zowel op "event-based" data (zoals een camera die alleen beweging ziet) als op standaard statische afbeeldingen.
Kleine Datasets: Ze bewezen dat je geen enorme bibliotheek aan voorbeelden nodig hebt om deze methode af te stemmen. Je kunt het doen met slechts een paar monsters per categorie (soms zelfs minder dan één monster per klasse!), en het werkt nog steeds betrouwbaar.

De Kern van het Verhaal

Het paper beweert dat Spiking Brain Compression (SBC) de nieuwe state-of-the-art manier is om deze speciale robotbreinen te verkleinen. Het stelt ons in staat om enorme, vooraf getrainde modellen te nemen en ze direct te comprimeren voor gebruik op kleine, energiezuinige hardware, zonder dat we dagen of weken hoeven te besteden aan hertraining. Het is een "knippen en plakken" oplossing die het ritme van het brein intact houdt, terwijl het klein genoeg wordt gemaakt om in je broekzak te passen.

Technische Samenvatting: Post-Training Second-order Compressie voor Spiking Neural Networks

1. Probleemstelling

Spiking Neural Networks (SNN's) bieden aanzienlijke voordelen in energie-efficiëntie voor neuromorfische hardware (bijv. Loihi, SpiNNaker, TrueNorth) vanwege hun ijle, event-gebaseerde aard. Deze hardwareplatforms beschikken echter over beperkte geheugen- en rekenbronnen, wat modelcompressie noodzakelijk maakt.

Huidige state-of-the-art (SOTA) compressiemethoden voor SNN's kampen met twee primaire beperkingen:

Hoge computationele kosten: De meeste bestaande pruning- en kwantisatietechnieken vertrouwen op iteratieve pruning-en-her trainingscycli of vereisen training vanaf nul (bijv. de Lottery Ticket Hypothesis-benaderingen). Dit is evenredig duur voor grootschalige, vooraf getrainde SNN's, zoals SEW-ResNet152 of Spiking Transformers.
Onbruikbaarheid van ANN-methoden: Naïve toepassing van one-shot post-training compressiemethoden ontworpen voor Artificiële Neurale Netwerken (ANN's), zoals Optimal Brain Compression (OBC), levert suboptimale resultaten op. Dit komt door een fundamenteel verschil tussen de continue output-doelstellingen van ANN's en de discrete, tijdsafhankelijke spike-treinen van SNN's.

Het artikel adresseert de behoefte aan een computationeel efficiënt, one-shot post-training compressiekader dat moderne, grootschalige SNN-architecturen kan verwerken zonder hertraining te vereisen.

2. Methodologie: Spiking Brain Compression (SBC)

De auteurs stellen Spiking Brain Compression (SBC) voor, een laag-voor-laag, second-order compressie-algoritme dat het Optimal Brain Surgeon (OBS) framework uitbreidt naar SNN's.

2.1. Module-gewijze Formulering

SNN's worden module-voor-module gecomprimeerd, waarbij een module bestaat uit lineaire/convolutie lagen gevolgd door een Leaky-Integrate-and-Fire (LIF) neuronlaag. Het doel is om gecomprimeerde gewichten $\hat{W}$ te vinden die de distortie tussen de originele output spike-trein $S$ en de gecomprimeerde output $\hat{S}$ minimaliseren.

2.2. Verliesfunctie: Van Rossum Afstand (VRD)

In tegenstelling tot ANN's die de kwadratische fout op continue activaties minimaliseren, minimaliseert SBC de kwadratische Van Rossum Afstand (VRD) tussen spike-treinen. VRD houdt rekening met de temporele afstand tussen spikes met behulp van een vervalende exponentiële kernel $k(t)$ .
De verliesfunctie wordt gedefinieerd als:
$L(W) = ||MS - M\hat{S}||_2^2$
waarbij $M$ een convolutie-matrix is die de kernel $k(t)$ over tijdstappen representeert. Deze formulering zorgt ervoor dat de loss de biologische relevantie van spike-timing reflecteert in plaats van enkel binaire coincidentie.

2.3. Surrogate Membrane Potential (SMP) en Hessian Afleiding

Het direct berekenen van de Hessian van de VRD-loss is complex vanwege de niet-differentieerbare Heaviside-functie in het spike-generatiemechanisme ( $S[t] = \Theta(U[t] - V_{th})$ ).
Om dit aan te pakken, introduceren de auteurs de Surrogate Membrane Potential (SMP):

Zij vervangen de niet-differentieerbare spike-functie door een differentieerbare surrogate gradiënt $g(u)$ .
Zij nemen aan dat de surrogate gradiënt constant is ( $g(u) = c$ ) (wat effectief het neuron behandelt als actief binnen een specifiek venster), wat de berekening van de Hessian vereenvoudigt.
Onder deze aanname wordt de Hessian $H$ de verwachte waarde van $2(MX)^T(MX)$ , waarbij $X$ de input stroom is.
Dit resulteert in een Hessian die goedkoop berekenbaar en analytisch hanteerbaar is, wat een enkele backward pass mogelijk maakt om de optimale gewicht-updates te schatten.

2.4. Compressie Algoritmen

Pruning: SBC gebruikt de afgeleide Hessian om ongestructureerde pruning uit te voeren. Het maakt gebruik van een Layer-Adaptive Sparsity voor Magnitude-based Pruning Score (LAMPS) om per-module sparsity targets te bepalen. Gewichten worden in batches gepruned met behulp van de Woodbury Matrix Identity om de inverse Hessian efficiënt bij te werken, waardoor de $O(N^3)$ kosten van een volledige matrixinversie bij elke stap worden vermeden.
Kwantisatie: Het framework past het GPTQ (Greedy Post-Training Quantization) algoritme aan, waarbij de standaard ANN Hessian wordt vervangen door de SMP-gebaseerde Hessian ( $H_{SMP}$ ). Dit maakt optimale gewicht-compensatie tijdens kwantisatie mogelijk om de spike-trein distortie te minimalen.

3. Belangrijkste Bijdragen

Formalisering van VRD-gebaseerde Loss: Het artikel formaliseert een verliesfunctie gebaseerd op de Van Rossum Afstand voor laag-voor-laag SNN compressie en leidt een efficiënte, samplebare Hessian-matrix af.
SBC Algoritme: Ontwikkeling van een one-shot, second-order compressie-algoritme (SBC) dat moderne architecturen ondersteunt, inclusief diepe spiking CNN's (SEW-ResNet) en Spiking Transformers.
State-of-the-Art Prestaties: Demonstratie van SOTA one-shot post-training compressieresultaten over neuromorfische benchmarks (N-MNIST, CIFAR10-DVS) en grootschalige statische datasets (CIFAR-100, ImageNet).
Robuustheid tegen Datatekort: Ablatie-studies die stabiele prestaties tonen, zelfs met minder dan één sample per klasse tijdens de kalibratie.

4. Experimentele Resultaten

De auteurs evalueerden SBC op diverse datasets en architecturen, waarbij zij SBC vergeleken met naïeve magnitude-gebaseerde pruning (MBP), ExactOBS (OBC aangepast voor SNN's) en Post-Training (PAT) iteratieve methoden.

4.1. Pruning Prestaties

Neuromorfische Benchmarks: SBC presteert aanzienlijk beter dan ExactOBS en MBP, vooral bij hoge sparsity-niveaus. Bijvoorbeeld, op N-MNIST bij 97% sparsity, behield SBC de accuratesse met slechts een daling van 1,59%, terwijl ExactOBS een daling van 45,07% leed.
Statische Datasets (ImageNet): SBC comprimeerde SEW-ResNet152 en Spike-Driven Transformers succesvol. Het evenaarde of overtrof de accuratesse van ExactOBS en benaderde in sommige gevallen de accuratesse van iteratieve PAT-methoden (zoals UPF en STDS), maar met 1 tot 3 grootheden minder computationele tijd.
Schaal: Dit werk vertegenwoordigt de eerste bekende ongestructureerde pruning van SNN's met meer dan 34 lagen en de eerste pruning van een Spiking Transformer getraind op een ImageNet-schaal dataset.

4.2. Kwantisatie Prestaties

SBC werd getest op 4-bit, 3-bit en 2-bit kwantisatie.
Hoewel SBC niet consistent de baselines overtrof bij hogere bit-breedtes (4-bit) op alle datasets, behaalde het de beste resultaten bij de laagste bit-breedte (2-bit), waarbij het de op één na beste methode met significante marges overtrof (bijv. 28,11% op N-MNIST).
De methode toonde aan dat gewicht-compensatie via de Hessian cruciaal is voor low-bit deployment, hoewel er een "out-of-bounds" probleem werd genoteerd waarbij gecompenseerde gewichten soms buiten het kwantisatie-grid bereik vielen.

4.3. Efficiëntie en Kalibratie

Synaptic Operations (SOPs): SBC reduceerde effectief de SOP's (een proxy voor energieverbruik) terwijl de accuratesse behouden bleef. Zo verminderde het prunen van SEW-ResNet18 naar 72,26% sparsity de SOP's van 1134,4M naar 697,24M met minimale accuratesse-verlies.
Kalibratie Grootte: De methode bleek robuust met zeer kleine kalibratie-sets. Voor SEW-ResNet18 op ImageNet werd competitieve prestatie behaald met slechts 100 kalibratie-afbeeldingen (0,1 afbeelding per klasse).

5. Betekenis en Claims

Het artikel claimt dat SBC een computationeel efficiënt alternatief biedt voor volledige hertrainings-pipelines voor SNN compressie. Door gebruik te maken van een second-order benadering die is afgestemd op spike-treinen, maakt SBC de implementatie van grootschalige, vooraf getrainde SNN's op hulpbronnen-beperkte neuromorfische hardware mogelijk zonder de prohibitieve kosten van iteratieve hertraining.

De auteurs positioneren SBC als een noodzakelijke stap naar de praktische toepassing van de volgende generatie SNN's (inclusief diepe netwerken en Transformers) in low-power, edge computing en robotica scenario's. Zij erkennen beperkingen, specifiek het "out-of-bounds" probleem in kwantisatie en de hoge ruimtecomplexiteit van aangepaste Hessian-matrices voor zeer grote output dimensies, en identificeren dit als gebieden voor toekomstig onderzoek.