Sharpness-Aware Surrogate Training for On-Sensor Spiking Neural Networks

Dit paper introduceert Sharpness-Aware Surrogate Training (SAST), een methode die de prestaties van spiking neurale netwerken op sensoren aanzienlijk verbetert door de kloof tussen zachte surrogate training en harde spike-deploy te verkleinen, wat leidt tot hogere nauwkeurigheid en lager energiegebruik onder strenge hardware-beperkingen.

De kern

Stel je voor dat je een slimme camera bouwt die direct op de lens zit (zoals in een bril of een drone). Deze camera moet heel zuinig zijn met stroom en direct beslissingen nemen zonder data naar een grote computer te sturen. Om dit te doen, gebruiken ingenieurs Spiking Neural Networks (SNN's).

Je kunt een SNN vergelijken met een bellenbuis of een morse-code systeem: in plaats van een continue stroom van informatie (zoals een videostream), stuurt de camera alleen een klein 'blikje' (een 'spike' of 'impuls') als er iets interessants gebeurt. Dit is superzuinig.

Het Grote Probleem: De "Zachte" Oefening vs. de "Harde" Realiteit

Het probleem bij het trainen van deze systemen is als volgt:

1. Tijdens het leren (in de computer): De programmeurs gebruiken een "zachte" versie van de impuls. Stel je voor dat ze de bellenbuis vervangen door een dimmer. Als je de knop een beetje draait, gaat het licht een beetje aan. Dit is makkelijk om te berekenen en te leren.
2. Tijdens het gebruik (op de camera): De echte hardware kan geen dimmers. Hij kan alleen aan of uit (0 of 1). Het is een harde schakelaar.

Wanneer je een model traint met de "dimmer" (zachte impuls) en het daarna op de camera zet met de "harde schakelaar", werkt het vaak slecht. Het is alsof je iemand traint om te fietsen op een fiets met remmen die zachtjes aandraaien, en hem dan op een fiets zet met remmen die direct volledig vastklikken. De fietser valt om.

In de vaktaal noemen ze dit de "transfer gap": een groot gat tussen hoe goed het model presteert tijdens het oefenen en hoe goed het werkt in de echte wereld.

De Oplossing: SAST (Sharpness-Aware Surrogate Training)

De auteur, Maximilian Nicholson, heeft een nieuwe methode bedacht genaamd SAST.

De Analogie: De Trillende Bal
Stel je voor dat je een bal in een landschap van heuvels en dalen moet laten rollen om het laagste punt te vinden (de beste oplossing).

• Normale training: De bal zoekt een diep dal. Maar als dat dal heel smal is (zoals een smalle kuil), kan een klein steentje (ruis in de data) de bal eruit duwen. Dan werkt het niet meer.
• SAST (Sharpness-Aware): Deze methode kijkt niet alleen naar hoe diep het dal is, maar ook naar hoe breed het is. SAST probeert de bal in een breed, vlak dal te laten rollen. Als de bal in een breed dal zit, maakt het niet uit als er een klein steentje tegenop stuitert; hij rolt gewoon terug naar het midden.

In de context van de camera betekent dit: SAST traint het model zo, dat de beslissingen (aan/uit) niet "moeilijk" of "wankel" zijn. De beslissingen worden zo robuust gemaakt dat het niet uitmaakt of je de zachte dimmer gebruikt tijdens het leren of de harde schakelaar tijdens het rijden.

Wat zijn de Resultaten?

De auteur heeft dit getest op twee bekende datasets (N-MNIST en DVS Gesture) en de resultaten zijn indrukwekkend:

1. Van "Slecht" naar "Uitstekend":

   • Op de N-MNIST dataset (een soort handgeschreven cijfers in beweging) sprong de nauwkeurigheid van de harde schakelaar van 65,7% naar 94,7%.
   • Op de DVS Gesture dataset (gebaren herkennen) ging het van 31,8% naar 63,3%.
   • Kortom: Het gat tussen oefenen en werken is bijna helemaal dichtgegooid.

2. Robuustheid tegen "ruis":

   • Zelfs als je de data "vuil" maakt (bijvoorbeeld door een deel van de signalen weg te laten, alsof er een stukje van de lens vies is), blijft SAST veel beter werken dan de oude methoden.

3. Energiebesparing:

   • Omdat het model "schoner" en efficiënter leert, verbruikt het ook minder energie op de chip (gemeten in SynOps, oftewel het aantal keren dat de schakelaars omgaan). Dit is cruciaal voor batterijgedreven apparaten.

4. Werkt zelfs met "goedkope" hardware:

   • De test toonde aan dat SAST ook werkt als je de rekenkracht beperkt (zoals bij een simpele chip met weinig geheugen). Zelfs dan blijft de nauwkeurigheid hoog.

Conclusie

Dit artikel vertelt ons dat we niet hoeven te kiezen tussen een slim model dat goed traint en een model dat goed werkt op een echte, zuinige camera. Met SAST trainen we het model zo, dat het "wankelen" tijdens het leren wordt voorkomen. Het resultaat is een camera die direct, snel en met weinig stroom de juiste beslissingen neemt, zelfs als de wereld om hem heen niet perfect is.

Het is alsof je niet alleen leert hoe je een fiets moet rijden, maar ook hoe je te rijden op een weg met gaten, zonder dat je omvalt.

Technische samenvatting

Probleemstelling

Spiking Neural Networks (SNNs) zijn een natuurlijke rekenparadigma voor vision-systemen die direct op de sensor (on-sensor) of dichtbij de sensor (near-sensor) draaien. Deze systemen werken met gebeurtenisgestuurde (event-driven) data en moeten functioneren onder strikte stroombudgetten met harde binaire spikes (0 of 1).

Het centrale trainingsprobleem is de discontinuïteit van de spike-functie. Om SNNs te trainen met gradient-based methods, wordt vaak gebruikgemaakt van surrogate gradients: een gladde, differentieerbare benadering van de spike-functie tijdens backpropagation.

• Het Transitieprobleem (Transfer Gap): Er ontstaat een grote kloof tussen het model dat tijdens training wordt gebruikt (met de gladde surrogate) en het model dat tijdens implementatie op de hardware wordt gedraaid (met de harde drempelwaarde/Heaviside-stap).
• Wanneer veel membraanpotentialen dicht bij de drempelwaarde clusteren, geeft de gladde surrogate een "gegradueerde" activiteit, terwijl de hardware gedwongen wordt om een harde 0 of 1 te kiezen. Deze mismatch verergert zich over tijdstappen en lagen, wat leidt tot een drastische daling van de nauwkeurigheid bij inferentie op de sensor.

Methodologie: Sharpness-Aware Surrogate Training (SAST)

De auteur introduceert SAST, een trainingsmethode die Sharpness-Aware Minimization (SAM) toepast op een SNN die tijdens de forward-pass al een gladde surrogate gebruikt.

1. Surrogate-forward SNN: In plaats van een harde forward-pass en een surrogate backward-pass, gebruikt SAST een volledig gladde forward-pass (met een surrogate zoals $\sigma(x) = \frac{1}{2} + \frac{1}{\pi}\arctan(kx)$). Hierdoor is het trainingsdoel echt glad en is de berekende gradient exact voor het geoptimaliseerde model.
2. SAM-toepassing: SAM optimaliseert de "worst-case" verliesfunctie in een omgeving rondom de huidige gewichten. Dit dwingt het model om naar "vlakke minima" (flat minima) te convergeren.
   • Algoritme: Per trainingsstap wordt de gradient berekend, vervolgens wordt een perturbatie ($\epsilon$) toegepast op de gewichten, en wordt de gradient opnieuw berekend op de verstoord gewichten (met een state-reset om tijdsafhankelijke artefacten te voorkomen).
3. Implementatie: Bij deploy wordt de surrogate-functie simpelweg vervangen door de harde stap-functie (Heaviside), zonder enige nascholing (post-hoc calibration) of aanpassing van drempelwaarden.

Theoretische Garantieën

Onder specifieke aannames (beperkte inputs, operator-normen en een lokale contractievoorwaarde $\gamma < 1$) biedt de paper de volgende garanties:

• Stabiliteit: De membraanpotentialen zijn uniform begrensd.
• Lipschitz-continuïteit: De readout-functie is Lipschitz-continu ten opzichte van de input, wat de robuustheid tegen input-ruis garandeert.
• Convergentie: Er is een bewezen convergentieresultaat voor niet-convexe optimalisatie, waarbij de SAM-perturbatie een additieve foutmarge introduceert die echter de algemene generalisatie verbetert.

Kernresultaten

De methode is getest op twee event-camera benchmarks: N-MNIST en DVS Gesture, met een beperkt aantal parameters (~0.4M).

1. Verbetering van de Transfer Gap (Zonder hardware-beperkingen):

• N-MNIST: De nauwkeurigheid bij "swap-only" harde spikes steeg van 65,7% (baseline) naar 94,7% met SAST. De transfer gap ($\Delta_{transfer}$) werd met 92% gereduceerd.
• DVS Gesture: De nauwkeurigheid steeg van 31,8% naar 63,3%, met een reductie van de transfer gap van 69%.
• Mechanisme: SAST zorgt ervoor dat membraanpotentialen minder vaak in de "ambiguë zone" rond de drempelwaarde terechtkomen (van 4,8% naar 2,3% binnen $\pm0.2$ van de drempel), wat de overgang naar harde spikes robuuster maakt.

2. Hardware-bewuste Inferentie Simulatie:
De tests omvatten kwantisatie (INT8/INT4), fixed-point membraanpotentialen en discrete lekfactoren.

• N-MNIST (INT8): Nauwkeurigheid steeg van 47,6% naar 96,9%.
• DVS Gesture (INT8): Nauwkeurigheid steeg van 25,3% naar 47,6%.
• Energie-efficiëntie (SynOps): SAST leidde tot een aanzienlijke daling in synaptische accumulaties (SynOps), wat een proxy is voor energieverbruik. Bijvoorbeeld op DVS Gesture (INT8) daalde dit van 86.221k naar 43.23k (een reductie van ~50%).

3. Vergelijking met Baselines:
Zelfs wanneer de baseline-methoden meer trainings-tijd (epochs) kregen toegewezen om de rekentijd van SAST te compenseren, bleef de transfer gap aanzienlijk groter dan bij SAST. Dit toont aan dat extra trainingsduur alleen de kloof niet oplost; de aard van de optimalisatie (vlakke minima zoeken) is cruciaal.

Bijdragen en Significantie

• Nieuwe Trainingstheorie: SAST is een van de eerste methoden die SAM specifiek toepast op een surrogate-forward SNN, waardoor de gradienten exact zijn voor het model dat geoptimaliseerd wordt.
• On-sensor Deployability: De methode elimineert de noodzaak voor complexe nascholing of kalibratie bij deploy. Het model werkt direct na het vervangen van de non-lineariteit.
• Robuustheid: SAST levert modellen die niet alleen beter presteren bij de overgang van soft naar hard, maar ook robuuster zijn tegen kwantisatie en hardware-ruis.
• Praktische Impact: Voor on-sensor visie, waar stroombudgetten extreem laag zijn en data-overdracht kostbaar is, biedt SAST een haalbare route om hoge nauwkeurigheid te behalen met binaire spikes op neuromorfe hardware.

Conclusie:
SAST is een veelbelovende component in de toolbox voor on-sensor spiking inference. Het lost het fundamentele probleem op van de mismatch tussen trainings- en deploy-modellen door het trainingsdoel te "glad" te maken en het model te dwingen naar robuuste, vlakke minima te convergeren, wat resulteert in een drastische verbetering van de prestaties op echte, beperkte hardware.