Robust Spiking Neural Networks Against Adversarial Attacks

Deze studie verbetert de weerbaarheid van direct getrainde Spiking Neural Networks tegen adversariale aanvallen door een Threshold Guarding Optimization-methode te introduceren die de membranepotentialen van neuronen van de drempelwaarde verwijdert en het vuurmechanisme probabilistisch maakt.

De kern

De Onkwetsbare Vuurwerkshow: Hoe Spiking Neural Networks Veiliger worden

Stel je voor dat je een enorm complex vuurwerkshow organiseert. Dit is je Spiking Neural Network (SNN). In tegenstelling tot gewone computers die continu rekenen (zoals een lamp die altijd aan staat), werken deze netwerken als vuurwerk: ze zijn stil en doen niets, totdat er genoeg energie is om een knal (een 'spike') te laten ontploffen. Dit maakt ze super energiezuinig, perfect voor kleine apparaten zoals slimme horloges of drones.

Maar er is een probleem: Hackers.

In de digitale wereld zijn er hackers die proberen je vuurwerkshow te saboteren. Ze voegen een heel klein beetje extra buskruit toe aan een enkele raket (een 'adversarial attack'). Omdat je vuurwerkshow zo gevoelig is, zorgt dit kleine beetje extra buskruit ervoor dat de verkeerde raketten op het verkeerde moment ontploffen. Het hele spektakel gaat mis, terwijl het voor een menselijk oog eruit ziet alsof er niets veranderd is.

Dit onderzoek, gepubliceerd bij een groot wetenschappelijk congres (ICLR 2026), lost dit probleem op met een slimme strategie genaamd TGO (Threshold Guarding Optimization).

Hier is hoe het werkt, in drie simpele stappen:

1. Het Probleem: De Gevoelige Randjes

De onderzoekers ontdekten dat het probleem zit bij de raketten die net op het punt staan af te vuren.

• Stel je een raket voor die precies op de rand van de afvuurdrempel staat. Hij heeft net genoeg energie om te ontploffen, maar nog niet genoeg om veilig te blijven.
• Als een hacker er een klein beetje aan schudt (een verstoring), ontploft deze raket direct.
• Maar als een raket al ver weg is van de rand (of al lang geleden is afgevuurd), maakt het schudden niets uit.
• De conclusie: De "rand-raketten" (neuronen die net onder of net boven de drempel zitten) zijn de zwakke schakels. Ze maken het hele systeem kwetsbaar.

2. De Oplossing: De "Veiligheidszone" (Membrane Potential Constraints)

De eerste stap van hun oplossing is het creëren van een veiligheidszone.

• In plaats van te laten dat de raketten precies op de rand van de afvuurdrempel zweven, duwen ze ze verder weg.
• Ze zorgen ervoor dat de energie van de raketten ofwel heel laag is (veilig stil) ofwel heel hoog (veilig afgevuurd), maar nooit precies op het randje.
• Het effect: Als een hacker nu probeert de raketten te schudden, raken ze de drempel niet meer. De raketten blijven in hun veilige zone. Dit maakt het veel moeilijker voor de hacker om iets te laten ontploffen dat hij niet wil.

3. De Oplossing: De "Stoere" Raketten (Noisy Spiking Neurons)

Soms blijven er toch nog een paar raketten die net iets te dicht bij de rand zitten. Wat nu?

• De onderzoekers voegen een beetje ruis (storing) toe aan het systeem. Denk aan een beetje trilling in de grond of een lichte wind.
• In een normaal systeem zou een kleine trilling een raket op de rand doen ontploffen. Maar door de raketten "ruis-gevoelig" te maken, verandert het ontploffen van een zekerheid in een kans.
• De analogie: Stel je voor dat je een deur hebt die dicht zit. Als je er zachtjes tegenaan duwt (de hacker), gaat hij open. Maar als de deur een beetje trilt (ruis), is het niet zeker of hij open gaat of dicht blijft. De hacker kan de uitkomst niet meer precies voorspellen of controleren.
• Hierdoor wordt het voor de hacker onmogelijk om een betrouwbare aanval te plannen.

Wat levert dit op?

De onderzoekers hebben dit getest op verschillende "vuurwerkshows" (beeldherkenningsmodellen) en tegen verschillende soorten hackers.

• Resultaat: Hun nieuwe methode (TGO) werkt veel beter dan eerdere methoden. De systemen blijven stabiel, zelfs als hackers proberen ze te saboteren.
• Bonus: Het kost geen extra energie om dit te doen. De systemen blijven net zo snel en zuinig als voorheen.

Samenvattend

Dit onderzoek zegt eigenlijk: "Om je slimme, energiezuinige computer veilig te maken tegen hackers, moet je ervoor zorgen dat de gevoelige onderdelen niet precies op de rand van het gevaar zitten, en dat ze een beetje 'onvoorspelbaar' worden."

Dit opent de deur voor veiligere en betrouwbaardere slimme apparaten in de echte wereld, zoals zelfrijdende auto's of medische apparaten, die niet zomaar door een hacker kunnen worden gekaapt.

Technische samenvatting

Titel: Robuste Spiking Neural Networks tegen Adversariële Aanvallen

Auteurs: Shuai Wang, Malu Zhang, et al. (Universiteit voor Elektronische Wetenschap en Technologie van China, enz.)
Conferentie: ICLR 2026

---

1. Het Probleem

Spiking Neural Networks (SNN's) worden gezien als een veelbelovende paradigma voor energie-efficiënt neuromorfe computing vanwege hun biologisch plausibele en spike-gedreven aard. Ze vermijden echter de dure 'multiply-accumulate' (MAC) operaties die nodig zijn bij traditionele Artificial Neural Networks (ANN's).

Hoewel direct getrainde SNN's (met behulp van surrogate gradient-methoden) prestaties hebben geboekt die vergelijkbaar zijn met ANN's, vertonen ze een aanzienlijke kwetsbaarheid voor adversariële aanvallen.

• Kernprobleem: Direct getrainde SNN's zijn extreem gevoelig voor kleine verstoringen in de invoer.
• Oorzaak: De auteurs identificeren dat neuronen waarvan het membraanpotentiaal dicht bij de vuurdrempel (threshold) ligt, de kritieke zwakke schakel zijn. Deze "drempel-buren" (threshold-neighboring neurons) bepalen de theoretische bovengrens van de sterkte van een adversariële aanval en zijn zeer vatbaar voor state-flipping (het onbedoeld vuren of niet-vuren van een neuron door kleine ruis), wat leidt tot instabiliteit in de uiteindelijke classificatie.

2. Methodologie: Threshold Guarding Optimization (TGO)

Om dit probleem aan te pakken, stellen de auteurs een nieuwe optimalisatiestrategie voor genaamd Threshold Guarding Optimization (TGO). Deze methode bestaat uit twee complementaire componenten:

A. Membraanpotentiaal-beperkingen (Membrane Potential Constraints)

• Doel: De afstand tussen het membraanpotentiaal van neuronen en hun vuurdrempel vergroten.
• Implementatie: Er wordt een extra straffunctie (penalty term) toegevoegd aan de verliesfunctie (loss function). Deze functie straft neuronen af waarvan het potentiaal binnen een bepaalde marge ($\delta$) van de drempel ligt.
• Dynamische aanpassing: De gewichtsfactor ($\lambda$) voor deze straffunctie wordt dynamisch aangepast tijdens het trainingsproces (beginnen met een lage waarde om convergentie niet te verstoren, en toenemen naarmate het trainen vordert).
• Effect: Dit verhoogt de gradient sparsity (graad van verspreiding van gradiënten) en verlaagt de $\ell_2$-norm van de Jacobiaan-matrix, wat de theoretische bovengrens van de gevoeligheid voor aanvallen verlaagt.

B. Ruizige Spiking Neuronen (Noisy-LIF Neurons)

• Doel: De kans op state-flipping bij kleine verstoringen verminderen, zelfs voor neuronen die toch dicht bij de drempel blijven.
• Implementatie: Het deterministische Leaky Integrate-and-Fire (LIF) model wordt vervangen door een Noisy-LIF model. Hierbij wordt Gaussisch witte ruis ($\xi[t]$) toegevoegd aan het membraanpotentiaal.
• Theoretisch inzicht: Door de overgang van een deterministisch naar een probabilistisch vuurmechanisme, wordt de overgang van 'niet-vuren' naar 'vuren' (en vice versa) soepeler. De auteurs tonen wiskundig aan dat het verhogen van de ruisvariatie ($\sigma$) de gevoeligheid van de vuurkans voor kleine veranderingen in het membraanpotentiaal verlaagt.
• Synergie: De beperkingen zorgen dat de meeste neuronen ver van de drempel blijven, terwijl de ruis de overgebleven kritieke neuronen "buffer" tegen kleine aanvallen.

3. Belangrijkste Bijdragen

1. Theoretisch Bewijs: De auteurs bewijzen wiskundig dat neuronen nabij de drempel de beperkende factor zijn voor de robuustheid van SNN's. Ze leiden een bovengrens af voor adversariële aanvallen die direct gekoppeld is aan de dichtheid van deze neuronen en de Jacobiaan-norm.
2. TGO Methode: Een nieuwe, efficiënte optimalisatiestrategie die geen extra rekentijd vereist tijdens de inferentie (geen overhead).
3. State-of-the-Art (SOTA) Prestaties: De methode presteert superieur in vergelijking met bestaande methoden zoals Adversarial Training (AT) en Regularized Adversarial Training (RAT), zelfs zonder deze te combineren, maar werkt ook uitstekend als ze wel worden gecombineerd.

4. Resultaten

De TGO-methode is uitgebreid getest op de CIFAR-10 en CIFAR-100 datasets met architecturen zoals VGG-11 en WideResNet-16 (WRN-16).

• Prestatieverbetering:
  • Onder standaard training (BPTT) zonder extra adversariële training, verbeterde TGO de robuustheid tegen FGSM- en RFGSM-aanvallen met 10-20% ten opzichte van de baseline.
  • In combinatie met AT en RAT behaalde TGO consistent de beste resultaten (SOTA) tegen zware aanvallen zoals PGD (Projected Gradient Descent) met verschillende iteraties (7, 10, 20, 40).
  • Op CIFAR-100 met WRN-16 onder RAT-training steeg de nauwkeurigheid onder PGD10-aanvallen van 13.60% (RAT alleen) naar 25.79% (TGO + RAT).
• Ablatie-studies: Experimenten bevestigden dat zowel de membraanpotentiaal-beperkingen als de ruizige neuronen essentieel zijn, maar dat ze het beste werken in combinatie (synergie).
• Visualisatie:
  • De verdeling van membraanpotentialen toont aan dat TGO het aantal neuronen nabij de drempel met ongeveer 40% verlaagt.
  • De loss landscape van TGO-modellen is gladder en minder gevoelig voor lokale optima vergeleken met standaard SNN's.
  • Gradiënt-heatmaps tonen een sparsere gradiënt structuur, wat de weerstand tegen gradiënt-gebaseerde aanvallen verklaart.
• Neuromorfe Data: De methode bleek ook effectief op neuromorfe datasets (DVS-CIFAR10), wat de toepasbaarheid in echte hardware-scenario's onderstreept.

5. Betekenis en Impact

Dit onderzoek is van groot belang voor de toekomst van edge intelligence en neuromorfe computing:

• Betrouwbaarheid: Het oplost een fundamenteel veiligheidsprobleem dat de toepassing van SNN's in kritieke systemen (zoals autonome voertuigen of medische apparatuur) tot nu toe beperkte.
• Efficiëntie: De TGO-methode introduceert geen extra rekentijd of geheugengebruik tijdens de inferentie, wat cruciaal is voor energie-beperkte edge-apparaten.
• Theoretische Vooruitgang: Het biedt een dieper theoretisch inzicht in de kwetsbaarheden van SNN's, wat de weg vrijmaakt voor toekomstige, veiliger ontwerpen van spiking-neuronen.

Kortom, TGO biedt een elegante oplossing die de inherente biologische eigenschappen van SNN's benut om ze robuuster te maken tegen digitale manipulatie, zonder hun energie-efficiëntie te offeren.