Robust Spiking Neural Networks Against Adversarial Attacks

Diese Studie stellt die Methode der Threshold Guarding Optimization (TGO) vor, die durch die Erhöhung der Gradientensparsität und die Einführung probabilistischer Spiking-Neuronen die Anfälligkeit von direkt trainierten Spiking Neural Networks gegenüber adversarialen Angriffen signifikant reduziert.

Das Wesentliche

Titel: Wie man neuronale Netzwerke gegen unsichtbare Angreifer immun macht – Eine einfache Erklärung

Stellen Sie sich vor, ein Spiking Neural Network (SNN) ist wie ein riesiges, hochmodernes Dorf von kleinen Wächtern (den Neuronen). Diese Wächter arbeiten nach einem sehr einfachen Prinzip: Sie sind normalerweise ruhig, aber wenn ein Signal stark genug ist, feuern sie einen kleinen Alarmknall ab (einen "Spike"). Das ist extrem energieeffizient, weil sie nur dann arbeiten, wenn es wirklich nötig ist – ähnlich wie ein Bewegungsmelder, der nur dann Licht macht, wenn jemand vorbeikommt.

Das Problem ist jedoch: Diese Wächter sind manchmal zu empfindlich.

Das Problem: Die "Grenzsteine"

In diesem Dorf gibt es eine kritische Regel: Ein Wächter feuert, sobald sein innerer "Spannungsmesser" einen bestimmten Schwellenwert (eine Art Grenzstein) erreicht.

Die Forscher haben entdeckt, dass die größte Schwachstelle in diesem System bei den Wächtern liegt, deren Spannungsmesser genau auf diesem Grenzstein balanciert.

• Die Analogie: Stellen Sie sich einen Wächter vor, der auf einem schmalen Seil balanciert. Ein ganz kleiner Windhauch (eine winzige Störung) reicht aus, damit er umkippt und den falschen Alarm auslöst.
• Der Angreifer: Böswillige Hacker nutzen genau diese Empfindlichkeit aus. Sie fügen dem Bild, das das Netzwerk sieht, kaum sichtbare "Rauschen" hinzu. Für uns Menschen sieht das Bild gleich aus, aber für die Wächter, die am Seil balancieren, ist es wie ein Erdbeben. Sie kippen um, feuern falsch, und das ganze Dorf gibt die falsche Antwort (z. B. erkennt ein Hund plötzlich eine Katze).

Die Lösung: TGO (Der "Schutzschild")

Die Autoren des Papers haben eine Methode namens TGO (Threshold Guarding Optimization) entwickelt, um diese Wächter zu schützen. Sie nutzen zwei clevere Tricks:

1. Der "Abstand-Verstärker" (Membrane Potential Constraints)

Statt die Wächter auf dem Seil zu lassen, zwingt diese Methode sie, sich weg vom Seil zu bewegen.

• Wie es funktioniert: Das Training des Netzwerks wird so angepasst, dass es "Strafen" gibt, wenn ein Wächter zu nah an den Grenzstein kommt. Die Wächter werden also trainiert, ihre Spannung entweder deutlich unter oder deutlich über dem Schwellenwert zu halten.
• Das Ergebnis: Wenn ein Hacker nun versucht, den Wächter umzukippen, muss er viel mehr Kraft aufwenden. Ein kleiner Windhauch reicht nicht mehr, weil der Wächter fest auf dem Boden steht. Die "Kette" der Angriffe wird unterbrochen, weil die Wächter nicht mehr so leicht ins Wanken geraten.

2. Der "Zufalls-Generator" (Noisy Spiking Neurons)

Manchmal sind die Wächter trotzdem noch zu nah am Seil. Hier kommt der zweite Trick ins Spiel: Man macht das System nicht mehr 100 % vorhersehbar.

• Die Analogie: Stellen Sie sich vor, der Wächter trinkt vor dem Dienst ein Glas Wasser mit einem winzigen, zufälligen Schuss Zimt. Manchmal ist er etwas wacher, manchmal etwas müder.
• Wie es funktioniert: Die Forscher fügen dem System bewusst ein wenig "Rauschen" (Zufall) hinzu. Dadurch wird die Entscheidung, ob ein Wächter feuert oder nicht, nicht mehr starr deterministisch, sondern wahrscheinlichkeitsbasiert.
• Das Ergebnis: Wenn ein Hacker versucht, den Wächter genau an den Punkt zu bringen, an dem er umkippt, trifft er auf eine Wand aus Zufall. Der Wächter reagiert nicht mehr so empfindlich auf die winzige Störung des Angreifers, weil sein eigener innerer "Zufallsfaktor" die Störung verwässert. Es ist wie bei einem Wackelpudding: Wenn man ihn leicht anstößt, wackelt er, aber er kippt nicht sofort um, weil er flexibel ist.

Warum ist das wichtig?

Bisher waren diese neuronalen Netzwerke sehr anfällig für solche "unsichtbaren Angriffe". Mit der TGO-Methode werden sie:

1. Robuster: Sie bleiben auch unter Beschuss stabil.
2. Effizient: Sie brauchen keine extra Rechenleistung, um sich zu verteidigen (im Gegensatz zu anderen Methoden, die das Netzwerk verlangsamen).
3. Sicherer: Sie eignen sich endlich für echte Anwendungen in der realen Welt, z. B. in autonomen Autos oder medizinischen Geräten, wo ein falscher Alarm katastrophal sein könnte.

Zusammenfassend: Die Forscher haben erkannt, dass die Schwachstelle bei den "zitternden" Wächtern liegt. Mit TGO haben sie diese Wächter entweder fest auf den Boden gedrückt oder ihnen einen zufälligen Tanz beigebracht, damit sie nicht mehr so leicht von unsichtbaren Angreifern aus der Bahn geworfen werden können.

Technische Zusammenfassung

Problemstellung

Spiking Neural Networks (SNNs) gelten als vielversprechende Architektur für energieeffizientes neuromorphes Computing, da sie biologisch plausible, ereignisgesteuerte Mechanismen nutzen. Trotz des Erfolgs von direkt trainierten SNNs (mittels Surrogate-Gradienten-Methoden) in Klassifikationsaufgaben leiden diese unter erheblichen Robustheitsproblemen in adversären Umgebungen.

Die Autoren identifizieren spiking Neuronen in der Nähe des Schwellenwerts (threshold-neighboring neurons) als den kritischen Engpass für die Robustheit. Diese Neuronen sind aus zwei Gründen besonders anfällig:

1. Theoretische Obergrenze für Angriffe: Sie definieren die maximale potenzielle Stärke adversärer Angriffe. Da Surrogate-Gradienten nahe dem Schwellenwert ihre Spitzenwerte erreichen, erhöhen viele solcher Neuronen die $L_2$-Norm der Jacobi-Matrix des Netzwerks, was die theoretische Obergrenze für die Empfindlichkeit gegenüber Störungen ($R_{adv}$) erhöht.
2. Zustandsflipps (State-Flipping): Kleine Störungen können bei Neuronen, deren Membranpotential nahe am Schwellenwert liegt, leicht dazu führen, dass das Membranpotential die Schwelle über- oder unterschreitet. Dies führt zu einem „Flip" des Ausgangszustands (von 0 auf 1 oder umgekehrt), was die Aktivierungsmuster destabilisiert und die Ausgabe des Netzwerks unvorhersehbar macht.

Bisherige Ansätze wie Adversarial Training (AT) oder regularisierte Methoden (RAT) sind oft rechenintensiv oder nutzen keine spezifischen Eigenschaften der SNN-Architektur aus.

Methodik: Threshold Guarding Optimization (TGO)

Um diese Schwachstellen zu adressieren, schlagen die Autoren die Threshold Guarding Optimization (TGO) Methode vor. TGO kombiniert zwei Hauptstrategien, um die Sensitivität von Neuronen nahe dem Schwellenwert zu minimieren:

1. Membranpotential-Einschränkungen (Membrane Potential Constraints):

   • Es wird eine zusätzliche Straffunktion in die Verlustfunktion integriert, die Neuronen davon abhält, sich dem Schwellenwert ($V_{th}$) zu nähern.
   • Die Strafe $C(V(t))$ wird berechnet, wenn das Membranpotential $V(t)$ innerhalb eines Margins $\delta$ zum Schwellenwert liegt.
   • Ein dynamischer Parameter $\lambda$ steuert die Stärke dieser Einschränkung während des Trainings (anfangs niedrig, um den Parameterraum zu erkunden, später höher, um die Konvergenz zu erzwingen).
   • Ziel: Die Membranpotentiale werden vom Schwellenwert wegbewegt, was die Anzahl der „threshold-neighboring" Neuronen reduziert und die $L_2$-Norm der Gradienten (und damit die theoretische Angriffsstärke) senkt.

2. Rauschende Spiking-Neuronen (Noisy-LIF Neurons):

   • Um die verbleibenden kritischen Neuronen zu schützen, wird das deterministische Feuern (Heaviside-Funktion) durch ein probabilistisches Modell ersetzt.
   • Dem Membranpotential wird Gaußsches Weißes Rauschen $\xi[t] \sim \mathcal{N}(0, \sigma^2)$ hinzugefügt.
   • Theoretische Begründung: Durch die Einführung von Rauschen wird die Wahrscheinlichkeit eines Zustandsflips ($P_{flip}$) bei kleinen Störungen reduziert. Die Analyse zeigt, dass mit steigender Rauschstärke $\sigma$ die Sensitivität der Flip-Wahrscheinlichkeit gegenüber kleinen Änderungen im Membranpotential abnimmt (die Ableitung wird negativ).
   • Dies wandelt den deterministischen Feuervorgang in einen probabilistischen um, der als Puffer gegen kleine adversäre Störungen wirkt.

Wichtige Beiträge

• Theoretische Analyse: Der Nachweis, dass Neuronen nahe dem Schwellenwert die Robustheit direkt trainierter SNNs fundamental begrenzen, indem sie die theoretische Obergrenze für adversäre Angriffe festlegen und anfällig für Zustandsflips sind.
• Neue Optimierungsmethode (TGO): Entwicklung einer Methode, die Gradienten-Sparsity durch Distanzierung vom Schwellenwert erhöht und die Stabilität durch probabilistisches Feuern verbessert.
• Kein Overhead beim Inferenz: TGO fügt während des Trainings zwar Berechnungen hinzu, verursacht jedoch keine zusätzlichen Rechenkosten während der Inferenz (da das Rauschen nur im Training genutzt wird oder als Teil des Modells integriert ist, das deterministisch abläuft, sobald trainiert ist – Hinweis: Im Paper wird impliziert, dass die Struktur erhalten bleibt, aber die Trainingsdynamik die Robustheit sichert).
• State-of-the-Art (SOTA) Ergebnisse: Die Methode funktioniert kompatibel mit verschiedenen Trainingsstrategien (Vanilla BPTT, Adversarial Training, Regularized Adversarial Training).

Ergebnisse

Die Autoren führten umfangreiche Experimente auf den Datensätzen CIFAR-10 und CIFAR-100 mit Architekturen wie VGG-11 und WideResNet-16 (WRN-16) durch.

• Robustheit gegen verschiedene Angriffe: TGO übertrifft bestehende SOTA-Methoden (wie Vanilla, DLIF, StoG, SR) signifikant unter Angriffen wie FGSM, RFGSM, PGD (mit verschiedenen Iterationen) und Auto-PGD (APGD).
  • Unter reiner BPTT-Training (ohne adversäres Training) konnte TGO die Genauigkeit unter FGSM-Angriffen um 10–20 % im Vergleich zu Baselines steigern.
  • In Kombination mit Adversarial Training (AT) und Regularized AT (RAT) wurden weitere Verbesserungen von ca. 10 % bei starken PGD-Angriffen (PGD10, PGD20, PGD40) erzielt.
• Ablationsstudie: Die Studie bestätigt, dass sowohl die Membranpotential-Einschränkung (MC) als auch das Noisy-LIF-Modell (NLIF) einzeln wirken, aber in Kombination synergistisch die beste Robustheit bieten.
• Visualisierung:
  • TGO reduziert die Anzahl der Neuronen nahe dem Schwellenwert um ca. 40 %.
  • Die Gradienten-Heatmaps zeigen eine deutlich sparsere Gradientenverteilung im Vergleich zu Vanilla-SNNs.
  • Die Verlustlandschaft (Loss Landscape) von TGO-optimierten Modellen ist glatter und weist weniger lokale Optima und scharfe Peaks auf, was auf eine höhere Stabilität gegen Gradienten-basierte Angriffe hindeutet.
• Neuromorphe Daten: Die Methode wurde auch auf dem DVS-CIFAR10-Datensatz getestet und zeigte dort ebenfalls signifikante Verbesserungen gegenüber reinem Adversarial Training.

Bedeutung und Ausblick

Diese Arbeit leistet einen wesentlichen Beitrag zur Sicherheit neuromorpher Systeme. Sie zeigt, dass die inhärente Struktur von SNNs (insbesondere die Schwellenwert-Nähe) gezielt optimiert werden kann, um Robustheit zu erreichen, ohne auf rechenintensive adversäres Training angewiesen zu sein.

• Praktische Relevanz: Da TGO keine zusätzlichen Kosten bei der Inferenz verursacht, ist es ideal für Edge-Intelligence und ressourcenbeschränkte Anwendungen geeignet.
• Zukunft: Die Autoren planen, die Methode auf größere Architekturen zu erweitern und Robustheitstests in echten Edge-Computing-Umgebungen durchzuführen.

Zusammenfassend bietet TGO einen theoretisch fundierten und empirisch validierten Weg, um direkt trainierte SNNs gegen eine breite Palette adversärer Bedrohungen zu härten, was ihre Einsatzfähigkeit in realen, unsicheren Umgebungen erheblich verbessert.