Sharpness-Aware Surrogate Training for On-Sensor Spiking Neural Networks

Die vorgestellte Arbeit führt das Sharpness-Aware Surrogate Training (SAST) ein, eine Methode, die Sharpness-Aware Minimization auf spiking neuronale Netze anwendet, um die Lücke zwischen Training und harten Binärsignalen zu schließen und damit die Genauigkeit sowie Energieeffizienz von on-Sensor-SNNs unter realistischen Hardware-Beschränkungen signifikant zu verbessern.

Das Wesentliche

Das große Problem: Der "Schlummer-Modus" vs. der "Wach-Modus"

Stell dir vor, du trainierst einen Roboter-Astronauten für eine Mission auf einem anderen Planeten.

1. Das Training (Der Schlummer-Modus): Im Labor (dem Computer) trainierst du den Roboter mit einer weichen, freundlichen Stimme. Wenn er unsicher ist, darf er sagen: "Ich bin zu 70 % sicher, dass das ein Stein ist." Das ist wie ein Surrogat (ein Platzhalter). Er kann sanft hin und her schwanken, um zu lernen. Das funktioniert super im Labor.
2. Die Mission (Der Wach-Modus): Sobald der Roboter auf dem Planeten ankommt, muss er extrem sparsam mit Energie umgehen. Er hat keine Zeit für "vielleicht" oder "70 %". Er muss sofort und hart entscheiden: "Stein!" (1) oder "Kein Stein!" (0). Das ist wie ein harter Schalter.

Das Problem: Wenn man den Roboter vom weichen Training direkt in den harten Mission-Modus schaltet, stürzt er oft ab. Warum? Weil er im Training gelernt hat, sich in der "Grauzone" (zwischen 0 und 1) aufzuhalten. Aber auf dem Planeten muss er sofort auf 0 oder 1 springen. Diese Lücke zwischen dem weichen Training und der harten Realität nennt die Forscher den "Transfer Gap".

Die Lösung: SAST (Der "Stabilitäts-Trainer")

Der Autor, Maximilian Nicholson, hat eine neue Trainingsmethode namens SAST (Sharpness-Aware Surrogate Training) entwickelt.

Stell dir vor, du willst einen Bergsteiger auf einen steilen, glatten Gipfel trainieren.

• Normales Training: Du lässt den Kletterer auf einer weichen Matte üben. Er rutscht leicht hin und her. Wenn er dann auf den echten, rauen Felsen kommt, rutscht er sofort ab, weil er nicht gelernt hat, wie instabil der Boden sein kann.
• SAST-Training: Du sagst dem Kletterer: "Übe nicht nur auf der Matte, sondern stell dir vor, der Boden ist ein bisschen wackelig!" Du zwingst ihn, sich so zu positionieren, dass er auch dann stabil bleibt, wenn er ein kleines Wackeln (eine Störung) spürt.

Wie funktioniert das technisch?
Während des Trainings schüttelt der Computer das Modell kurz ein bisschen (eine "Störung"). Wenn das Modell bei diesem Wackeln trotzdem noch gute Ergebnisse liefert, ist es stabil. Wenn es bei der kleinsten Störung zusammenbricht, ist es instabil. SAST sucht also nicht nur die beste Lösung, sondern die robusteste Lösung, die auch dann funktioniert, wenn die Bedingungen (wie der harte Schalter auf dem Chip) sich ändern.

Was hat das gebracht? (Die Ergebnisse)

Die Forscher haben das auf zwei bekannten Testaufgaben getestet (N-MNIST und DVS Gesture), die wie Kameras funktionieren, die nur Bewegungen sehen (Event-Kameras).

• Ohne SAST: Der Roboter war im Training super (96 % richtig), aber sobald er auf den echten Chip mit dem harten Schalter umgeschaltet wurde, fiel die Leistung dramatisch auf 65 % (bei N-MNIST). Das ist, als würde ein Weltmeister im Schwimmbad plötzlich im trockenen Sand nicht mehr laufen können.
• Mit SAST: Der Roboter wurde im Training so trainiert, dass er "hart" denkt. Als er auf den echten Chip umgeschaltet wurde, fiel die Leistung kaum noch ab. Sie blieb bei 94 %!
  • Das ist eine Verbesserung von 65 % auf 94 %. Das ist enorm!

Der Clou: Auch mit "billiger" Hardware

Echte Sensoren auf Kameras oder Robotern haben oft nur begrenzte Rechenleistung (sie können keine komplexen Dezimalzahlen speichern, sondern nur einfache Ganzzahlen, wie INT8 oder INT4).

• Das Ergebnis: Selbst wenn man die Rechenleistung drastisch reduziert (als würde man einen Ferrari auf ein Fahrrad umrüsten), bleibt der SAST-Roboter stark.
  • Bei N-MNIST erreichte er mit einfacher Hardware immer noch 96,9 % Genauigkeit (verglichen mit nur 47,6 % beim normalen Training).
  • Er verbraucht dabei auch noch weniger Energie (weniger "SynOps", also weniger elektrische Impulse).

Zusammenfassung in einem Satz

SAST ist wie ein Trainer, der seine Schüler nicht nur für den perfekten Wettkampf trainiert, sondern sie so hart macht, dass sie auch dann gewinnen, wenn der Boden wackelt, die Ausrüstung kaputt ist und keine Zeit für Nachdenken bleibt.

Das macht es möglich, intelligente Kameras direkt auf Sensoren zu bauen, die extrem wenig Strom verbrauchen und trotzdem sehr genau sind – perfekt für autonome Autos, Drohnen oder Wearables.

Technische Zusammenfassung

1. Problemstellung

Spiking Neural Networks (SNNs) sind ein ideales Rechenmodell für On-Sensor-Vision (Vision direkt auf dem Sensor-Chip), da sie mit ereignisbasierten Datenströmen (Events) und binären Spikes effizient arbeiten und extrem geringen Energieverbrauch ermöglichen.

Das zentrale Trainingsproblem liegt in der Diskontinuität der Spike-Funktion:

• Während des Trainings werden SNNs oft mit Surrogat-Gradienten trainiert, bei denen die nicht-differenzierbare Heaviside-Schritt-Funktion durch eine glatte, differenzierbare Approximation (Surrogat) ersetzt wird.
• Beim Deployment (Einsatz) auf der Hardware muss jedoch die harte, binäre Schwellwert-Funktion verwendet werden.
• Dies führt zu einer signifikanten Transfer-Lücke (Transfer Gap): Modelle, die mit glatten Surrogaten trainiert wurden, zeigen oft einen drastischen Genauigkeitsverlust, wenn sie auf harte Spikes umgestellt werden, insbesondere wenn viele Membranpotenziale nahe am Schwellwert liegen. Herkömmliche Methoden wie ANN-zu-SNN-Konvertierung oder reine Quantisierung-aware-Training lösen dieses spezifische Problem der Nichtlinearität nicht ausreichend.

2. Methodik: Sharpness-Aware Surrogate Training (SAST)

Die Autoren schlagen SAST vor, eine Methode, die das Konzept der Sharpness-Aware Minimization (SAM) auf SNNs anwendet, die mit Surrogat-Gradienten trainiert werden.

• Kernidee: Anstatt nur den Verlust auf den aktuellen Gewichten zu minimieren, optimiert SAM den „schlimmsten Fall" in einer Nachbarschaft der Gewichte. Das Ziel ist es, flache Minima zu finden, die robuster gegenüber Störungen sind.
• Anwendung auf SNNs:
  • SAST wird auf ein Surrogat-forward SNN angewendet. Das bedeutet, die Dynamik des Netzwerks verwendet während des gesamten Trainingsprozesses die glatte Surrogat-Funktion.
  • Dadurch ist das Trainingsziel tatsächlich glatt, und der Gradientenberechnung (Backpropagation Through Time) ist exakt.
  • Der Algorithmus führt pro Schritt zwei Durchläufe durch:
    1. Berechnung des Gradienten $g$ auf einem Minibatch.
    2. Erzeugung einer Aufwärts-Störung $\epsilon = \rho \cdot g / (\|g\|^2 + \delta)$.
    3. Zurücksetzen aller SNN-Zustände (State Reset) und Berechnung des Gradienten bei den gestörten Gewichten $w + \epsilon$ auf einem unabhängigen Minibatch.
    4. Update der Gewichte.
• Deployment: Beim Einsatz wird die Surrogat-Funktion $\sigma$ einfach durch die harte Heaviside-Funktion $H$ ersetzt. Es erfolgen keine Nachkalibrierungen oder Anpassungen der Schwellwerte.

3. Theoretische Garantien

Unter expliziten Annahmen (beschränkte Eingaben, beschränkte Operator-Normen und eine lokale Kontraktionsbedingung $\gamma < 1$) liefern die Autoren folgende Beweise:

• Zustandsstabilität & Lipschitz-Stetigkeit: Die Membranpotenziale sind gleichmäßig beschränkt, und die Ausgabe ist Lipschitz-stetig bezüglich der Eingabe. Dies begrenzt, wie stark Eingangsrauschen (z. B. Event-Drops) die Vorhersage beeinflusst.
• Glattheit: Der empirische Surrogat-Zielwert ist $\beta$-glatt.
• Konvergenz: Es wird ein nicht-konvexer Konvergenzsatz bewiesen, der zeigt, dass die SAM-Störung einen additiven Fehlerterm verursacht, aber dennoch zur Konvergenz führt.

4. Experimentelle Ergebnisse

Die Methode wurde auf zwei Event-Kamera-Benchmarks evaluiert: N-MNIST und DVS Gesture. Es wurden sowohl vollvernetzte als auch konvolutionelle Architekturen mit einem Budget von ca. 0,4 Millionen Parametern getestet.

Hauptergebnisse (Swap-only Hard-Spike Genauigkeit):

• N-MNIST: Die Genauigkeit beim Wechsel auf harte Spikes stieg von 65,7 % (Baseline) auf 94,7 % (SAST). Die Transfer-Lücke reduzierte sich um bis zu 92 %.
• DVS Gesture: Die Genauigkeit stieg von 31,8 % auf 63,3 %. Die Transfer-Lücke reduzierte sich um 69 %.

Hardware-aware Inference Simulation:
Die Autoren simulierten reale Hardware-Beschränkungen (INT8/INT4 Gewichtsquantisierung, Fixed-Point Membranpotenziale, diskrete Leck-Faktoren):

• N-MNIST (INT8): Genauigkeit von 47,6 % (Baseline) auf 96,9 % (SAST) gesteigert.
• DVS Gesture (INT8): Genauigkeit von 25,3 % auf 47,6 % gesteigert.
• Energieeffizienz (SynOps): SAST reduzierte die synaptischen Operationen signifikant (z. B. bei DVS Gesture INT8 von 86.221k auf 4.323k), da die Membranpotenziale weiter vom Schwellwert entfernt liegen und somit weniger Spikes generiert werden, die für die Berechnung notwendig sind.

Weitere Beobachtungen:

• Robustheit: SAST-Modelle sind robuster gegenüber Rauschen (Event-Drops).
• Membran-Margen: SAST halbiert den Anteil der Membranpotenziale, die sich in der „zweideutigen Zone" nahe dem Schwellwert befinden, was die Stabilität bei der Umstellung auf harte Spikes erklärt.
• Rechenkosten: Der Trainingsaufwand verdoppelt sich etwa (durch den zweiten Gradientendurchlauf), aber SAST erreicht die Ergebnisse in deutlich weniger Epochen als ein Baseline-Modell, das auf die gleiche Rechenzeit begrenzt ist.

5. Bedeutung und Fazit

Dieses Paper stellt einen wichtigen Fortschritt für die praktische Anwendung von SNNs auf neuromorphen oder ressourcenbeschränkten On-Sensor-Chips dar.

• Lösung des Transfer-Problems: SAST schließt die Lücke zwischen dem glatten Trainingsmodell und dem harten Deployments-Modell effektiv, ohne Nachkalibrierung.
• Hardware-Robustheit: Die Methode verbessert nicht nur die reine Genauigkeit, sondern auch die Robustheit gegenüber Quantisierungsfehlern und reduziert den Energieverbrauch (SynOps).
• Praktische Relevanz: Da On-Sensor-Systeme oft keine Möglichkeit haben, komplexe Nachtrainings- oder Kalibrierungsschritte durchzuführen, bietet SAST eine „Train-and-Deploy"-Lösung, die direkt auf die harten Constraints der Zielhardware zugeschnitten ist.

Zusammenfassend positioniert SAST sich als vielversprechende Komponente in einem größeren Werkzeugkasten für effiziente, on-sensor Spiking-Inferenz.