Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

Technisches Resümee: Spiking Neural Networks für kontinuierliche Steuerung mittels End-to-End-Modellbasierter Lernverfahren

Problemstellung
Trotz der jüngsten Fortschritte beim Training von Spiking Neural Networks (SNNs) für die Klassifizierung bleibt deren Anwendung auf die kontinuierliche motorische Steuerung begrenzt. Während biologische Gehirne eine spike-basierte Kommunikation für robuste, adaptive und latenzarme motorische Verhaltensweisen nutzen, erweist sich die Übertragung dies in praktische maschinelle Lernsysteme für die Robotik als schwierig. Der primäre Engpass ist die Schwierigkeit, SNNs end-zu-end für kontinuierliche Aufgaben zu trainieren. Im Gegensatz zu Standard-Künstlichen Neuronalen Netzen (ANNs) und gated Recurrent Neural Networks (RNNs), die von glatten Gradienten profitieren, weisen SNNs aufgrund von Spiking-Nichtlinearitäten Diskontinuitäten auf. Dies erzwingt traditionell eine Forschung hin zu lokalen Plastizitätsregeln, Online-Adaption oder indirekten Trainingsparadigmen, statt hin zu einer prinzipienorientierten End-to-End-Optimierung. Darüber hinaus verlassen sich bestehende SNN-Steuerungsansätze oft auf analytische Modelle, lokale Lernregeln oder ANN-zu-SNN-Konvertierung, was häufig die Skalierbarkeit auf kontinuierliche Steuerung mit hohen Freiheitsgraden (DoF) oder die Robustheit gegenüber unmodellierten Dynamiken vermissen lässt.

Methodik
Die Autoren schlagen eine Predictive-Control (Pred-Control) SNN-Architektur vor, ein vollständig spikendes, modellbasiertes Steuerungsframework, das mittels Surrogatgradienten end-zu-end trainiert wird. Das System besteht aus zwei trainierbaren Spiking-Netzwerken:

1. Prediction Network (Forward Model): Ein rekurrentes Spiking-Netzwerk, das zukünftige Zustandsänderungen ($\Delta \hat{s}_t$) unter Berücksichtigung des aktuellen Zustands ($s_t$) und des Steuerinputs ($u_t$) vorhersagt. Es verwendet Leaky Integrate-and-Fire (LIF)-Neuronen mit lernbaren Zeitkonstanten und optionalen adaptiven Schwellenwerten.
2. Policy Network (Inverse Model): Ein Feedforward-Spiking-Netzwerk, das die optimale Steueraktion ($u_t$) basierend auf dem aktuellen Zustand ($s_t$) und einem Zielzustand ($s^*_t$) ableitet.

Wichtige Trainingsstrategien und Komponenten:

• Surrogatgradienten: Die nicht differenzierbare Spike-Funktion wird während des Backward-Passes durch glatte Surrogatfunktionen (speziell Gaussian Spike) approximiert, um eine gradientenbasierte Optimierung zu ermöglichen.
• Architektur: Beide Netzwerke verwenden LIF-Neuronen. Das Prediction Network enthält rekurrenten Verbindungen, um verborgene Zustandsvariablen (wie Geschwindigkeit) aus partiellen Beobachtungen abzuleiten, während das Policy Network Feedforward ist.
• Lernbare Zeitkonstanten: Membran- ($\tau_{mem}$) und synaptische Zeitkonstanten ($\tau_{syn}$) werden als lernbare Parameter behandelt (initialisiert über Fluktuations-getriebene Initialisierung), um es dem Netzwerk zu ermöglichen, seine intrinsische zeitliche Dynamik an die Aufgabenanforderungen anzupassen.
• Adaptive Schwellenwerte (ALIF): Das Modell integriert Adaptive LIF-Neuronen mit abfallenden Basis-Schwellenwerten und spike-getriebener Adaptation. Dieser Mechanismus reaktiviert stille Neuronen und verhindert eine anhaltende Überaktivierung, was die Credit Assignment über lange Horizonte verbessert.
• Latent-Space-Kompression: Um die Parametereffizienz zu verbessern, nutzt die Architektur Latent-Space-Kompression zwischen den Spiking-Layern, was breitere Layer innerhalb eines festen Parameterbudgets ermöglicht.
• Trainings-Pipeline: Die Netzwerke werden iterativ unter Verwendung eines Replay-Buffers trainiert. Das Vorhersagemodell wird mittels Teacher Forcing aktualisiert, während die Policy durch das Rollout des eingefrorenen Vorhersagemodells optimiert wird, um differenzierbare Schätzungen für den Policy-Loss zu generieren.

Experimenteller Aufbau
Das Framework wurde in zwei simulierten kontinuierlichen Steuerungsumgebungen evaluiert:

1. 2D-Planarer Arm: Ein zweigelenkiger Arm mit partieller Beobachtbarkeit (keine Geschwindigkeitsdaten), genutzt für das Hyperparameter-Screening.
2. 3D-Roboterarm (6-DoF): Ein simulierter Franka Emika Panda Roboter mit Drehmomentsteuerung, der eine hochdimensionale kontinuierliche Steuerungsaufgabe repräsentiert.

Wichtige Ergebnisse

• Performance vs. Parameter: Bei der 6-DoF-Reichweitenaufgabe erreichte das vollständige Pred-Control SNN eine Aufgabenleistung (kumulierte Distanz, Erfolgsrate, Zeit-auf-Ziel) vergleichbar mit einem großen nicht-spikenden rekurrenten Baseline-Modell (ca. 12,7 Mio. Parameter), obwohl es etwa eine Größenordnung weniger Parameter verwendete (ca. 0,9 Mio.).
• Ablationsstudien:
  • Lernbare Zeitkonstanten: Verbesserten die Konvergenz und die endgültige Leistung signifikant, insbesondere bei der Kompensation suboptimaler Initialisierung.
  • Adaptive Schwellenwerte (ALIF): Verbesserten die Leistung durch Stabilisierung der Feuerraten und Ermöglichung der Reaktivierung stiller Neuronen, was eine bessere Credit Assignment über lange Horizonte erleichterte.
  • Latent Compression: Ermöglichte breitere Spiking-Layer bei festen Parameterbudgets, was zu günstigen Performance-Effizienz-Trade-offs führte.
• Prediction vs. Control: Die nicht-spikenden Baselines erreichten einen niedrigeren langfristigen Vorhersage-MSE (Mean Squared Error), was sich jedoch nicht in einer überlegenen Steuerungsleistung niederschlug. Das SNN erreichte eine vergleichbare Steuerungseffektivität trotz weniger genauer autoregressiver Vorhersagen, was darauf hindeutet, dass effektive Steuerung ein Modell erfordert, das ausreichend expressiv ist, um aufgabenspezifische Dynamiken zu erfassen, anstatt perfekte Vorhersagegenauigkeit zu besitzen.
• Stabilität: Das vorgeschlagene SNN zeigte im Vergleich zu einfachen Spiking-Controllern glattere und stabilere Optimierungsdynamiken, lernte jedoch langsamer als die nicht-spikenden Baselines.

Bedeutung und Ansprüche
Das Paper behauptet zu demonstrieren, dass vollständig spikende Architekturen in der Lage sind, end-zu-end Roboterarme mit mehreren Freiheitsgraden in kontinuierlichen Umgebungen zu steuern, wodurch die Lücke zwischen Deep-Learning-Trainingswerkzeugen und biologisch inspirierter Berechnung geschlossen wird.

Zentrale Beiträge sind:

1. Skalierbarkeit: Etablierung von SNNs als lebensfähiges und skalierbares Substrat für hochdimensionale kontinuierliche Steuerung ohne die Notwendigkeit von ANN-Pretraining, Konvertierung oder hardwarespezifischen Einschränkungen.
2. Prinzipienorientiertes Design: Hervorhebung, dass spezifische architektonische und Trainings-Designentscheidungen – nämlich lernbare Zeitkonstanten, adaptive Schwellenwerte und Latent-Space-Kompression – entscheidend für stabiles Training und effektive Steuerung in Spiking-Domänen sind.
3. Modellbasierte Steuerung: Demonstration, dass die Integration gelernter prädiktiver Modelle in den Regelkreis es SNNs ermöglicht, auf hochdimensionale Aufgaben mit langen Horizonten zu skalieren.
4. Effizienz: Aufzeigen, dass eine Hochleistungssteuerung mit wesentlich weniger Parametern als äquivalente nicht-spikende rekurrenten Netzwerke erreicht werden kann.

Die Autoren positionieren diese Arbeit als einen Schritt hin zur Konstruktion skalierbarer, adaptiver und energieeffizienter Steuerungssysteme, die Deep-Learning-Training mit prädiktiver Berechnung vereinen und SNNs über Klassifizierungs-Benchmarks hinaus zu adaptiver, verkörperter Berechnung führen. Sie räumen Einschränkungen hinsichtlich des Rechenaufwands von Backpropagation-through-Time (BPTT) und der derzeitigen Abhängigkeit von Rate Coding ein und deuten an, dass zukünftige Arbeiten Online-Lernmethoden (z. B. e-prop) und alternative Spike-Coding-Schemata untersuchen sollten.