Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

Technische Samenvatting: Spiking Neural Networks voor Continue Controle via End-to-End Model-Based Learning

Probleemstelling
Ondanks recente vooruitgang in het trainen van Spiking Neural Networks (SNN's) voor classificatie, blijft hun toepassing op continue motorische controle beperkt. Hoewel biologische hersenen gebruikmaken van spike-gebaseerde communicatie voor robuust, adaptief en laag-latent motorisch gedrag, is het vertalen hiervan naar praktische machine learning-systemen voor robotica een uitdaging. De primaire flessenhals is de moeilijkheid om SNN's end-to-end te trainen voor continue taken. In tegenstelling tot standaard Artificial Neural Networks (ANN's) en gated Recurrent Neural Networks (RNN's) die profiteren van gladde gradiënten, vertonen SNN's discontinuïteiten door spiking-nietlineariteiten. Dit dwingt onderzoek traditioneel richting lokale plasticiteitsregels, online adaptatie of indirecte trainingsparadigma's, in plaats van principiële end-to-end optimalisatie. Bovendien leunen bestaande SNN-controlebenaderingen vaak op analytische modellen, lokale leerregels of ANN-naar-SNN conversie, wat vaak een gebrek aan schaalbaarheid naar high-degree-of-freedom (DoF) continue controle of robuustheid tegen ongemodelleerde dynamiek heeft.

Methodologie
De auteurs stellen een Predictive-Control (Pred-Control) SNN architectuur voor, een volledig spiking, model-gebaseerd controleframework dat end-to-end wordt getraind met behulp van surrogate gradiënten. Het systeem bestaat uit twee trainbare spiking netwerken:

1. Prediction Network (Forward Model): Een recurrent spiking netwerk dat toekomstige staatveranderingen ($\Delta \hat{s}_t$) voorspelt op basis van de huidige staat ($s_t$) en de controle-input ($u_t$). Het maakt gebruik van Leaky Integrate-and-Fire (LIF) neuronen met leerbare tijdconstanten en optionele adaptieve drempelwaarden.
2. Policy Network (Inverse Model): Een feedforward spiking netwerk dat de optimale controleactie ($u_t$) afleidt op basis van de huidige staat ($s_t$) en een doelstaat ($s^*_t$).

Belangrijke Trainingsstrategieën en Componenten:

• Surrogate Gradients: De niet-differentieerbare spike-functie wordt tijdens de backward pass benaderd met behulp van gladde surrogate functies (specifiek de Gaussian Spike) om gradiënt-gebaseerde optimalisatie mogelijk te maken.
• Architectuur: Beide netwerken maken gebruik van LIF-neuronen. Het prediction network bevat recurrente verbindingen om verborgen staatvariabelen (zoals snelheid) af te leiden uit partiële observaties, terwijl het policy network feedforward is.
• Leerbare Tijdconstanten: Membraan ($\tau_{mem}$) en synaptische ($\tau_{syn}$) tijdconstanten worden behandeld als leerbare parameters (geïnitialiseerd via fluctuatie-gedreven initialisatie) om het netwerk in staat te stellen zijn intrinsieke temporele dynamiek aan de taakeisen aan te passen.
• Adaptieve Drempelwaarden (ALIF): Het model incorporeert Adaptive LIF neuronen met vervallende baseline drempelwaarden en spike-getriggerde adaptatie. Dit mechanisme activeert stille neuronen opnieuw en voorkomt aanhoudende overactivatie, wat de credit assignment over lange horizonten verbetert.
• Latent-Space Compressie: Om de parameterefficiëntie te verbeteren, gebruikt de architectuur latent-space compressie tussen de spiking lagen, wat bredere lagen mogelijk maakt binnen een vastgesteld parameterbudget.
• Trainingspipeline: De netwerken worden iteratief getraind met behulp van een replay buffer. Het prediction model wordt bijgewerkt via teacher forcing, terwijl het policy wordt geoptimaliseerd door de bevroren prediction model uit te rollen om differentieerbare staatsschattingen te genereren voor de policy loss.

Experimentele Opstelling
Het framework werd geëvalueerd in twee gesimuleerde continue controleomgevingen:

1. 2D Planar Arm: Een arm met twee gewrichten en partiële observeerbaarheid (geen snelheidscatagorie), gebruikt voor hyperparameter screening.
2. 3D Robotic Arm (6-DoF): Een gesimuleerde Franka Emika Panda robot met torque-controle, die een hoog-dimensionale continue controletaak vertegenwoordigt.

Belangrijkste Resultaten

• Prestaties vs. Parameters: Bij de 6-DoF reiktaak bereikte de volledige Pred-Control SNN een taakprestatie (cumulatieve afstand, succespercentage, tijd-op-doel) die vergelijkbaar is met een grote niet-spiking recurrent baseline (ongeveer 12,7M parameters), ondanks het gebruik van een orde van grootte minder parameters (ongeveer 0,9M).
• Ablatie-studies:
  • Leerbare Tijdconstanten: Verbeterden de convergentie en de uiteindelijke prestaties aanzienlijk, vooral bij het compenseren van suboptimale initialisatie.
  • Adaptieve Drempelwaarden (ALIF): Verbeterden de prestaties door firing rates te stabiliseren en stille neuronen opnieuw te activeren, wat een betere long-horizon credit assignment faciliteert.
  • Latent Compressie: Maakte bredere spiking lagen mogelijk bij vaste parameterbudgetten, wat resulteerde in gunstige prestatie-efficiëntie trade-offs.
• Prediction vs. Control: De niet-spiking baselines bereikten een lagere long-horizon prediction Mean Squared Error (MSE), maar dit vertaalde zich niet naar superieure controleprestaties. De SNN bereikte een vergelijkbare effectiviteit in controle ondanks minder nauwkeurige autoregressieve voorspellingen, wat suggereert dat effectieve controle een model vereist dat voldoende expressief is om taakrelevante dynamiek te vangen, in plaats van perfecte voorspellingsgetrouwheid.
• Stabiliteit: De voorgestelde SNN vertoonde gladdere en stabielere optimalisatiedynamiek vergeleken met basis spiking controllers, hoewel het langzamer leerde dan de niet-spiking baselines.

Betekenis en Claims
Het artikel claimt aan te tonen dat volledig spiking architecturen end-to-end getraind kunnen worden om robotarmen met meerdere vrijheidsgraden in continue omgevingen aan te sturen, waarmee de kloof wordt overbrugd tussen deep learning trainingsinstrumenten en biologisch geïnspireerde computation.

Belangrijkste bijdragen zijn:

1. Schaalbaarheid: Het vestigen van SNN's als een levensvatbaar en schaalbaar substraat voor hoog-dimensionale continue controle zonder dat ANN pretraining, conversie of hardware-specifieke beperkingen nodig zijn.
2. Principiële Ontwerp: Het benadrukken dat specifieke architecturale en trainingsontwerpkiezen—namelijk leerbare tijdconstanten, adaptieve drempelwaarden en latent-space compressie—cruciaal zijn voor stabiele training en effectieve controle in spiking domeinen.
3. Model-Based Control: Het aantonen dat het integreren van geleerde predictieve modellen in de control loop het mogelijk maakt voor SNN's om te schalen naar hoog-dimensionale, long-horizon taken.
4. Efficiëntie: Het aantonen dat high-performance controle kan worden bereikt met aanzienlijk minder parameters dan equivalente niet-spiking recurrente netwerken.

De auteurs positioneren dit werk als een stap naar het construeren van schaalbare, aanpasbare en energie-efficiënte controlesystemen die deep learning training verenigen met predictieve computation, waarbij ze SNN's voorbij classificatiebenchmarks bewegen naar adaptieve, belichaamde computation. Zij erkennen beperkingen met betrekking tot de computationele overhead van backpropagation-through-time (BPTT) en de huidige afhankelijkheid van rate coding, en suggereren dat toekomstig werk online leermethoden (bijv. e-prop) en alternatieve spike coding schema's moet verkennen.