Technische Samenvatting: Het trainen van trage siliciumneuronen om extreem snelle robots aan te sturen met Spiking Reinforcement Learning

Probleemstelling

Autonome robotica staat voor een kritieke energie-efficiëntie-bottleneck. Hoewel grootschalige neurale netwerken ongekende successen hebben behaald, zijn hun trainings- en inferentiekosten (megawatturen en snelle batterijontlading) incompatibel met mobiele platforms die op milliwatt-budgetten opereren. Daartegenover staat het menselijk brein, dat complexe motorische leerprocessen realiseert met ongeveer 20 W aan vermogen en weinig trainingsvoorbeelden. Hoewel neuromorfische hardware een pad naar energie-efficiëntie biedt via asynchrone, event-gestuurde verwerking, zijn bestaande demonstraties van Spiking Neural Network (SNN) reinforcement learning (RL) grotendeels beperkt gebleven tot vereenvoudigde benchmarks (bijv. 2D-games met discrete acties en laag-dimensionale observaties).

De centrale uitdaging die in dit werk wordt aangepakt, is het schalen van neuromorfische RL naar werkelijke robotische manipulatie die gekenmerkt wordt door:

1. Hoge dimensionaliteit: Een 6D continue toestandsruimte (puckpositie/snelheid en end-effector coördinaten).
2. Fysieke beperkingen: Precieze end-effector controle met mechanische latenties.
3. Temporele dynamiek: Pucktrajecten bij 1,0–1,5 m/s die voorspellende planning vereisen met 50 Hz controle en 1 ms fysica-integratie.

De auteurs onderzoeken of een compact netwerk van "trage" siliciumneuronen, draaiend op een mixed-signal neuromorfische processor, een "extreem snelle" robot kan aansturen in een high-speed airhockeytaak.

Methodologie

Experimentele Opstelling

Het systeem werkt in een Hardware-in-the-Loop (HIL) configuratie met de MuJoCo-simulatie van een airhockeyomgeving.

• Robotica: Een antropomorfe manipulator bestuurt een hamervormige end-effector op een tafel van 1,038 × 1,948 m.
• Control Loop: Werkt op 50 Hz. De agent selecteert één van de twee discrete acties die overeenkomen met vooraf gedefinieerde bewegingsprimitieven (Home target of Forward target). Deze primitieven worden uitgevoerd als open-loop balistische trajecten via een ingebedde inverse kinematica-solver.
• Fysica: Geïntegreerd op 1000 Hz om wrijvingsloze puckdynamiek en elastische botsingen te modelleren.

Netwerkarchitectuur

Het systeem maakt gebruik van de DYNAP-SE analoge-digitale mixed-signal neuromorfische chip. De architectuur is een reservoir computing-opstelling met een plastische readout:

• Inputlaag: 60 FPGA-gebaseerde spike-generatoren. Zes toestandsvariabelen (puck $x, y, v_x, v_y$ en end-effector $x, y$) worden gecodeerd als populatiecodes met behulp van Gaussian activiteitsprofielen over 10 neuronen elk.
• Verborgen Laag (Reservoir): 1020 silicon AdEx-LIF neuronen met vaste willekeurige feedforward synapsen. Deze laag legt de temporele structuur van de taak vast zonder dat gewichtsaanpassingen nodig zijn.
• Readout Laag: 2 lineaire eenheden die de waarschijnlijkheid vertegenwoordigen van het selecteren van Actie 0 of Actie 1. De gewichten die de verbinding vormen tussen de verborgen laag en de readout zijn plastisch.
• Leerregel: Het systeem gebruikt e-prop (eligibility propagation), een lokale leerregel die backpropagation through time benadert. Gewichtsaanpassingen hangen alleen af van lokale pre- en post-synaptische activiteit gecombineerd met een globaal beloningssignaal, wat volledig online leren mogelijk maakt. De update-regel is:
  $$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$$
  Waar $\bar{s}$ gefilterde activiteit is, $r_t$ de beloning, en $\pi$ de actiewaarschijnlijkheid.

Beloningsfunctie

Een scalaire beloning $r_t$ wordt bij elke stap berekend om voorwaartse puckbeweging en precieze interceptie-timing aan te moedigen:

• +20: Terminale beloning als de puck het doel passeert ($x_p > 1,5$ m) met een voorwaartse impuls ($v_x > 0,1$ m/s).
• $0,2 v_x$: Shaping-beloning proportioneel aan de voorwaartse snelheid als de end-effector zich binnen 0,08 m van de puck bevindt.
• -0,1: Per-stap straf om de duur van de episode te minimaliseren.

Trainingsprotocol

Training loopt gedurende 2000 episodes per experimentele run, herhaald met 10 onafhankelijke willekeurige seeds om rekening te houden met de stochasticiteit van de chip. Het systeem leert alleen "wakker" (geen offline "dromen"-fase in deze specifieke implementatie), vertrouwend op real-time interactie.

Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen bij het schalen van neuromorfische RL van gaming naar fysieke robotica:

1. Voorbij Toy RL: De overgang van eenvoudige rastergebaseerde games naar echte airhockey met adaptieve-precisie continue toestandsencoding.
2. Van Discreet naar Continu: Het demonstreren van neuromorfische RL voor continue bewegingsprimitieven die balistische trajecten uitvoeren op 50 Hz, wat voorspellende in plaats van frame-niveau beslissingen vereist.
3. Generalisatie onder Onzekerheid: Het bereiken van robuust leren (96–98% succes) ondanks het randomiseren van puckposities en snelheden (1,0–1,5 m/s), wat bewijst dat het systeem kan adapteren aan uiteenlopende initiële condities.

Resultaten

• Leerefficiëntie: Het systeem bereikte robuuste gameplay binnen 1500–2000 episodes.
• Prestaties:
  • Stationaire Puck: 100% succes binnen 200 trials.
  • Constante Snelheid: 100% succes na 1000 episodes.
  • Variabele Snelheid (1,0–1,5 m/s): Succes stabiliseerde boven de 96% na 1500 episodes.
  • Gerandomiseerde Positie & Snelheid: Succes stabiliseerde boven de 98% na 1300 episodes.
• Schaalbaarheidstests:
  • Smalle snelheidsbereiken ([0,7, 0,9] m/s) bereikten >97% succes in ~150 episodes.
  • Brede bereiken ([0,7, 1,5] m/s) vereisten ~700 episodes en vertoonden een bescheiden daling in asymptotisch succes (97% naar 93%), wat wijst op gracieuze degradatie in plaats van catastrofaal falen.
• Gedragsconsolidatie: Pre-training gedrag was erratisch en stochastisch. Post-training vertoonde de agent een deterministische, temporeel precieze strategie, gekenmerkt door een vroege commitment aan een interceptietraject gevolgd door precieze correctieve manoeuvres.

Betekenis en Claims

De auteurs positioneren dit werk als het eerste bevestigende antwoord op de vraag of neuromorfische RL-systemen kunnen schalen naar de hogere dimensies van toestanden, continue-tijd controle en strikte temporele beperkingen die typerend zijn voor echte robotica.

• De Kloof Overbruggen: Dit werk demonstreert dat brein-geïnspireerde benaderingen snelle interactietaken (1,5 m/s pucksnelheden) kunnen aanpakken terwijl ze "always-on" leren ondersteunen in intelligente machines.
• Efficiëntie: Het systeem bereikte stabiele prestaties met slechts 1020 neuronen, een reductie van 10x vergeleken met eerdere bio-geïnspireerde RL-simulaties voor airhockey die ~10.000 neuronen vereisten.
• Praktische Bruikbaarheid: Door hardware en leeralgoritmen te co-ontwerpen (met e-prop op DYNAP-SE), maakt het systeem real-time leren mogelijk met een computer en een neuromorfische chip in-the-loop, wat de haalbaarheid valideert van het trainen van spiking neurale netwerken voor autonome robotische systemen zonder te vertrouwen op niet-lokale, computationeel dure leerregels.

Het artikel concludeert dat complexe sensorimotorische leerprocessen haalbaar zijn met een compacte mixed-signal neuromorfische processor, wat de potentie voor energie-efficiënte, adaptieve controle in autonome robotica benadrukt.