🤖 KI

Training slow silicon neurons to control extremely fast robots with spiking reinforcement learning

Diese Arbeit zeigt, dass ein kompaktes Spiking-Neurales-Netzwerk, das auf einem gemischt-analogen neuromorphen Prozessor läuft, mittels Reinforcement Learning trainiert werden kann, um einen Air-Hockey-Roboter in Echtzeit zu steuern, wodurch durch ko-designte Algorithmen und Hardware erfolgreich eine Brücke zwischen hirninspiriertem Hardware-Design und schnelllebendiger robotergestützter Steuerung geschlagen wird.

Ursprüngliche Autoren: Irene Ambrosini, Ingo Blakowski, Dmitrii Zendrikov, Cristiano Capone, Luna Gava, Giacomo Indiveri, Chiara De Luca, Chiara Bartolozzi

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Irene Ambrosini, Ingo Blakowski, Dmitrii Zendrikov, Cristiano Capone, Luna Gava, Giacomo Indiveri, Chiara De Luca, Chiara Bartolozzi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr langsamen, energieeffizienten Computergehirn beizubringen, ein Hochgeschwindigkeits-Lufthockey-Spiel gegen einen Roboterarm zu spielen. Das ist im Wesentlichen das, was dieses Paper beschreibt.

Hier ist die Geschichte, wie sie es gemacht haben, auf einfache Konzepte heruntergebrochen:

Die Herausforderung: Ein langsames Gehirn gegen ein schnelles Spiel

Lufthockey ist ein Spiel von Entscheidungen in Millisekunden. Der Puck fliegt mit Geschwindigkeiten von bis zu 1,5 Metern pro Sekunde über den Tisch. Um zu gewinnen, muss man vorhersagen, wohin er fliegt, und seinen Schläger sofort bewegen.

Normalerweise sind leistungsstarke Computer (wie die in Ihrem Handy oder Laptop) großartig darin, aber sie sind wie spritfressende Sportwagen: Sie sind schnell, verbrauchen aber viel Energie. Die Forscher wollten eine andere Art von „Gehirn“ verwenden – eines, das davon inspiriert ist, wie unsere eigenen Gehirne funktionieren. Diese werden neuromorphe Chips genannt. Betrachten Sie sie als energieeffiziente Elektroroller: Sie verbrauchen sehr wenig Strom und verarbeiten Informationen auf eine einzigartige Weise, indem sie winzige elektrische Funken (genannt „Spikes“) anstelle eines konstanten, schweren Stromflusses nutzen.

Das große Problem? Diese „Scooter-Gehirne“ sind von Natur aus langsamer und weniger präzise als die „Sportwagen-Computer“. Die Forscher fragten sich: Kann ein langsames, energieeffizientes Gehirn einen schnellen Roboter in Echtzeit steuern?

Die Lösung: Ein „Reservoir“ und ein „Coach“

Um dies zu lösen, bauten sie ein System mit drei Hauptteilen:

Der Übersetzer (Input): Die Sensoren des Roboters sehen die Position und Geschwindigkeit des Pucks. Da der Chip eine andere Sprache spricht (Spikes), übersetzt ein Computer diese Daten in eine rasant aufeinanderfolgende Sequenz elektrischer Funken.
Das „Reservoir“ (Das verborgene Gehirn): Dies ist der Kern des Chips. Stellen Sie sich eine Schüssel vor, die mit 1.020 winzigen, wackeligen Murmeln (Neuronen) gefüllt ist, die durch zufällige Schnüre miteinander verbunden sind. Wenn der „Übersetzer“ einen Funken in die Schüssel sendet, beginnen die Murmeln in einem komplexen Muster herumzuspringen. Dieses „Reservoir“ ist besonders, weil es nicht lernen muss, wie es springt; seine zufälligen Verbindungen sind bereits perfekt darin, das Timing und den Rhythmus des Spiels zu erfassen. Es ist wie ein Schlagzeug, das den Takt eines Liedes allein durch das Hören natürlich kennt.
Der Coach (Der Readout): Dies ist der einzige Teil des Gehirns, der tatsächlich lernt. Er beobachtet die Murmeln, die im Reservoir herumspringen, und entscheidet: „Okay, basierend auf diesem Muster sollte ich den Roboterarm nach links oder rechts bewegen.“

Wie sie es gelehrt haben: Versuch und Irrtum

Sie haben den Roboter nicht mit Regeln programmiert. Stattdessen nutzten sie Reinforcement Learning (Bestärkendes Lernen), was so ähnlich ist wie das Training eines Hundes.

Die Belohnung: Wenn der Roboter den Puck trifft und ihn nach vorne schiebt, bekommt der „Coach“ ein Leckerli (eine positive Punktzahl). Wenn er den Puck verpasst oder zu lange braucht, erhält er eine kleine Strafe.
Die Lernregel (e-prop): Das ist die magische Zutat. Anstatt dass der Coach das gesamte Spiel von Anfang bis Ende sehen muss, um herauszufinden, was schiefgelaufen ist (was zu lange dauert), nutzt er eine lokale Regel. Er schaut nur darauf, was gerade jetzt passiert, und passt seine Verbindungen leicht an. Es ist, als würde man das Fahrradfahren lernen, indem man jede Sekunde winzige Balancekorrekturen vornimmt, anstatt ein Video seines Sturzes zu analysieren, nachdem man abgestürzt ist.

Die Ergebnisse: Von „Spielzeug“ zu „Realität“

Frühere Experimente mit dieser Technologie waren auf einfache Videospiele (wie Pong) beschränkt, bei denen die Regeln einfach waren und die Welt klein war. Dieses Paper nahm diese Technologie und brachte sie in einen echten, physischen Roboter.

Der Aufbau: Ein Roboterarm auf einem echten Lufthockeytisch (etwa 2 Meter lang).
Die Geschwindigkeit: Der Roboter musste 50 Mal pro Sekunde Entscheidungen treffen.
Das Ergebnis: Nach etwa 1.500 bis 2.000 Spielen (Episoden) lernte das System, 96 % bis 98 % der Zeit zu gewinnen, selbst wenn der Puck mit unterschiedlichen Geschwindigkeiten und von verschiedenen Stellen geworfen wurde.

Warum das wichtig ist

Das Paper zeigt, dass man keinen massiven, stromhungrigen Supercomputer braucht, um einen schnellen Roboter zu steuern. Man kann einen winzigen, stromsparenden Chip mit nur 1.020 Neuronen verwenden (was winzig im Vergleich zu den Milliarden im menschlichen Gehirn ist), um eine komplexe, schnelle physische Aufgabe zu meistern.

Sie haben bewiesen, dass „langsame“ Silizium-Neuronen mit „schnellen“ Robotern mithalten können, wenn man das System richtig entwirft. Es ist, als würde man zeigen, dass ein kleiner, effizienter Elektroroller tatsächlich ein Rennen gegen einen Sportwagen gewinnen kann, wenn der Fahrer genau weiß, wie er die Kurven nehmen muss.

Kurz gesagt: Sie haben einem winzigen, energieeffizienten, funkenbasierten Computergehirn beigebracht, Lufthockey mit einem Roboterarm zu spielen, und damit bewiesen, dass hirninspirierte Hardware auch hochgeschwindigkeits-reale Aufgaben bewältigen kann, ohne dass sie ein riesiges Kraftwerk zur Unterstützung benötigt.

Technisches Resümee: Das Training langsamer Silizium-Neuronen zur Steuerung extrem schneller Roboter mittels Spiking-Reinforcement-Learning

Problemstellung

Die autonome Robotik steht vor einem kritischen Engpass bei der Energieeffizienz. Während groß angelegte neuronale Netze beispiellose Erfolge erzielt haben, sind deren Trainings- und Inferenzkosten (Megawattstunden und schneller Batterieverbrauch) nicht mit mobilen Plattformen vereinbar, die mit Milliwatt-Budgets arbeiten. Im Gegensatz dazu erreicht das menschliche Gehirn komplexe motorische Lernprozesse mit etwa 20 W Leistung und nur wenigen Trainingsbeispielen. Während neuromorphe Hardware durch asynchrone, ereignisgesteuerte Verarbeitung einen Weg zu Energieeffizienz bietet, beschränkten sich bisherige Demonstrationen von Spiking Neural Network (SNN) Reinforcement Learning (RL) weitgehend auf vereinfachte Benchmarks (z. B. 2D-Spiele mit diskreten Aktionen und niedrigdimensionalen Beobachtungen).

Die zentrale Herausforderung, die in dieser Arbeit adressiert wird, ist die Skalierung von neuromorphem RL auf reale robotische Manipulation, die durch folgende Merkmale gekennzeichnet ist:

Hohe Dimensionalität: Ein 6D-kontinuierlicher Zustandsraum (Puck-Position/Geschwindigkeit und Endeffektor-Koordinaten).
Physische Randbedingungen: Präzise Endeffektor-Steuerung mit mechanischen Latenzen.
Temporale Dynamik: Puck-Trajektorien bei 1,0–1,5 m/s, die eine prädiktive Planung mit 50 Hz Steuerung und 1 ms Physik-Integration erfordern.

Die Autoren untersuchen, ob ein kompaktes Netzwerk aus „langsamen“ Silizium-Neuronen, das auf einem gemischten analog-digitalen neuromorphen Prozessor läuft, einen „extrem schnellen“ Roboter bei einer Air-Hockey-Aufgabe mit hoher Geschwindigkeit steuern kann.

Methodik

Experimenteller Aufbau

Das System arbeitet in einer Hardware-in-the-Loop (HIL) Konfiguration unter Verwendung der MuJoCo-Simulation einer Air-Hockey-Umgebung.

Robotik: Ein anthropomorpher Manipulator steuert einen malletsähnlichen Endeffektor auf einem 1,038 × 1,948 m großen Tisch.
Regelkreis: Operiert mit 50 Hz. Der Agent wählt eine von zwei diskreten Aktionen aus, die vordefinierten Bewegungsprimitiven entsprechen (Home-Ziel oder Forward-Ziel). Diese Primitive werden als Open-Loop-Ballistik-Trajektorien über einen eingebetteten inversen Kinematik-Solver ausgeführt.
Physik: Integriert bei 1000 Hz, um die reibungsfreie Puck-Dynamik und elastische Kollisionen zu modellieren.

Netzwerkarchitektur

Das System nutzt den DYNAP-SE analog-digitalen gemischten neuromorphen Chip. Die Architektur ist ein Reservoir-Computing-Setup mit einem plastischen Readout:

Input-Layer: 60 FPGA-basierte Spike-Generatoren. Sechs Zustandsvariablen (Puck $x, y, v_x, v_y$ und Endeffektor $x, y$ ) werden als Populationscodes mittels Gaußscher Aktivitätsprofile über jeweils 10 Neuronen kodiert.
Hidden Layer (Reservoir): 1020 Silizium-AdEx-LIF-Neuronen mit festen, zufälligen Feedforward-Synapsen. Diese Schicht erfasst die temporale Struktur der Aufgabe, ohne dass Gewichtsaktualisierungen erforderlich sind.
Readout-Layer: 2 lineare Einheiten, welche die Wahrscheinlichkeit der Auswahl von Aktion 0 oder Aktion 1 repräsentieren. Die Gewichte, die den Hidden Layer mit dem Readout verbinden, sind plastisch.
Lernregel: Das System verwendet e-prop (Eligibility Propagation), eine lokale Lernregel, die Backpropagation through Time approximiert. Die Gewichtsaktualisierungen hängen nur von der lokalen prä- und postsynaptischen Aktivität in Kombination mit einem globalen Belohnungssignal ab, was ein vollständig Online-Lernen ermöglicht. Die Aktualisierungsregel lautet:
$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$
Wobei $\bar{s}$ die gefilterte Aktivität, $r_t$ die Belohnung und $\pi$ die Aktionswahrscheinlichkeit ist.

Belohnungsfunktion

Eine skalare Belohnung $r_t$ wird bei jedem Schritt berechnet, um die Vorwärtsbewegung des Pucks und präzises Abfangen zu fördern:

+20: Terminale Belohnung, wenn der Puck das Ziel passiert ( $x_p > 1,5$ m) mit Vorwärtsimpuls ( $v_x > 0,1$ m/s).
$0,2 v_x$ : Shaping-Belohnung proportional zur Vorwärtsgeschwindigkeit, wenn der Endeffektor innerhalb von 0,08 m des Pucks ist.
-0,1: Pro Schritt anfallende Strafe, um die Episodendauer zu minimieren.

Trainingsprotokoll

Das Training läuft über 2000 Episoden pro Experimentlauf und wird 10-mal mit unabhängigen Zufallssäden wiederholt, um die Stochastizität des Chips zu berücksichtigen. Das System lernt ausschließlich im „wachzustand“ (keine Offline-„Dreaming“-Phase in dieser spezifischen Implementierung) und verlässt sich auf die Echtzeit-Interaktion.

Zentrale Beiträge

Das Paper beansprucht drei primäre Beiträge bei der Skalierung von neuromorphem RL von Spielen auf physische Robotik:

Jenseits von Spiel-Benchmarks: Übergang von einfachen gitterbasierten Spielen zu realem Air Hockey mit adaptiver Präzisionskodierung für kontinuierliche Zustände.
Diskret zu Kontinuierlich: Demonstration von neuromorphem RL für kontinuierliche Bewegungsprimitive, die Ballistik-Trajektorien mit 50 Hz ausführen und somit prädiktive statt Frame-Level-Entscheidungen erfordern.
Generalisierung unter Unsicherheit: Erreichen eines robusten Lernens (96–98 % Erfolgsrate) trotz Randomisierung von Puck-Positionen und -Geschwindigkeiten (1,0–1,5 m/s), was beweist, dass das System sich an variierende Anfangsbedingungen anpassen kann.

Ergebnisse

Lerneffizienz: Das System erreichte ein robustes Gameplay innerhalb von 1500–2000 Episoden.
Leistung:
- Stationärer Puck: 100 % Erfolg innerhalb von 200 Versuchen.
- Konstante Geschwindigkeit: 100 % Erfolg nach 1000 Episoden.
- Variable Geschwindigkeit (1,0–1,5 m/s): Erfolg stabilisierte sich über 96 % nach 1500 Episoden.
- Randomisierte Position & Geschwindigkeit: Erfolg stabilisierte sich über 98 % nach 1300 Episoden.
Skalierbarkeitstests:
- Enge Geschwindigkeitsbereiche ([0,7, 0,9] m/s) erreichten >97 % Erfolg in ~150 Episoden.
- Breite Bereiche ([0,7, 1,5] m/s) erforderten ~700 Episoden und zeigten einen moderaten Rückgang des asymptotischen Erfolgs (97 % auf 93 %), was auf ein graduelles Nachlassen statt eines katastrophalen Scheiterns hindeutet.
Verhaltenskonsolidierung: Das Verhalten vor dem Training war erratisch und stochastisch. Nach dem Training zeigt der Agent eine deterministische, zeitlich präzise Strategie, die durch eine frühe Festlegung auf eine Abfangtrajektorie gefolgt von präzisen Korrekturmanövern gekennzeichnet ist.

Bedeutung und Ansprüche

Die Autoren positionieren diese Arbeit als die erste affirmative Antwort auf die Frage, ob neuromorphe RL-Systeme auf höherdimensionale Zustände, zeitkontinuierliche Steuerung und enge zeitliche Randbedingungen skalieren können, wie sie für die reale Robotik typisch sind.

Überbrückung der Lücke: Die Arbeit zeigt, dass hirninspirierte Ansätze komplexe, schnelllebige Interaktionsaufgaben (1,5 m/s Puck-Geschwindigkeiten) bewältigen können, während sie gleichzeitig „Always-on“-Lernen in intelligenten Maschinen unterstützen.
Effizienz: Das System erreichte eine stabile Leistung mit nur 1020 Neuronen, was eine 10-fache Reduktion gegenüber früheren bio-inspirierten RL-Simulationen für Air Hockey darstellt, die etwa 10.000 Neuronen benötigten.
Praktikabilität: Durch die Co-Design von Hardware und Lernalgorithmen (unter Verwendung von e-prop auf DYNAP-SE) ermöglicht das System Echtzeit-Lernen mit einem Computer und einem neuromorphen Chip im Loop, was die Machbarkeit des Trainings von Spiking Neural Networks für autonome Robotersysteme validiert, ohne auf nicht-lokale, rechenintensive Lernregeln angewiesen zu sein.

Das Paper schließt mit der Feststellung, dass komplexes sensorimotorisches Lernen mit einem kompakten gemischten analog-digitalen Prozessor erreichbar ist, und hebt das Potenzial für energieeffiziente, adaptive Steuerung in der autonomen Robotik hervor.