⚡ electrical engineering

Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

Dieses Paper schlägt ein Deep Asymmetric Ternary Spiking Q-Network (DATSQN) vor, das ein neuartiges ternäres Spiking-Neuronenmodell nutzt, um den Bias der Gradientenschätzung zu mildern, wodurch die Leistungsdegradierung bestehender ternärer Modelle überwunden wird und die Performance von binären Baselines bei Deep-Q-Learning-Aufgaben über sieben Atari-Spiele hinweg übertrifft.

Ursprüngliche Autoren: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

Veröffentlicht 2026-08-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Videospiele zu spielen. Um Entscheidungen zu treffen, benötigt der Roboter ein Gehirn, und in der Welt der künstlichen Intelligenz bauen wir diese Gehirne oft mithilfe von „neuronalen Netzen“ auf. Diese Netzwerke sind vom menschlichen Gehirn inspiriert, in dem winzige Einheiten namens Neuronen Signale aneinander weitergeben. In traditionellen Computergehirnen sind diese Signale wie glatte, kontinuierliche Wellen von Elektrizität. Aber in einem speziellen Typ von Gehirn, einem „Spiking Neural Network“ (SNN), kommunizieren seine Neuronen mittels winziger, scharfer Stromstöße, sogenannter „Spikes“, ganz ähnlich wie echte biologische Neuronen feuern. Diese Methode ist unglaublich energieeffizient, was sie perfekt für mobile Roboter oder Geräte macht, die keine schweren Batterien mit sich führen können.

Es gibt jedoch einen Haken. Die meisten dieser effizienten, pulsierenden Gehirne haben nur zwei Zustände: Sie feuern einen Spike (1) ab oder bleiben stumm (0). Es ist wie ein Lichtschalter, der nur an oder aus sein kann. Dies begrenzt die Menge an Informationen, die der Roboter gleichzeitig in seinem Kopf halten kann. Vor kurzem versuchten Wissenschaftler, diese Schalter auf „ternäre“ Neuronen aufzurüsten, die drei Zustände besitzen: positiv feuern (+1), stumm bleiben (0) oder negativ feuern (-1). Man könnte denken, dass ein „negativer“ Schalter den Roboter schlauer machen würde, aber überraschenderweise wurden die Roboter beim Versuch, dies in einer Videospiel-Umgebung anzuwenden, tatsächlich schlechter im Spielen. Diese Arbeit geht diesem Rätsel nach und fragt, warum das Hinzufügen von mehr Optionen den Roboter dümmer machte, und wie sie es behoben haben, um den Roboter wieder zum Gaming-Champion zu machen.

Das Rätsel des dümmeren Roboters

Die Forscher, ein Team der Drexel University, wollten diese neuen „ternären“ Neuronen in einem Deep-Learning-System testen, das darauf ausgelegt ist, Atari-Videospiele (die klassischen Arcade-Spiele wie Breakout und Space Invaders) zu spielen. Sie hatten die Vermutung, dass das Problem nicht der zusätzliche Zustand selbst war, sondern wie die Neuronen lernten.

Stellen Sie sich das Training eines Roboters wie das Trainieren eines Hundes vor, ihm Tricks beizubringen. Sie geben dem Hund ein Kommando, er versucht es, und Sie geben ihm ein Leckerli (eine Belohnung) oder ein „Nein“ (eine Strafe). In der Welt der KI wird dieses „Leckerli“ berechnet, indem man den Unterschied zwischen dem betrachtet, was der Roboter erwartet hat, und dem, was tatsächlich passiert ist. Dieser Unterschied wird als „Gradient“ bezeichnet, und er sagt dem Roboter, wie er sein Gehirn anpassen muss, um es beim nächsten Mal besser zu machen.

Das Team entdeckte, dass die standardmäßigen ternären Neuronen wie ein Lehrer waren, dem nur die Richtung des Fehlers wichtig war, nicht aber dessen Größe. Wenn der Roboter einen Fehler machte, konnte das ternäre Neuron nur sagen: „Du bist in die falsche Richtung gegangen!“ (+1 oder -1), aber es ignorierte völlig die Frage: „Wie sehr hast du dich vermessen?“ (die Aktivität). In der frühen Phase des Lernens eines Videospiels rät der Roboter oft wild herum, sodass die „Richtung“ des Fehlers verwirrend und zufällig ist. Da die standardmäßigen ternären Neuronen so sehr auf die Richtung fixiert waren, verloren sie sich im Rauschen und hörten komplett mit dem Lernen auf. Es war, als ob der Roboter versuchte, durch ein nebliges Labyrinth zu navigieren, während er nur einem Kompass zuhörte, der sich wahllos drehte; er stand einfach nur still.

Der asymmetrische Fix

Um dieses Problem zu lösen, schlugen die Autoren ein neues Design vor, das Deep Asymmetric Ternary Spiking Q-Network (DATSQN) genannt wird. Sie erkannten, dass die Natur die Antwort bereits kannte. Im menschlichen Gehirn sind nicht alle Neuronen gleich geschaffen. Etwa 80 % unserer Neuronen sind „exzitatorisch“ (sie regen das Gehirn zur Handlung an), und nur etwa 20 % sind „inhibitorisch“ (sie sagen dem Gehirn, dass es aufhören soll). Die alten ternären Modelle behandelten diese beiden Typen als perfekte Spiegelbilder voneinander, was biologisch unrealistisch ist.

Das neue Modell des Teams brach diese Symmetrie. Sie erschufen ein Neuron, bei dem die „positiven“ (exzitatorischen) und „negativen“ (inhibitorischen) Schwellenwerte unterschiedlich waren. Eine Möglichkeit, dies zu visualisieren, ist, sich eine Tür mit zwei verschiedenen Schlössern vorzustellen. Das alte Modell hatte zwei identische Schlösser; wenn man auf beiden Seiten zu stark drückte, öffnete sich die Tür auf die gleiche Weise. Das neue Modell hat ein schweres, schwer zu öffnendes Schloss auf der „Stopp“-Seite und ein leicht zu öffnendes Schloss auf der „Go“-Seite. Diese Asymmetrie bedeutete, dass das Neuron selbst dann, wenn der Roboter über die Richtung seines Fehlers verwirrt war, immer noch ein klares Signal darüber senden konnte, wie viel es aktiv sein sollte. Es hielt den „Lautstärkeregler“ funktionstüchtig, selbst wenn der „Richtungsanzeiger“ sich wild drehte.

Die Ergebnisse: Vom Stillstand zum Superstar

Das Team testete dieses neue Gehirn in sieben verschiedenen Atari-Spielen und stellte es gegen die alten binären (an/aus) sowie die standardmäßigen ternären Roboter. Sie machten die Aufgabe schwieriger, indem sie die Roboter zwangen, Entscheidungen schneller zu treffen (unter Verwendung eines kürzeren Simulationszeitfensters von 20 Schritten statt 40), was das Lernen normalerweise wesentlich schwieriger macht.

Die Ergebnisse waren beeindruckend. Die standardmäßigen ternären Roboter (DTSQN) schnitten furchtbar ab und erzielten viel niedrigere Punktzahlen als die einfachen binären Roboter. Sie steckten tatsächlich im Lernnebel fest. Die neuen asymmetrischen Roboter (DATSQN) hingegen holten nicht nur auf, sie schossen förmlich in die Höhe. In sechs von sieben Spielen schlug das neue Modell die binäre Baseline und erreichte eine Verbesserung von 30 % bei der durchschnittlichen Spielpunktzahl. Zum Beispiel erzielte der neue Roboter in Beam Rider 4.000 Punkte im Vergleich zu 2.069 beim binären Roboter. In Breakout erreichte er 252 Punkte gegenüber 207.

Das Team überprüfte auch den „Herzschlag“ des Trainingsprozesses. Sie fanden heraus, dass die Lernsignale des neuen Modells stark und stabil blieben und das Problem des „verschwindenden Gradienten“ (vanishing gradient) vermeiden, bei dem der Roboter verlernt, wie man lernt. Sie beobachteten auch, dass sich die Neuronen in ihrem neuen Modell natürlich dazu entwickelten, überwiegend exzitatorisch zu sein, wobei die positiven Spikes die negativen um ein Verhältnis von mindestens 60 % übertrafen – genau wie im echten menschlichen Gehirn.

Was das bedeutet

Diese Arbeit legt nahe, dass es nicht ausreicht, einem Neuron einfach nur mehr Zustände zuzuweisen; man muss gestalten, wie diese Zustände lernen. Indem das Team das natürliche Ungleichgewicht zwischen exzitatorischen und inhibitorischen Neuronen im menschlichen Gehirn nachahmte, schuf es ein Spiking-Netzwerk, das nicht nur energieeffizienter, sondern auch intelligenter beim Erlernen komplexer Aufgaben ist. Obwohl die Studie in Simulationen von Videospielen durchgeführt wurde, deuten die Ergebnisse darauf hin, dass dieser „asymmetrische“ Ansatz der Schlüssel zum Bau besserer, effizienterer KI-Gehirne für Roboter und andere Geräte in der Zukunft sein könnte. Die Autoren merken an, dass ihr Modell zwar in diesen Spielen hervorragend funktioniert, es sich jedoch noch um einen Vorschlag handelt, wie man bessere Systeme baut, und es wird interessant sein zu sehen, ob dieser Ansatz auch in anderen Bereichen wie der Bildverarbeitung oder der Sprachverarbeitung hilft.

Technische Zusammenfassung: Verbesserung der Performance von Spike-basiertem Deep Q-Learning mittels ternärer Neuronen

Problemstellung
Deep Reinforcement Learning (DRL), insbesondere Deep Q-Networks (DQN), steht vor erheblichen Herausforderungen hinsichtlich der Energieeffizienz und der Bereitstellung auf mobilen Plattformen. Spiking Neural Networks (SNNs) bieten eine energieeffiziente Alternative, indem sie biologische Neuronen nachahmen, die über diskrete Spikes kommunizieren. SNNs erweisen sich jedoch in komplexen, hochdimensionalen Aufgaben derzeit als unterlegen gegenüber klassischen Deep Neural Networks (DNNs), was auf zwei primäre Gründe zurückzuführen ist: Die Nicht-Differenzierbarkeit der Spike-Generierung erschwert das Training, und binäre Spiking-Neuronen (die {0, 1} ausgeben) besitzen eine begrenzte Repräsentationskapazität.

Während jüngere Studien ternäre Spiking-Neuronen einführten (die {-1, 0, 1} ausgeben), um die Repräsentationskapazität zu erhöhen und die Performance in Computer Vision und natürlicher Sprachverarbeitung zu verbessern, identifiziert dieses Paper einen kritischen Widerspruch: In Deep Q-Learning-Aufgaben schneiden bestehende symmetrische Ternär-Modelle wesentlich schlechter ab als ihre binären Gegenstücke. Die Autoren hypothetisieren, dass diese Degradation durch eine Gradienten-Schätzungs-Bias während des Trainings verursacht wird, spezifisch durch den Verlust informativer Lernsignale, wenn die Vorzeichen der Spikes unbestimmt sind.

Methodik
Die Autoren entwickeln einen mathematischen Rahmen zur Analyse der Trainingsdynamik von ternären Sellen, wobei sie Spikes als Zufallsvariablen modellieren, um die erwarteten Gradienten abzuleiten.

Analyse symmetrischer ternärer Neuronen:
Das Paper zeigt, dass für ein symmetrisches ternäres Leaky Integrate-and-Fire (LIF) Neuron (bei dem positive und negative Schwellenwerte gleich sind) der erwartete Gradient während der Backpropagation in einen „Signalkanal“ (sign channel) und einen „Aktivitätskanal“ (activity channel) aufgeteilt wird. Im Kontext des frühen Q-Learnings, in dem Zielwerte (target values) bezüglich der Polarität wenig aussagekräftig sind, verschwindet der Signalkanal. Da das symmetrische Design erzwingt, dass der „Aktivitätskanal“ (der bestimmt, ob das Neuron feuern oder stumm bleiben sollte) zu Null wird, erhält das Neuron einen nahezu Null-Gradienten mit hoher Varianz. Dies führt zu einem Trainingsstillstand, was die beobachtete Leistungsverschlechterung erklärt.
Vorgeschlagene Lösung: Asymmetrisches ternäres Spiking-Neuron:
Um dies zu lösen, schlagen die Autoren ein neues Neuronenmodell mit asymmetrischen Schwellenwerten ( $v_{thp} \neq v_{thn}$ ) vor. In diesem Modell:

Ist der positive Schwellenwert ( $v_{thp}$ ) fixiert.
Ist der negative Schwellenwert ( $v_{thn}$ ) ein trainierbarer Parameter.
Diese Asymmetrie stellt sicher, dass die Sensitivitäten gegenüber positiven und negativen Membranpotenzialen ( $c_p$ und $c_n$ ) ungleich sind.
Folglich bleibt der „Aktivitätskanal“ in der Gradientengleichung auch dann nicht Null, wenn der Signalkanal verschwindet, was ein kontinuierliches Lernsignal bereitstellt.

Stabilitätsanalyse:
Unter Verwendung des Konzepts der Block-Dynamischen Isometrie beweisen die Autoren mathematisch, dass Netzwerke, die mit diesen asymmetrischen ternären Neuronen aufgebaut sind, sowohl Probleme verschwindender als auch explodierender Gradienten vermeiden. Sie zeigen, dass die dynamische Isometrie des vorgeschlagenen Modells mindestens so robust ist wie die von Netzwerken mit ReLU-Aktivierungen.
Netzwerkarchitektur (DATSQN):
Das vorgeschlagene Neuron wird in ein Deep Asymmetric Ternary Spiking Q-Network (DATSQN) integriert. Um die Kompatibilität mit neuromorpher Hardware zu gewährleisten, verwendet die Input-Kodierung eine ratenbasierte Bernoulli-Sampling-Methode, um Rohpixel in Spike-Züge umzuwandeln, wodurch die nicht-spikende, Floating-Point-erste Schicht, die in einigen früheren Arbeiten zu finden war, eliminiert wird. Das Simulationszeitfenster wird auf 20 Schritte reduziert (im Vergleich zu 40 bei den Baselines), um die Schwierigkeit der Aufgabe zu erhöhen und die Latenz zu verringern.

Wesentliche Beiträge

Identifikation von Gradienten-Bias: Das Paper liefert die erste Evaluierung von ternären Neuronen im Deep Q-Learning und zeigt auf, dass eine erhöhte Repräsentationskapazität nicht automatisch zu besserer RL-Performance führt, bedingt durch den Gradienten-Schätzungs-Bias in symmetrischen Modellen.
Neuartiges Neuronenmodell: Die Einführung des asymmetrischen ternären Spiking-Neurons, das eine hohe Repräsentationskapazität beibehält und gleichzeitig durch trainierbare, asymmetrische Schwellenwerte einen nicht-Null-Erwartungswert des Gradienten sicherstellt.
Theoretische Garantien: Mathematische Beweise, die zeigen, dass das vorgeschlagene Modell das Verschwinden/Explodieren von Gradienten verhindert und eine dynamische Isometrie erreicht, die mit ReLU-Netzwerken vergleichbar ist.
Biologische Plausibilität: Das Design steht im Einklang mit biologischen Erkenntnissen, wonach Gehirne eine Dominanz von exzitatorischen Neuronen (ca. 70-80 %) gegenüber inhibitorischen Neuronen aufweisen – eine Eigenschaft, die durch die asymmetrischen Schwellenwerte natürlich abgebildet wird.

Experimentelle Ergebnisse
Die Autoren evaluierten DATSQN gegen binäre (DSQN) und symmetrische ternäre (DTSQN) Baselines über sieben Atari-Spiele aus der Gym-Umgebung.

Performance: DATSQN erzielte eine Verbesserung des mittleren Spielscores um 30 % gegenüber der binären DSQN-Baseline über die sieben Spiele hinweg.
Vergleich: Während das symmetrische ternäre Modell (DTSQN) in jedem Spiel eine klare Leistungsabnahme im Vergleich zur binären Baseline zeigte, übertraf das asymmetrische Modell (DATSQN) die binäre Baseline in sechs der sieben Spiele.
Trainingsdynamik: Experimente bestätigten, dass DTSQN unter niedrigen durchschnittlichen Gradientennormen litt (was den durch die Theorie vorhergesagten „Stillstand“ anzeigt), während DATSQN stabile Gradientennormen beibehielt und in den späteren Phasen des Trainings höhere kumulative Belohnungen erzielte.
Ablationsstudien: Experimente zeigten, dass es nicht ausreichte, lediglich den Schwellenwert in einem symmetrischen Modell trainierbar zu machen; die spezifische Asymmetrie (Fixierung eines Schwellenwerts bei gleichzeitiger Trainierbarkeit des anderen) war entscheidend für die Performance. Zudem brachte das Trainierbar-Machen beider Schwellenwerte keinen signifikanten Gewinn gegenüber dem Design mit einem einzelnen trainierbaren Schwellenwert, was das einfachere kanonische Design rechtfertigt.

Bedeutung
Das Paper behauptet, dass die Leistungsdegradierung ternärer Neuronen im Q-Learning keine inhärente Schwäche der ternären Kodierung ist, sondern eine Folge der symmetrischen Schwellenwertsetzung, welche das Netzwerk in frühen RL-Phasen gegenüber aktivitätsbasierten Lernsignalen blind macht. Durch die Einführung von Asymmetrie ist es den Autoren gelungen, die Vorteile einer höheren Repräsentationskapazität wiederherzustellen und gleichzeitig die Trainingsstabilität zu gewährleisten. Die Ergebnisse legen nahe, dass asymmetrische ternäre Neuronen eine viable und überlegene Alternative zu binären Neuronen für tiefes Spiking-Reinforcement-Learning darstellen und einen Weg zu effizienteren und leistungsfähigeren neuromorphen Agenten eröffnen. Die Autoren merken an, dass dieser Ansatz einer weiteren Evaluierung in anderen SNN-Kontexten, wie etwa visuell basierten Aufgaben oder Sprachmodellierung, bedarf.

Mehr davon