Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing

In der Welt der künstlichen Intelligenz gibt es ein ständiges Bestreben, Maschinen zu erschaffen, die lernen und sich an ihre Umgebung anpassen können, ganz ähnlich wie ein Kind, das laufen lernt, oder ein Vogel, der das Fliegen lernt. Dieses Feld, bekannt als bestärkendes Lernen (Reinforcement Learning), lehrt Computerprogramme, Entscheidungen zu treffen, indem sie für gute Entscheidungen belohnt und für schlechte bestraft werden. Über Jahre hinweg sind diese Systeme in der Lage geworden, komplexe Probleme unglaublich geschickt zu lösen, vom Spielen von Videospielen bis hin zur Steuerung von Robotern. Die Hardware, auf der diese intelligenten Programme laufen, ist jedoch oft sperrig und verbraucht eine enorme Menge an Elektrizität, vergleichbar mit einem leistungsstarken Desktop-Computer, auf dem ein schweres Videospiel läuft. Wissenschaftler richten ihren Blick nun auf eine andere Art von Computerarchitektur, die vom menschlichen Gehirn inspiriert ist, genannt neuromorphe Hardware. Diese spezialisierten Chips sind darauf ausgelegt, weitaus energieeffizienter und schneller bei der Informationsverarbeitung zu sein, aber sie arbeiten auf eine grundlegend andere Weise als die Computer, die wir jeden Tag verwenden. Die Herausforderung bestand darin, herauszufinden, wie man die komplexen, leistungsstarken Algorithmen, die auf Standardcomputern gut funktionieren, so zu übersetzen, dass sie auf diesen gehirnähnlichen Chips laufen können, ohne ihre Fähigkeit zu lernen einzubüßen.

Ein Forschungsteam setzte sich zum Ziel, dieses spezifische Rätsel zu lösen, indem es einen neuen Ansatz auf einem Standardcomputer testete, noch bevor es ihn auf der spezialisierten Hardware ausprobierte. Sie konzentrierten sich auf eine schwierige Art von Aufgabe namens kontinuierliche Steuerung (Continuous Control), bei der eine Maschine ständige, sanfte Anpassungen vornehmen muss, um das Gleichgewicht zu halten oder vorwärts zu kommen, ähnlich wie ein Roboter, der versucht, durch einen Raum zu laufen, ohne umzufallen. Die Forscher entwickelten ein neues System namens SANSAC, was für „Spiking Actor Network Soft Actor Critic“ steht. Um zu verstehen, was dieses System besonders macht, hilft es zu wissen, dass herkömmliche künstliche Intelligenz-Netzwerke Neuronen verwenden, die ein konstantes Signal aussenden, während das neue System „spiking“-Neuronen (Impuls-Neuronen) verwendet. Diese Spiking-Neuronen sind eher wie biologische Zellen; sie bleiben ruhig, bis sie genügend Input erhalten, um einen einzelnen, scharfen elektrischen Impuls oder „Spike“ zu senden, und werden dann wieder ruhig. Diese Methode ist der Schlüssel dazu, Software zu erstellen, die schließlich auf den energieeffizienten neuromorphen Chips laufen kann. Das Team wollte sehen, ob der Ersatz des herkömmlichen „Gehirns“ ihres lernenden Roboters durch diese Spiking-Version ihre Leistung beeinträchtigen würde oder ob sie genauso gut lernen könnte.

Um die Antwort zu finden, unterzogen die Forscher sowohl das traditionelle als auch das neue Spiking-System einem strengen Test in einer simulierten Umgebung, die als „Bipedal Walker“ bekannt ist. In dieser Simulation muss ein zweibeiniger Roboter lernen, vorwärts zu laufen, ohne umzufallen. Das Team trainierte beide Versionen der Software für bis zu 1.200 Versuche oder Episoden, um zu sehen, wie schnell und effektiv sie das Laufen lernen konnten. Sie testeten die Systeme mit unterschiedlichen Größen des internen Speichers, das Spektrum reichte von sehr klein bis recht groß, um sicherzustellen, dass die Ergebnisse unter verschiedenen Bedingungen Bestand haben. Die Ergebnisse waren überraschend ermutigend. Das neue Spiking-System lernte genauso gut zu laufen wie das traditionelle System. In den anspruchsvollsten Tests erreichten beide Systeme eine Erfolgsquote von etwa 70 bis 80 Prozent, was bedeutet, dass sie die Gehaufgabe die meiste Zeit über erfolgreich bewältigen konnten. Die Forscher fanden keinen signifikanten statistischen Unterschied in der Leistungsfähigkeit der beiden Systeme, was bewies, dass der Spiking-Ansatz die Intelligenz nicht zugunsten der Effizienz opfert.

Es wurde jedoch ein klarer Kompromiss (Trade-off) während der Tests beobachtet. Während das Spiking-System ebenso gut performte, dauerte es signifikant länger, um auf dem Standardcomputer trainiert zu werden. Die Forscher stellten fest, dass die Spiking-Version etwa doppelt so viel Zeit benötigte, um die gleiche Anzahl an Trainingsepisoden zu absolvieren wie die traditionelle Version. Dies geschah, weil der Standardcomputer darauf ausgelegt ist, Informationen in einer geraden Linie zu verarbeiten, während das Spiking-System auf Zeitabfolgen und Sequenzen basiert, die auf solcher Hardware schwierig zu simulieren sind. Die Forscher erklärten, dass diese Verlangsamung ein Artefakt des Betriebs der Simulation auf dem falschen Typ von Maschine ist; auf den tatsächlichen neuromorphen Chips, die für diesen Zweck entwickelt wurden, würde das System wahrscheinlich viel schneller laufen, da diese Chips diese Spikes parallel verarbeiten, genau wie ein echtes Gehirn. Die Studie maß den Energieverbrauch auf dem Standardcomputer nicht, da die Daten inkonsistent waren, aber das Ziel war es, zu beweisen, dass der Algorithmus funktioniert, bevor er auf die Hardware übergeht, auf der er glänzen würde.

Die Studie untersuchte auch, was passiert, wenn die Systeme kleiner gemacht werden, also mit weniger internen Verbindungen. Wie erwartet hatten beide Systeme Schwierigkeiten, wenn das Netzwerk zu klein war, um die Komplexität der Aufgabe zu bewältigen, wobei die Erfolgsquoten auf nur 10 Prozent fielen. Aber im mittleren Größenbereich blieb das Spiking-System wettbewerbsfähig und zeigte, dass es robust genug ist, um selbst bei begrenzten Ressourcen komplexe Lernprozesse zu bewältigen. Die Forscher kamen zu dem Schluss, dass ihre Arbeit ein solides Fundament für die Zukunft der neuromorphen künstlichen Intelligenz bildet. Sie demonstrierten, dass es möglich ist, Lernalgorithmen zu entwerfen, die bereit für diese neuen, energieeffizienten Chips sind, ohne dafür eine Einbuße bei der Leistung in Kauf nehmen zu müssen. Während der Weg nach vorne noch Tests auf physischer neuromorpher Hardware erfordert, um die Energievorteile zu bestätigen, bestätigt dieses Paper, dass die Logik der Software selbst fundiert ist. Die Ergebnisse legen nahe, dass die Zukunft des effizienten, gehirnähnlichen Computings nicht nur ein theoretischer Traum ist, sondern eine praktische Realität, die heute gebaut werden kann – vorausgesetzt, wir sind bereit, ein wenig länger zu warten, bis das Training auf unseren aktuellen Computern abgeschlossen ist.