Hardware-Aware On-Chip Learning with a Scalable Single-Transistor-based Neuromorphic Platform

Moderne Computer sind unglaublich leistungsstark, aber sie sind auch hungrig. Da die künstliche Intelligenz immer komplexer wird, ist der Energiebedarf für ihren Betrieb zu einem Engpass geworden, insbesondere für Geräte, die über längere Zeiträume mit kleinen Batterien betrieben werden müssen, wie etwa Roboter oder Sensoren in der Natur. Um dies zu lösen, haben Wissenschaftler eine andere Art des Denkens über das Computing entwickelt, die das menschliche Gehirn nachahmt. Anstatt Informationen in einem stetigen, kontinuierlichen Strom wie ein herkömmlicher Taschenrechner zu verarbeiten, nutzen diese „neuromorphen“ Systeme winzige, asynchrone Informationsschübe, sogenannte Spikes. Diese Methode ist weitaus effizienter, da das System nur dann arbeitet, wenn es etwas Neues zu verarbeiten gibt. Das Erlernen neuer Aufgaben während des laufenden Betriebs war jedoch eine große Hürde für diese gehirnähnlichen Maschinen. In den meisten Designs ist der interne Zustand eines Neurons – sein „Gedächtnis“ dessen, was es gerade erhalten hat – im Inneren der Hardware verborgen, was es dem System nahezu unmöglich macht, seine eigenen Verbindungen selbstständig anzupassen und aus Fehlern zu lernen, ohne teure, energieintensive externe Sensoren zu verwenden.

Ein Team von Forschern der Seoul National University und des Korea Institute of Science and Technology hat nun einen Weg demonstriert, diese Systeme zu lehren, ohne jemals in die Neuronen hineinblicken zu müssen. Sie haben einen neuen Typ Chip gebaut, bei dem der Lernprozess ausschließlich auf Signalen basiert, die bereits an der Oberfläche sichtbar sind: der elektrische Strom, der zwischen den Komponenten fließt, und das Timing der Spikes selbst. Durch die Abstimmung von Hardware und Lernsoftware zur Zusammenarbeit schufen sie ein System, das direkt auf dem Chip lernen kann, indem es einen einzelnen Transistor nutzt, der gleichzeitig als Synapse, Neuron und Lernsignalgenerator fungiert. Dieser Ansatz macht das Auslesen der verborgenen internen Spannung eines Neurons überflüssig – ein Schritt, der zuvor komplexe, energiehungrige Schaltkreise erforderte. Das Ergebnis ist eine einheitliche Plattform, die nicht nur kleiner und einfacher ist, sondern auch in der Lage ist, kontinuierlich zu lernen, sich an neue Informationen anzupassen und gleichzeitig das bereits Gelernte zu behalten.

Der Kern dieses Durchbruchs liegt darin, wie die Forscher das Problem des „Zustandszugriffs“ (state access) gelöst haben. In einem traditionellen künstlichen Gehirn muss der Computer genau wissen, wie viel elektrische Ladung sich in jedem Moment im Inneren eines Neurons befindet, um das Neuron dazu zu bringen, zur richtigen Zeit zu feuern. In physischer Hardware ist diese Ladung im Gerät gefangen, und ihre Messung erfordert komplexe, energieintensive Schaltkreise, die den Zweck eines stromsparenden Systems zunichtemachen würden. Die Forscher erkannten, dass sie diese verborgene Ladung nicht messen mussten, wenn sie stattdessen den in das Neuron fließenden Strom als Stellvertreter (Proxy) nutzen konnten. Sie entwickelten eine Methode namens „current-based surrogate gradient“ (strombasierter Ersatzgradient). Anstatt zu fragen: „Wie voll ist die Batterie des Neurons?“, fragt das System: „Wie viel Strom fließt gerade?“ Wenn der Strom innerhalb eines bestimmten, gesunden Bereichs liegt, weiß das System, dass das Neuron korrekt lernt. Wenn der Strom zu hoch oder zu niedrig ist, weiß es, dass eine Anpassung erforderlich ist. Dies ermöglicht es dem Chip, seine eigenen Lernsignale unter Verwendung der Daten zu generieren, die natürlich an den Verbindungspunkten zwischen den Neuronen verfügbar sind.

Um dies in der realen Welt umsetzbar zu machen, fertigte das Team einen speziellen Chip unter Verwendung eines Standard-Herstellungsprozesses an, jedoch mit einer cleveren Wendung. Sie verwendeten eine einzige Art von Transistor, der je nach Konfiguration drei verschiedene Aufgaben übernehmen konnte. Eine Gruppe dieser Transistoren fungierte als Synapsen – die Verbindungen, welche die Stärke einer Erinnerung speichern. Eine andere Gruppe fungierte als Neuronen, die elektrische Ladung ansammeln, bis sie einen Kipppunkt erreichen und einen Spike aussenden. Die dritte Gruppe fungierte als Lernmechanismus, der den Strom beobachtet und entscheidet, wann ein Korrektursignal gesendet werden soll. Da alle drei Komponenten aus demselben Grundbaustein bestehen, können sie dicht gepackt auf einem einzigen Chip untergebracht werden. Die Forscher zeigten, dass diese Transistoren zuverlässig unterschiedliche Gewichtsstärken speichern, eingehende Signale über die Zeit integrieren und Spikes in einem Muster aussenden können, das biologische Neuronen imitiert. Entscheidend ist, dass die Lernkomponente allein durch Beobachtung des Stroms erkennen konnte, ob das System korrekt oder fehlerhaft arbeitete, ohne auf die verborgene interne Spannung des Neurons zugreifen zu müssen.

Das Team testete dieses System durch umfangreiche Computersimulationen, die das tatsächlich gemessene Verhalten ihrer physischen Chips verwendeten. Sie trainierten das Netzwerk für eine Vielzahl von Aufgaben, die von der Erkennung handgeschriebener Ziffern über die Identifizierung komplexer Objekte in Bildern bis hin zur Interpretation von Videoströmen aus ereignisbasierten Kameras reichten. In diesen Tests schnitt die neue Methode genauso gut ab wie traditionelle Lernmethoden, die auf den vollen Zugriff auf interne Zustände angewiesen sind. Das System war in der Lage, neue Klassen von Objekten zu lernen, ohne die bereits gemeisterten zu vergessen – eine Fähigkeit, die als „kontinuierliches Lernen“ bekannt ist. Dies ist eine bedeutende Leistung, da viele bisherige Versuche, diese Systeme auf dem Chip zu lehren, zum „katastrophalen Vergessen“ führten, bei dem das Erlernen von Neuem alte Erinnerungen löschte. Durch die Verwendung ihrer neuen Lernsignale zeigten die Forscher, dass das System in der Lage ist, sich an neue Informationen anzupassen und gleichzeitig sein bisheriges Wissen zu bewahren, selbst wenn die Hardware selbst unvollkommen und verrauscht war.

Die Auswirkungen auf die Energieeffizienz sind erheblich. Die Forscher schätzten, dass durch ihren analogen, Spike-basierten Ansatz der Energieaufwand für die Durchführung einer Inferenz – also das Treffen einer Entscheidung basierend auf neuen Daten – im Vergleich zu voll digitalen Systemen um mehr als 60 Prozent reduziert werden kann. In bestimmten Konfigurationen waren die Einsparungen sogar noch höher und erreichten über 85 Prozent. Dies liegt daran, dass das System die massiven Energiekosten vermeidet, die bei der Umwandlung von analogen Signalen in digitale Zahlen und zurück entstehen, und es nur dann Strom verbraucht, wenn tatsächlich ein Spike auftritt. Obwohl der Prozess der Schulung des Chips anfangs immer noch einige Hochspannungsimpulse erfordert, die Energie verbrauchen, merkten die Forscher an, dass diese Kosten ein einmaliger Setup- oder ein seltener Vorgang sind, während die Energieeinsparungen während des täglichen Betriebs kontinuierlich und signifikant sind.

Diese Arbeit beansprucht nicht, alle Probleme der künstlichen Intelligenz gelöst zu haben, und deutet auch nicht darauf hin, dass diese Chips bereit sind, die Prozessoren in Ihren Smartphones schon morgen zu ersetzen. Die Forscher wiesen vorsichtig darauf hin, dass die Lernsignale zwar gut funktionieren, der vollständige Energieaufwand eines komplett integrierten Lernsystems jedoch noch nicht in einem realen Gerät gemessen wurde. Es gibt weiterhin Herausforderungen bei der Skalierung der Fertigung und der Integration der Steuerkreise, die zur Verwaltung dieser Chips benötigt werden. Dennoch liefert die Studie einen klaren Beweis dafür, dass es möglich ist, einen gehirnähnlichen Computer zu bauen, der von selbst lernt, ohne seine eigenen inneren Gedanken sehen zu müssen. Durch die Gestaltung der Hardware, die die gleiche Sprache spricht wie der Lernalgorithmus, hat das Team einen Weg zu adaptiven, energieeffizienten Maschinen eröffnet, die in der realen Welt lernen und sich entwickeln können, genau wie die biologischen Gehirne, denen sie nachempfunden sind.