Mutual Lateral Prediction for Locally Trained Spiking Neural Networks
Dieses Paper führt MPC-SNN ein, ein neuartiges faltendes Spiking-Neurales-Netzwerk, das eine State-of-the-Art-Genauigkeit auf dem DVS128 Gesture Benchmark durch strikt lokales, Backpropagation-freies Lernen erreicht, indem es Neuronen ermöglicht, die Feedforward-Inputs ihrer Peers durch eine gelernte laterale Gewichtungsmatrix vorherzusagen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Auf der Suche nach Maschinen, die mit der Effizienz des menschlichen Gehirns sehen und denken können, haben Forscher lange Zeit auf eine besondere Art von künstlichem Netzwerk namens Spiking Neural Network (Spiking-Neuronales Netz) gesetzt. Im Gegensatz zu den Standard-Computerprogrammen, die Informationen in einem stetigen, kontinuierlichen Strom verarbeiten, ahmen diese Netzwerke die eigene elektrische Sprache des Gehirns nach: kurze, scharfe Aktivitätsausbrüche, die als „Spikes“ bekannt sind. Dieser Ansatz eignet sich besonders gut für neue Arten von Hardware, die die Biologie nachahmen, da sie komplexe Aufgaben ausführen kann, während sie nur einen winzigen Bruchteil der Energie benötigt, die herkömmliche Computer aufwenden. Eine große Hürde blieb jedoch bestehen. Die genaueste Methode, um diese Netzwerke derzeit das Erkennen von Mustern beizubringen, beruht auf einem Verfahren, bei dem der Computer Fehlersignale durch jede Schicht des Netzwerks rückwärts senden muss – ein Prozess, der auf der energieeffizienten Hardware selbst unmöglich ist und in keinem Äquivalent im biologischen Gehirn existiert. Wissenschaftler suchten nach einem Weg, diese Netzwerke unter Verwendung rein lokaler Regeln zu trainieren, bei denen jeder Teil des Netzwerks von seinen unmittelbaren Nachbarn lernt, ohne auf ein globales Signal von oben angewiesen zu sein.
Ein Forschungsteam hat nun ein neues System vorgestellt, das dieses Problem löst, indem es das Netzwerk lehrt, vorherzusagen, was seine Nachbarn gleich erleben werden. In dieser neuen Architektur, genannt MPC-SNN, reagiert jedes Neuron nicht nur auf die Signale, die es empfängt, sondern versucht auch zu erraten, welche Signale seine Partner in derselben Schicht erhalten werden. Wenn die Vorhersage korrekt ist, bleibt das Neuron ruhig. Wenn die Vorhersage falsch ist, feuert das Neuron einen Spike ab, um die Überraschung zu signalisieren. Dieser Mechanismus ermöglicht es dem Netzwerk, vollständig aus lokalen Interaktionen zu lernen, wobei eine spezifische Regel verwendet wird, bei der ein Neuron seine Verbindungen basierend auf seinem eigenen Fehler und der jüngsten Aktivität eines Nachbarn aktualisiert. Die Forscher testeten dieses System an einem Datensatz von Handgesten, die mit einer speziellen Kamera aufgenommen wurden, die nur Veränderungen im Licht sieht – eine Aufgabe, die den Stärken dieser Art von Technologie perfekt entspricht.
Die Ergebnisse der Studie zeigen, dass dieser Ansatz bemerkenswert gut funktioniert. Bei dem Testdatensatz von 288 Gestenproben erreichte das Netzwerk eine Genauigkeit von 95,83 Prozent – eine Leistung, die den besten existierenden Methoden entspricht, die keine globalen Fehlersignale verwenden, und die Systeme, die bereits auf physischen neuromorphen Chips eingesetzt werden, deutlich übertrifft. Vielleicht noch wichtiger ist, dass das Netzwerk während des Lernens wesentlich effizienter wurde. Während des Trainingsprozesses sank die Anzahl der von ihm emittierten Spikes um mehr als 60 Prozent, was bedeutet, dass das fertige System viel weniger Energie aufwendet, um eine Entscheidung zu treffen. Diese Effizienz wurde nicht durch eine spezifische Regel zur Erzeugung von Dünnbesetztheit (Sparsity) erzwungen; sie entstand natürlich, weil das Netzwerk lernte, nur dann zu feuern, wenn es durch den Input wirklich überrascht wurde.
Eine zentrale Entdeckung der Studie war, dass der Mechanismus, der es Neuronen ermöglicht, die Inputs ihrer Nachbarn vorherzusagen, nicht nur eine theoretische Idee war, sondern ein aktiver, wachsender Teil des Systems. Als die Forscher mit dem Training begannen, waren die Verbindungen, die für diese Vorhersagen verantwortlich waren, nahezu bei Null. Während das Netzwerk lernte, wuchsen diese Verbindungen signifikant an, wobei die stärkste Schicht ihre Vorhersagekraft um mehr als das Zwanzigfache steigerte. Dieses Wachstum geschah ohne Etiketten oder externe Anleitung, was bewies, dass das Netzwerk tatsächlich lernte, die Aktivität seiner Geschwister zu antizipieren. Die Studie fand auch heraus, dass das System äußerst effizient mit den ihm gegebenen Informationen umging. Selbst als die Forscher die Menge der für das Training verwendeten gelabelten Daten auf nur ein Viertel der ursprünglichen Menge reduzierten, behielt das Netzwerk fast drei Viertel seiner Genauigkeit bei, was darauf hindeutet, dass die anfängliche lokale Lernphase bereits ein robustes Verständnis der visuellen Welt aufgebaut hatte.
Obwohl das System in der Simulation außergewöhnlich gut abschnitt, merkten die Forscher vorsichtig an, dass die Ergebnisse derzeit auf Computermodelle beschränkt sind und noch nicht auf physischen neuromorphen Chips getestet wurden. Sie beobachteten auch, dass das System Schwierigkeiten hatte, Gesten zu identifizieren, die strukturell sehr verschieden von den Trainingsdaten waren, was darauf hindeutet, dass seine Fähigkeit, ungewöhnliche Eingaben zu erkennen, noch begrenzt ist. Dennoch liefert die Arbeit eine konkrete Demonstration dafür, dass ein Netzwerk komplexe Aufgaben unter Verwendung rein lokaler Regeln und prädiktiver Kodierung lernen kann, was einen gangbaren Weg zum Bau intelligenter Maschinen eröffnet, die mit der geringen Energie und hohen Geschwindigkeit biologischer Systeme operieren. Der Erfolg dieses Ansatzes legt nahe, dass die Zukunft der effizienten künstlichen Intelligenz möglicherweise nicht darin liegt, massive Mengen an Daten rückwärts durch ein Netzwerk zu senden, sondern darin, jeden Teil des Systems zu lehren, seinen Nachbarn zuzuhören und sie vorherzusagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.