Predictive learning with local plasticity in excitatory-inhibitory networks
Diese Arbeit zeigt, dass rekurrenten erregend-inhibitorischen Netzwerken mit rein lokaler Plastizität, insbesondere BCM-ähnlichen Regeln, prädiktive Inferenz und das Erlernen spärlicher spatiotemporaler Merkmale erreichen können, indem sie Gewichte auf einer Konsistenzmannigfaltigkeit aufrechterhalten, wodurch die Verbindung von prädiktiver Kodierung zu biologisch plausiblen Schaltkreismechanismen hergestellt wird, ohne dass explizite Fehlerrepräsentationen erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Das menschliche Gehirn ist ein riesiges Netzwerk aus Milliarden von Neuronen, die ständig feuern und sich verbinden, um die Welt begreifbar zu machen. Im Zentrum dieser Aktivität stehen zwei gegensätzliche Kräfte: erregende Signale, die Neuronen zum Feuern anregen, und hemmende Signale, die sie beruhigen. Seit Jahrzehnten fragen sich Wissenschaftler, wie diese einfachen lokalen Interaktionen das Gehirn dazu befähigen können, etwas so Komplexes zu leisten wie die Vorhersage dessen, was als Nächstes passieren wird. Eine führende Theorie, die sogenannte Predictive Coding (prädiktive Kodierung), legt nahe, dass das Gehirn ständig versucht, die Ursachen seiner sensorischen Eingaben zu erraten, und nur auf die Überraschungen aufmerksam wird. Ein großes Rätsel blieb jedoch bestehen: Wie kann ein biologisches Netzwerk, das seine Verbindungen nur basierend auf der unmittelbaren Aktivität benachbarter Zellen anpassen kann, dieses anspruchsvolle Ratespiel spielen, ohne über einen zentralen Computer zur Berechnung von Fehlern zu verfügen?
Eine neue Studie der University of Edinburgh bietet eine überzeugende Antwort, indem sie zeigt, wie eine spezifische Art von neuronalem Schaltkreis lernen kann, die Zukunft vorherzusagen, indem er sich nur auf lokale Regeln stützt. Die Forscher bauten ein Computermodell eines Netzwerks, in dem erregende Neuronen Signale vorwärts senden, während hemmende Neuronen Feedback geben, um das System im Gleichgewicht zu halten. Sie entdeckten, dass für dieses Netzwerk ein effektives Lernen voraussetzt, dass die Verbindungen zwischen den Neuronen in einem sehr spezifischen Gleichgewicht bleiben müssen. Wenn die erregenden Verbindungen zu weit von diesem Gleichgewicht abweichen, versagt das Netzwerk dabei, die wahren Muster in den Daten zu erlernen. Das Team fand heraus, dass eine bestimmte Lernregel, die der eines echten tierischen Gehirns ähnelt, das Netzwerk ganz natürlich in diesem optimalen Bereich hält. Diese Regel ermöglicht es dem Netzwerk, sowohl aus statischen Bildern wie Kanten und Formen als auch aus bewegten Videos zu lernen, bei denen es die Bewegungsrichtung antizipieren und sogar fehlende Teile einer Sequenz ergänzen kann, wenn der Input ausbleibt.
Die Forscher begannen damit, ihr Modell an einfachen, statischen Bildern zu testen, wie etwa gekreuzten Balken oder Ausschnitten aus natürlichen Fotografien. Sie wollten sehen, ob das Netzwerk lernen konnte, diese komplexen Bilder ohne explizite Anweisung in ihre grundlegenden Bausteine wie Linien oder Kanten zu zerlegen. Sie verglichen verschiedene Methoden, mit denen das Netzwerk seine Verbindungen anpassen konnte. Einige Methoden, die auf einer einfachen Koinzidenz zwischen Neuronen beruhten, ließen das Netzwerk vom optimalen Gleichgewicht wegdriften, was zu einem ungeordneten und ungenauen Lernen führte. Als sie jedoch eine Regel verwendeten, die die Verbindungen basierend darauf anpasst, wie gut die aktuelle Aktivität mit einer Vorhersage übereinstimmt, blieb das Netzwerk perfekt ausbalanciert. Diese spezifische Regel, die die Autoren als „prädiktive Regel“ bezeichnen, stellte sicher, dass das hemmende Feedback stets genau das lieferte, was nötig war, um das Rauschen im Input zu neutralisieren. Infolgedessen lernte das Netzwerk, die Bilder mithilfe eines spärlichen Satzes von Merkmalen darzustellen, was bedeutet, dass zu einem gegebenen Zeitpunkt nur wenige Neuronen feuern, um das Bild zu beschreiben – ganz ähnlich wie es im visuellen Cortex von Säugetieren der Fall ist.
Die Studie ging weiter, indem sie eine Ebene der Zeit in das Modell einführte. Das reale Leben besteht nicht nur aus einer Abfolge von Standbildern; es ist ein kontinuierlicher Strom von Ereignissen. Um dies nachzuahmen, fügten die Forscher einen Mechanismus hinzu, bei dem der aktuelle Zustand des Netzwerks seinen zukünftigen Zustand beeinflussen konnte, wodurch eine Form von Gedächtnis entstand. Als sie dieses aktualisierte Netzwerk mit Videos von bewegten Balken trainierten, lernte es nicht nur die Form des Objekts, sondern auch die Richtung seiner Bewegung zu erkennen. Bemerkenswerterweise entwickelte das Netzwerk die Fähigkeit, Sequenzen zu vervollständigen. Wenn das Video eines bewegten Balkens plötzlich ausgeblendet wurde, „sah“ das Netzwerk den Balken weiterhin in dieselbe Richtung wandern und füllte die Lücke basierend auf dem, was es gelernt hatte. Dies deutet darauf hin, dass das Netzwerk die Regeln der Bewegung verinnerlicht hat und diese in seinem eigenen Geist vorwärts laufen lassen kann – eine Fähigkeit, die für die Navigation in der Welt entscheidend ist.
Um das Modell noch realistischer zu gestalten, entfernte das Team die künstlichen Pausen zwischen den Lernschritten und ließ das Netzwerk aus einem kontinuierlichen Datenstrom lernen, genau wie ein lebendes Gehirn. In dieser kontinuierlichen Version entwickelte das Netzwerk glatte, kurvenförmige Aktivitätsmuster statt scharfer, starrer Wechsel. Als die Forscher dieses Netzwerk nach Abschluss des Lernprozesses mit zufälligem Rauschen stimulierten, spielte das Netzwerk die zuvor gesehenen Sequenzen spontan wieder ab. Es durchlief dieselben Aktivitätsmuster, als würde es ein vergangenes Ereignis erinnern. Diese Muster bildeten eine ringähnliche Struktur im Aktivitätsraum des Netzwerks, eine Form, die es dem System ermöglicht, einen einzelnen Wert, wie etwa eine Richtung, sehr präzise darzustellen. Dieses Verhalten spiegelt das wider, was im Hippocampus des Gehirns geschieht, wo Tiere während der Ruhephasen ihre Pfade erneut durchlaufen (Replay), was darauf hindeutet, dass dieselben lokalen Lernregeln sowohl der Vorhersage als auch dem Gedächtnis zugrunde liegen könnten.
Die Ergebnisse stellen die lang gehegte Ansicht infrage, dass das Gehirn spezielle „Fehler-Neuronen“ benötigt, um die Differenz zwischen dem, was es erwartet, und dem, was es sieht, zu berechnen. Stattdessen legt die Studie nahe, dass das Gehirn einfach die Diskrepanz zwischen seinen internen Vorhersagen und den eingehenden Signalen nutzen könnte, um seine Verbindungen direkt anzupassen. Die Forscher zeigten, dass das Netzwerk, indem es die erregenden und hemmenden Teile des Schaltkreises in einer engen, konsistenten Beziehung hält, komplexe Inferenzen durchführen kann, ohne ein separates Fehlersignal zu benötigen. Dies impliziert, dass die Plastizität, also die Fähigkeit zur Veränderung, der erregenden Verbindungen der Schlüssel zur Vorhersage ist. Die Studie liefert eine starke theoretische Verbindung zwischen den lokalen, biologischen Lernregeln und dem globalen, intelligenten Verhalten der Vorhersage und legt nahe, dass die Fähigkeit des Gehirns, die Zukunft zu antizipieren, eine natürliche Konsequenz daraus ist, wie seine Schaltkreise im Gleichgewicht bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.