Um die Welt zu navigieren, müssen unsere Gehirne ständig verfolgen, wie sich Ereignisse im Laufe der Zeit entfalten. Ob wir das nächste Wort in einem Satz vorhersagen, den Schwung eines Tennis-Schlags timen oder einfach nur daran denken, wo wir unsere Schlüssel liegen gelassen haben – die Fähigkeit, Muster aus einer Sequenz von Momenten zu extrahieren, ist grundlegend für das menschliche Denken. Jahrzehntelang haben Wissenschaftler, die diesen Prozess verstehen wollten, auf leistungsstarke Computermodelle namens rekurrenten neuronalen Netzen vertraut. Diese digitalen Systeme sind exzellent darin, Sequenzen zu lernen, aber sie basieren oft auf einem Fundament, das nicht mit der Funktionsweise echter Gehirne übereinstimmt. Die Standardmethode zum Training dieser Netzwerke beinhaltet einen mathematischen Trick, der erfordert, dass das System in der Zeit zurückblickt, jeden vergangenen Zustand speichert und Fehlersignale in umgekehrter Reihenfolge sendet. Während dies für Computer gut funktioniert, gilt es für Neuronen als biologisch unmöglich, da diese nur auf Signale reagieren können, die an ihrem unmittelbaren Ort eintreffen, und keinen Zugriff auf Informationen aus der fernen Vergangenheit haben. Diese Lücke zwischen effektiver künstlicher Intelligenz und plausibler Biologie hat eine große Frage unbeantwortet gelassen: Wie lernt das Gehirn tatsächlich komplexe zeitliche Abhängigkeiten unter Verwendung nur lokaler, biologischer Regeln?

Ein Forschungsteam der Universität Oxford hat einen bedeutenden Schritt zur Beantwortung dieser Frage gemacht, indem es ein Framework untersuchte, das als temporale prädiktive Kodierung bezeichnet wird. Dieser Ansatz legt nahe, dass das Gehirn nicht zurückblicken muss, um zu lernen; stattdessen generiert es ständig Vorhersagen darüber, was als Nächstes passieren wird, und aktualisiert sein internes Modell basierend auf der Differenz zwischen diesen Vorhersagen und der Realität. Die Forscher Julian Ng-Kee-Kwong, Mufeng Tang, Thomas Akam und Rafal Bogacz untersuchten, ob diese lokale Lernmethode die komplexen, zeitbasierten Aufgaben bewältigen kann, die normalerweise leistungsfähigeren, biologisch unrealistischen Algorithmen vorbehalten sind. Sie fanden heraus, dass sie durch die Verfeinerung dieses prädiktiven Kodierungs-Frameworks Netzwerke erschaffen konnten, die lernen, Kontext zu speichern, komplizierte Rätsel mit Zeitverzögerungen zu lösen und gegenüber Ablenkungen robust zu bleiben – und das alles unter Verwendung der einfachen, lokalen Regeln, die man von echten Neuronen kennt.

Der Kern ihrer Untersuchung bestand darin, eine spezifische Version dieses prädiktiven Kodierungssystems gegen eine standardmäßige, trunkierte Version des Rückwärts-Lernalgorithmus zu testen. In der standardmäßigen Rückwärtsmethode berechnet der Computer, wie stark ein Fehler am Ende einer Sequenz durch Ereignisse verursacht wurde, die nur einen Schritt zuvor stattgefunden haben. Die Forscher zeigten, dass ihr prädiktives Kodierungssystem mathematisch ähnliche Aktualisierungen wie diese Ein-Schritt-Rückwärtsmethode erzeugt, aber mit einem entscheidenden Unterschied in der Art und Weise, wie es Informationen verarbeitet. In dem prädiktiven Kodierungsmodell leitet das System Informationen nicht nur nach vorne weiter; es verfeinert aktiv seinen internen Zustand in jedem Moment, indem es seine Vorhersage mit dem tatsächlichen sensorischen Input vergleicht, den es erhält. Dies erzeugt einen subtilen, aber kraftvollen Informationsfluss vom gegenwärtigen Beobachtungsmoment zurück in das Gedächtnis des Netzwerks, was es ihm ermöglicht, seinen Kurs in Echtzeit zu korrigieren. Als sie dies bei der einfachen Aufgabe der Verfolgung der Position eines bewegten Teilchens testeten, lernte das prädiktive Kodierungsmodell die Aufgabe mühelos, während ein Standardnetzwerk unter Verwendung der Ein-Schritt-Rückwärtsmethode scheiterte, da es nicht in der Lage war, die Geschwindigkeitsinformation über die Zeit zu integrieren, ohne dieses zusätzliche, unmittelbare Feedback.

Auf dieser Grundlage untersuchte das Team, ob diese Netzwerke komplexere Sequenzen bewältigen können, bei denen der gegenwärtige Moment von Ereignissen abhängt, die mehrere Schritte in der Vergangenheit liegen – eine Art von Problem, die als nicht-Markovian bezeichnet wird. In diesen Szenarien reicht es nicht aus, die unmittelbare Vergangenheit zu kennen; das System muss einen längeren Kontext im Sinn behalten. Die Forscher demonstrierten, dass ihre prädiktiven Kodierungsnetzwerke ihre interne Dynamik nutzen können, um wie ein Reservoir zu agieren – ein hochdimensionaler Zustandsraum, in dem vergangene Inputs verweilen und die Gegenwart beeinflussen. Im Gegensatz zu Standard-Reservoir-Computern, die ihre internen Verbindungen fest halten, konnte dieses System seine eigenen internen Pfade durch lokales Lernen formen. Durch die Anpassung der Verbindungen zwischen Neuronen basierend auf lokalen Fehlern reorganisierte das Netzwerk seinen internen Zustand so, dass verschiedene Muster leichter zu unterscheiden waren. Dies ermöglichte es dem System, alternierende Sequenzen von Nullen und Einsen zu lernen, die das Erinnern eines Blocks von mehreren Schritten erforderten – eine Aufgabe, mit der feste Reservoirs Schwierigkeiten hatten, sobald die Muster komplexer wurden.

Um noch schwierigere zeitliche Herausforderungen anzugehen, führten die Forscher eine hierarchische Struktur ein, bei der mehrere Schichten dieser prädiktiven Netzwerke übereinander gestapelt werden. In dieser Anordnung erhält jede Schicht Informationen von der darunter liegenden Schicht, jedoch mit einer leichten Zeitverzögerung, was es verschiedenen Ebenen des Netzwerks ermöglicht, auf unterschiedlichen Zeitskalen zu operieren. Diese Architektur erwies sich als bemerkenswert effektiv beim Lösen von Aufgaben, die die Kombination von Informationen aus weit auseterschiedlichen Momenten erfordern, wie etwa einer Paritätsprüfung, bei der das System die Gesamtzahl spezifischer Signale über eine lange Sequenz hinweg zählen muss, um zu bestimmen, ob die Anzahl ungerade oder gerade ist. Während ein einlagiges Netzwerk versagte, wenn die Sequenz zu lang oder die Zeitlücken zu groß wurden, war das mehrschichtige System erfolgreich. Darüber hinaus bot dieses hierarchische Design einen Schutzschild gegen Interferenzen. Als die Forscher starke, ablenkende Signale in den Input-Strom einspeisten, verlor das einlagige Netzwerk die Erinnerung an den ursprünglichen Reiz, während das hierarchische Netzwerk ihn beibehielt, indem es die relevanten Informationen selektiv integrierte und das Rauschen herausfilterte.

Schließlich widmete sich das Team der Herausforderung des Lernens über sehr lange Verzögerungen hinweg, bei denen das Belohnungs- oder Fehlersignal erst lange nach dem ursprünglichen Ereignis eintrifft. In der Biologie wird dies oft durch einen Mechanismus namens Eligibility Trace (Bereitschaftsspur) gehandhabt, der wie ein temporäres Etikett an einer Synapse wirkt und diese als bereit zur Veränderung markiert, bis ein globales Signal eintrifft, um das Lernen zu bestätigen. Die Forscher integrierten dieses Konzept in ihr prädiktives Kodierungsframework und schufen so ein System, das eine abklingende Erinnerung an vergangene Aktivitäten aufrechterhalten kann. Dies ermöglichte es dem Netzwerk, ein Ereignis, das vor mehreren Sekunden stattfand, mit einem Lernsignal zu verknüpfen, das viel später eintraf. In Tests mit einer verzögerten Antwortaufgabe, bei der das Modell einen zu Beginn eines Versuchs präsentierten Reiz im Gedächtnis behalten und nach einer variablen Verzögerung reproduzieren musste, war das System mit diesen Eligibility Traces erfolgreich, während die Standardversion scheiterte. Es konnte Lücken von bis zu zehn Zeitschritten überbrücken und den ursprünglichen Reiz selbst nach der Verzögerung erfolgreich reproduzieren, was zeigt, dass lokale Plastizitätsregeln tatsächlich das Lernen über ausgedehnte Zeiträume unterstützen können.

Die Ergebnisse legen nahe, dass das Gehirn möglicherweise nicht die komplexen, nicht-lokalen Mechanismen der rückwärtsgerichteten Fehlerfortpflanzung benötigt, um aus der Zeit zu lernen. Stattdessen können relativ einfache Netzwerke, die durch prädiktive Dynamik, hierarchische Schichten und Eligibility Traces gesteuert werden, ein anspruchsvolles zeitliches Lernen unterstützen. Obwohl diese Modelle lediglich Simulationen sind und noch keine vollständige Beschreibung des menschlichen Gehirns darstellen, bieten sie eine überzeugende Alternative zu den Standardalgorithmen, die in der künstlichen Intelligenz verwendet werden. Sie zeigen, dass biologische Plausibilität nicht bedeutet, die Fähigkeit zum Lernen komplexer Muster opfern zu müssen. Durch die Kombination von prädiktiver Kodierung mit diesen zusätzlichen Mechanismen haben die Forscher einen Weg aufgezeigt, wie biologische Systeme das schwierige Problem der zeitlichen Kreditzuweisung (Temporal Credit Assignment) lösen könnten: indem sie aus der Vergangenheit lernen, ohne in die Vergangenheit zurückblicken zu müssen.