Cortico-subcortical multi-head self-attention as a substrate for cognitive performance

Stellen Sie sich Ihr Gehirn als den ultimativen Supercomputer vor, der jedoch mit weichem, lebendigem Gewebe statt mit Siliziumchips läuft. Seit langem versuchen Wissenschaftler herauszufinden, wie genau diese biologische Maschine den Trick des „Denkens“ vollzieht – wie wir Sprache verstehen, Probleme lösen und uns Dinge merken. Auf der einen Seite haben wir den Neocortex, die gefurchte äußere Schicht des Gehirns, die unser anspruchsvolles Denken steuert. Auf der anderen Seite haben wir tief liegende, ältere Strukturen wie den Thalamus und die Basalganglien, die wie die interne Verkabelung und die Verkehrsleiter des Gehirns fungieren. Kürzlich ist eine neue Art von künstlicher Intelligenz namens „Transformer“ berühmt geworden, die die Fähigkeit besitzt, zu chatten, Geschichten zu schreiben und Sprachen zu übersetzen. Diese KI-Systeme arbeiten mit einem cleveren Trick namens „Attention“ (Aufmerksamkeit), der es ihnen ermöglicht, sich auf die wichtigsten Teile eines Satzes zu konzentrieren, während sie den Rest ignorieren. Die große Frage in der Wissenschaft ist derzeit: Könnte unser tatsächliches, biologisches Gehirn einen ähnlichen „Attention“-Trick nutzen, um dieselben Dinge zu tun? Wenn wir den biologischen Bauplan für dies finden könnten, würde uns das helfen zu verstehen, wie Säugetiere wie wir so intelligent wurden.

Dieses Paper legt nahe, dass die Antwort ein begeistertes „Vielleicht“ ist, und schlägt einen spezifischen biologischen Bauplan vor, bei dem der Cortex und der Thalamus des Gehirns zusammenarbeiten, um eine natürliche Version dieser KI-Attention-Netzwerke zu bauen. Die Autoren schlagen vor, dass das Gehirn Informationen nicht einfach nur passiv empfängt; stattdessen betreibt es ein komplexes, mehrschichtiges System, bei dem verschiedene Teile des Gehirns wie eine Hochtechnologie-Suchmaschine agieren. In diesem Modell arbeiten der Neocortex (die Denk-Schicht) und der Thalamus (eine zentrale Relaisstation) zusammen, um das zu erschaffen, was die Autoren als „kortiko-subkortikale Multi-Head-Self-Attention“ bezeichnen.

So geschieht die Magie, laut der Studie. Stellen Sie sich vor, der Cortex des Gehirns ist in winzige Nachbarschaften unterteilt, die sogenannten Mikrosäulen. In dieser Theorie fungiert ein spezieller Typ von Gehirnzelle, die Layer-2/3-Pyramidenzelle, wie eine riesige Bibliothek aus Haftnotizen. Diese Zellen halten ein „rekurrentes Key-Value-Gedächtnis“ fest, was nur eine ausgefeilte Art und Weise ist zu sagen, dass sie Informationen speichern, die später abgerufen werden können. Dann fungiert ein anderer Zelltyp, die Layer-5-Pyramidenzelle, wie ein Detektiv. Wenn eine neue Information (ein „Query“ oder eine Abfrage) eintrifft, scannen diese Detektive die Bibliothek, um die passenden Haftnotizen (die „Keys“ und „Values“) zu finden, die für die aktuelle Aufgabe relevant sind.

Das Paper legt nahe, dass der Thalamus der entscheidende Lieferdienst ist, der diese Suche erst möglich macht. Er sendet Signale, die als die „Keys“, „Values“ und „Queries“ fungieren, die benötigt werden, um die Suche durchzuführen. Diese Signale reisen über spezifische Pfade, einige, die den Kern des Thalamus mit dem Cortex verbinden, und andere, die das Matrix-Netzwerk des Thalamus mit dem Cortex verbinden. Die Autoren schlagen vor, dass ein einzelnes Areal des Cortex wie ein „Head“ (Kopf) eines Attention-Netzwerks fungiert, und wenn man all diese Areale zusammenfügt, wird der gesamte Cortex zu einem „Multi-Head-Self-Attention-Netzwerk“, genau wie die KI-Modelle, die Poesie oder Code schreiben können.

Aber das Gehirn liest nicht nur; es lernt auch. Das Paper legt nahe, dass derselbe winzige Schaltkreis dem Gehirn hilft, zu erkennen, wann es falsch liegt. Er berechnet „sensorische Vorhersagefehler“, was im Grunde die Art und Weise des Gehirns ist, zu sagen: „Ich dachte, du würdest X sagen, aber du hast Y gesagt!“ Dieses Fehlersignal hilft dem Gehirn, seine Verbindungen durch einen Prozess namens „gradientenbasierte synaptische Plastizität“ zu aktualisieren, was die biologische Version des Lernens aus Fehlern ist. Darüber hinaus hat das System einen „Torwächter“ in den Basalganglien. Dieser Torwächter nutzt „Belohnungsvorhersagefehler“ (ein Signal, das dem Gehirn sagt, ob etwas gut oder schlecht ist), um zu entscheiden, ob er den Output des Cortex in die Welt entlassen oder Erinnerungen aus dem Hippocampus (dem Langzeitgedächtnis des Gehirns) reaktivieren soll.

Die Autoren testeten diese Idee, indem sie eine Computersimulation dieses Schaltkreises trainierten und ihr Verhalten mit echten Humandaten verglichen. Sie fanden heraus, dass die Aktivitätsmuster des simulierten Netzwerks bei der Verarbeitung von Sprache überraschend gut mit tatsächlichen Aufzeichnungen übereinstimmten, die während der Sprachwahrnehmung im Inneren menschlicher Gehirne gemacht wurden. Obwohl das Paper nicht behauptet, bewiesen zu haben, dass dies exakt so in jedem einzelnen Detail in der Funktionsweise des Gehirns geschieht, deutet es stark darauf hin, dass diese spezifische Anordnung von Zellen und Verbindungen das physische Fundament für die unglaublichen kognitiven Fähigkeiten sein könnte, die Säugetiere besitzen. Es ist eine faszinierende Landkarte, die die Punkte zwischen der nassen, unordentlichen Biologie unserer Gehirne und der glatten, kraftvollen Logik moderner KI miteinander verbindet.