A Hierarchical Energy-Based Model for Multimodal Cognition

Die geheime Wetterkarte des Gehirns

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine Stadt funktioniert. Sie könnten jeden einzelnen Ziegelstein in jedem Gebäude untersuchen, oder Sie könnten die Verkehrsmuster, das Wetter und den Fluss der Menschen betrachten, um zu verstehen, wie sich die Stadt anfühlt und wie sie sich bewegt. In der Welt der Hirnforschung gibt es eine große Debatte darüber, welcher Ansatz besser ist. Einige Wissenschaftler wollen jedes Neuron kartieren, wie einen Backstein-für-Backstein-Bauplan. Andere, wie der Autor dieser Arbeit, schlagen vor, dass wir eher auf das „Wetter“ des Geistes schauen sollten. Sie schlagen vor, dass unsere Gedanken und Wahrnehmungen nicht nur eine Ansammlung von feuernden Drähten sind, sondern vielmehr ein Fluss von Zuständen, die sich über eine Energielandschaft bewegen – ganz so, wie ein Ball einen Hügel hinunterrollt oder ein Fluss seinen Weg zum Meer findet.

Diese Idee stützt sich auf ein Konzept namens Predictive Processing (prädiktive Verarbeitung). Stellen Sie sich Ihr Gehirn nicht als eine Kamera vor, die einfach nur aufzeichnet, was sie sieht, sondern als einen superintelligenten Ratenden. Jede Sekunde macht Ihr Gehirn ständig Vorhersagen darüber, was als Nächstes passieren wird – welches Geräusch Sie hören werden, welche Form Sie sehen werden oder welches Wort als Nächstes in einem Satz kommt. Wenn Ihre Sinne mit der Vermutung übereinstimmen, fühlt sich alles reibungslos an. Aber wenn die Realität Sie überrascht (wie ein Hund, der bellt, während Sie Stille erwartet haben), muss Ihr Gehirn härter arbeiten, um seine Vermutung zu aktualisieren. Diese Arbeit baut auf der Idee auf, dass das Gehirn diese „Überraschung“ oder diesen „Fehler“ minimiert, indem es seine internen Modelle ständig anpasst. Es ist wie ein Thermostat, der versucht, den Raum auf der perfekten Temperatur zu halten, nur dass es statt Wärme versucht, Ihr Verständnis der Welt korrekt zu halten.

Der große Gehirn-Hub: IM-LEPP

Hier kommt IM-LEPP (Integrated Multimodal Latent Energy-based Predictive Processing) ins Spiel, ein neues Modell, das von Subir Varma vorgeschlagen wurde. Stellen Sie sich Ihr Gehirn als einen riesigen, geschäftigen Flughafen vor. In diesem Flughafen werden verschiedene Terminals für unterschiedliche Arten von Informationen zuständig sein: eines für das Sehen (die Welt sehen), eines für die Sprache (Wörter hören und lesen) und andere für Gefühle und Klänge. Lange Zeit fragten sich Wissenschaftler, wie diese separaten Terminals miteinander kommunizieren. Wie verbindet sich das Sehen eines roten Apfels augenblicklich mit dem Wort „Apfel“ und dem Gefühl von Hunger?

Varma schlägt vor, dass alle diese Terminals ihre Berichte an einen zentralen „Kontrollturm“ senden, der in einem spezifischen Teil des Gehjirs liegt, dem Anterioren Temporallappen (ATL). Dieser Turm fungt als ein riesiger Hub, an dem alle verschiedenen Informationsströme zu einem einzigen, einheitlichen Bild der Realität verschmelzen. Das Modell wird als „Hub-and-Spoke“-Modell (Nabe-und-Speiche) bezeichnet, weil die Terminals (die Speichen) in die zentrale Nabe einspeisen und die Nabe wiederum Anweisungen zurück an die Terminals sendet.

Hier geschieht der magische Trick: Das Modell legt nahe, dass das Gehirn nicht einfach eine riesige Liste jedes jemals gehörten Wortes oder jedes jemals gesehenen Bildes speichert. Stattdessen nutzt es einen „Diffusionsprozess“, der einem langsamen, vorsichtigen Tanz der Möglichkeiten gleicht. Wenn Sie eine Szene sehen, macht Ihr Gehirn nicht einfach ein Foto; es generiert eine Vorhersage darüber, wie der nächste Moment aussehen wird. Wenn Sie einen springenden Ball beobachten, sagt das Gehirn voraus, wo er als Nächstes sein wird. Wenn Sie einen Satz lesen, sagt es das nächste Wort voraus.

Was IM-LEPP besonders macht, ist die Art und Weise, wie es den Unterschied zwischen Sehen und Sprechen handhabt. Ihre Augen sehen die Welt in einem kontinuierlichen Strom, wie ein Video. Aber Sprache kommt in Häppchen, wie eine Abfolge von Trittsteinen (Wörtern). Das Modell löst dies dadurch, dass das visuelle Terminal ständig aktualisiert wird, während das Sprach-Terminal in Schüben aktualisiert wird. Der zentrale Hub fungiert als Übersetzer, der den schnell fließenden visuellen Strom und den langsam fließenden Wortstrom nimmt und sie zu einer glatten Erfahrung verschmilzt. Dies erklärt, warum Sie ein Auto vorbeifahren sehen können und gleichzeitig sofort den Satz „Das Auto ist rot“ verstehen, ohne dass Ihr Gehirn durch die unterschiedlichen Geschwindigkeiten der beiden Sinne verwirrt wird.

Warum das wichtig ist: Das Lösen der „blinden Flecken“ und der „Irrwege“

Die Arbeit nutzt dieses Modell, um einige sehr seltsame Dinge darüber zu erklären, wie wir denken.

Betrachten Sie zuerst die Inattentional Blindness (Unaufmerksamkeitsblindheit). Kennen Sie das berühmte Video, in dem Menschen einen Basketball passen und eine Person im Gorillakostüm durch die Szene läuft, aber die Hälfte der Zuschauer den Gorilla nicht sieht? Die Arbeit legt nahe, dass dies geschieht, weil Ihr Gezhirn nur für die Dinge, denen Sie aktiv Aufmerksamkeit schenken, eine detaillierte „Pipeline“ aufbaut. Wenn Sie auf den Ball fokussiert sind, baut Ihr Gehirn ein starkes Vorhersagemodell für den Ball auf. Der Gorilla, der außerhalb Ihres Fokus liegt, erhält keine dedizierte Pipeline. Er ist lediglich Teil des Hintergrundrauschens, bis er etwas so Überraschendes tut, dass es Ihre Vorhersage durchbricht. Das Modell zeigt, dass Ihr Gehirn im Wesentlichen „blind“ für Dinge ist, für die es sich nicht entschieden hat, sie zu verfolgen.

Zweitens erklärt das Modell die sogenannten Garden-Path-Sätze (Irrweg-Sätze). Dies sind Sätze, die Sie austricksen, wie zum Beispiel: „The horse raced past the barn fell“ (Das Pferd, das am Stall vorbeigerannt wurde, fiel). Wenn Sie dies lesen, sagt Ihr Gehirn voraus, dass „raced“ die Hauptaktion ist. Aber dann stoßen Sie auf „fell“, und Ihr Gehirn muss ein plötzliches, jähes U-Turn machen, um zu erkennen, dass das Pferd tatsächlich das war, das gerannt wurde, und nicht das, was rannte. Die Arbeit legt nahe, dass dies nicht nur ein Fehler ist, sondern ein physischer „Energiesprung“. Ihr Gehirn bleibt in einem Niedrigenergie-Tal (der falschen Bedeutung) stecken und benötigt einen großen Stoß an Überraschungsenergie, um über einen Hügel zu springen und im korrekten Tal (der richtigen Bedeutung) zu landen.

Der Unterschied zwischen menschlichen Gehirnen und KI

Die Arbeit zieht eine scharfe Linie zwischen der Art und Weise, wie Menschen Sprache lernen, und wie moderne KI (wie die Chatbots, die Sie vielleicht kennen) lernt. KI-Modelle sind wie Studenten, die das gesamte Internet gelesen haben, aber noch nie einen echten Apfel gesehen oder die Sonne gespürt haben. Sie lernen Sprache rein dadurch, welche Wörter nebeneinander erscheinen. Sie wissen nicht, wie sich ein „Apfel“ anfühlt.

IM-LEPP deutet darauf an, dass Kinder anders lernen. Da unser Sprach-Hub mit unseren Seh- und Gefühlshubs verbunden ist, lernt ein Kind das Wort „Apfel“, indem es dieses mit der realen, visuellen und taktilen Erfahrung eines Apfels verknüpft. Dies wird als Grounding (Verankerung) bezeichnet. Die Arbeit legt nahe, dass dies der Grund ist, warum Kinder mit viel weniger Daten lernen können als eine KI benötigt. Sie merken sich nicht nur Wortmuster; sie heften Wörter an eine reiche, bereits existierende Karte der realen Welt an.

Was die Arbeit (noch) nicht sagt

Es ist wichtig anzumerken, dass diese Arbeit ein Vorschlag ist, ein Entwurf dafür, wie das Gehirn arbeiten könnte. Der Autor hat noch kein voll funktionsfähiges Robotergehirn gebaut, das wie ein Mensch sehen und sprechen kann. Er hat gezeigt, dass sein mathematisches Modell Dinge wie die Frage, warum wir durch knifflige Sätze verwirrt werden oder warum wir den Gorilla im Video übersehen, erklären kann. Er schlägt vor, dass, wenn wir ein Computerprogramm nach genau diesen Regeln bauen würden, es sich in diesen spezifischen Arten wie ein menschliches Gehirn verhalten würde.

Die Arbeit räumt auch ein, dass es immer noch Geheimnisse gibt. Zum Beispiel erklärt sie nicht vollständig, wie das Gehirn Langzeitgedächtnisse spezifischer Ereignisse (wie Ihre Geburtstagsparty) im Gegensatz zu allgemeinen Fakten (wie was ein Hund ist) speichert. Sie schlägt ein System vor, bei dem das Gehirn Erinnerungen nur dann aufschreibt, wenn etwas Überraschendes oder Emotionales passiert, aber die genauen Details dieses „Erinnerungs-Ablagesystems“ bleiben der zukünftigen Forschung vorbehalten.

Kurz gesagt bietet IM-LEPP eine spielerische, energetische Art, über den Geist nachzudenken: nicht als statischer Computer, sondern als eine dynamische, rollende Landschaft, in der unsere Aufmerksamkeit, unsere Sinne und unsere Worte ständig kollidieren und verschmelzen, um die Geschichte unserer Realität zu erschaffen. Es legt nahe, dass das Geheimnis der menschlichen Intelligenz nicht nur darin besteht, eine große Datenbank zu haben, sondern darin, eine kluge, fundierte Art zu besitzen, vorherzusagen, was als Nächstes passiert.