🤖 AI

Structure Abstraction and Generalization in a Hippocampal-Entorhinal Inspired World Model

Dieser Beitrag schlägt ein hirninpiriertes hierarchisches Modell vor, das den hippocampal-entorhinalen Schaltkreis nachahmt, um abstrakte relationale Strukturen und prädiktive visuelle Weltmodelle gleichzeitig zu extrahieren und zu konstruieren, wodurch eine robuste strukturelle Generalisierung und Wissensübertragung durch selbstüberwachtes Lernen ermöglicht wird.

Ursprüngliche Autoren: Tianqiu Zhang, Muyang Lyu, Xiao Liu, Si Wu

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianqiu Zhang, Muyang Lyu, Xiao Liu, Si Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihr Gehirn ist wie eine superkluge Bibliothekarin, die nicht nur Bücher auswendig lernt, sondern die Regeln versteht, nach denen Geschichten geschrieben werden. Diese Arbeit stellt ein Computermodell vor, das versucht, genau das nachzuahmen, was ein bestimmter Teil des menschlichen Gehirns (der Hippocampus und der entorhinale Kortex) tut: Es trennt was passiert, von wie es passiert.

Hier ist eine Aufschlüsselung der Ideen der Arbeit unter Verwendung einfacher Analogien:

1. Das Problem: Die Falle „Zu viele Details"

Wenn Sie ein Video einer springenden Katze ansehen, sieht Ihr Gehirn das Fell, die Farbe, den Hintergrund und den Sound. Um die Handlung (das Springen) zu verstehen, müssen Sie jedoch die spezifische Katze ignorieren und sich auf das Bewegungsmuster konzentrieren.

Die meisten aktuellen KI-Modelle versuchen, jedes einzelne Pixel jedes Videos auswendig zu lernen. Wenn sie lernen, wie ein roter Ball rollt, haben sie Schwierigkeiten zu verstehen, wie ein blauer Ball rollt, weil sie an der Farbe hängen geblieben sind. Sie haben die abstrakte Regel des „Rollens" nicht gelernt.

2. Die Lösung: Das Zweiteil-System des Gehirns

Die Autoren haben ein Modell entwickelt, das von zwei Teilen des Gehirns inspiriert ist:

Der HPC (Hippocampus): Denken Sie daran als Fotoalbum. Es erinnert sich an die spezifischen Details: den roten Ball, den sonnigen Park, die Schnurrhaare der Katze. Es enthält das „episodische Gedächtnis" eines bestimmten Ereignisses.
Der MEC (Entorhinaler Kortex): Denken Sie daran als Kartenzeichner. Ihn interessiert nicht der rote Ball oder die Katze. Ihn interessiert nur die Geometrie der Bewegung. Er zeichnet eine Karte darüber, „wie sich Dinge bewegen". Er weiß, dass „Rollend" ein bestimmter Pfad auf einer Karte ist, unabhängig davon, welches Objekt rollt.

3. Wie das Modell funktioniert: Die „Geisterfahrer"-Analogie

Das Modell lernt in zwei Hauptschritten und agiert wie ein Fahrer und ein Navigator:

Schritt 1: Das Inverse Modell (Der Detektiv)
Das Modell sieht sich ein Video an und fragt: „Welche unsichtbare Kraft hat dieses Objekt bewegt?" Es betrachtet zwei Einzelbilder und ermittelt die „Geschwindigkeit" oder den „Schub", der die Veränderung verursacht hat. Es streift die Farbe und Textur des Objekts ab und behält nur die reine Bewegungsanweisung bei.
- Analogie: Stellen Sie sich vor, Sie beobachten, wie ein Auto vorbeifährt. Der Detektiv ignoriert den Lack des Autos und notiert einfach: „Links abgefahren, Geschwindigkeit erhöht."
Schritt 2: Das Weltmodell (Der Navigator)
Hier kommen die Gehirnteile ins Spiel.
- Der MEC (Kartenzeichner) nimmt diese Anweisung „Links abbiegen, Geschwindigkeit erhöhen" und bewegt einen Punkt auf einer mentalen Karte. Er verwendet einen speziellen mathematischen Trick namens „Kontinuierliche Attraktor-Dynamik" (stellen Sie sich einen Marmor vor, der in einer Schüssel rollt), um vorherzusagen, wo der Punkt als Nächstes sein sollte. Dies erzeugt eine stabile, wiederverwendbare Karte der Bewegung.
- Der HPC (Fotoalbum) nimmt diese neue Position auf der Karte und fragt: „Okay, wenn der Punkt hier ist, wie sieht der rote Ball jetzt aus?" Er füllt die Details aus.

4. Der Zaubertrick: „Geisterfahren"

Der coolste Teil der Arbeit ist die Generalisierung. Da das Modell die „Karte" (Bewegungsregeln) von dem „Foto" (Details) getrennt hat, kann es etwas Erstaunliches tun:

Szenario: Das Modell hat gelernt, wie sich ein gelber Apfel dreht.
Der Test: Die Forscher baten es, dieselbe Drehregel auf einen roten Apfel anzuwenden, den es noch nie gesehen hatte.
Das Ergebnis: Das Modell ließ den roten Apfel erfolgreich genau wie den gelben rotieren, obwohl es noch nie einen roten Apfel rotieren gesehen hatte. Es nahm den „Geisterfahrer" (die Bewegungsregel) vom gelben Apfel und wendete ihn auf den roten Apfel an.

Es ist, als würde man lernen, auf einer flachen Straße Fahrrad zu fahren und dann sofort zu wissen, wie man auf einem Hügel Fahrrad fährt, weil man die Physik des Tretens verstanden hat und nicht nur die spezifische Straße.

5. Was sie bewiesen haben

Struktur vs. Inhalt: Sie zeigten, dass der „Kartenzeichner"-Teil ihres Modells (MEC) die reinen Bewegungsregeln (wie Rotation oder Skalierung) lernte, ohne sich durch die Farbe oder Textur des Objekts verwirren zu lassen.
Robustheit: Wenn sie das Modell ließen, eine lange Folge von Einzelbildern vorherzusagen (wie einen Film), wird es im Laufe der Zeit normalerweise unscharf (wie ein Spiel „Stille Post"). Allerdings fügten sie eine „visuelle Rückkopplungsschleife" hinzu. Wenn das Modell beginnt zu driften, überprüft es das echte Video, korrigiert seine Karte und fährt fort.
Realwelt vs. Fake-Welten: Das Modell wurde mit echten menschlichen Videos trainiert (Menschen bewegen Objekte). Als sie es an 3D-Computersimulationen testeten (Roboter bewegen Blöcke), funktionierte es überraschend gut, was beweist, dass es allgemeine Regeln gelernt hat und nicht nur spezifische Videomuster.

Zusammenfassung

Diese Arbeit stellt ein Computermodell vor, das lernt, Videos anzusehen, indem es die Geschichte (das spezifische Objekt) von dem Drehbuch (den Bewegungsregeln) trennt. Indem es die Trennung des Gehirns zwischen Gedächtnis (HPC) und räumlicher Kartierung (MEC) nachahmt, kann das Modell lernen, wie sich Dinge bewegen, und diese Bewegungsregeln dann auf völlig neue Objekte und Umgebungen anwenden. So erreicht es ein Maß an „gesunden Menschenverstand", mit dem frühere KI-Modelle Schwierigkeiten hatten.

Technische Zusammenfassung: Strukturaus abstraction und Generalisierung in einem vom Hippocampus-Entorhinal-Kortex inspirierten Weltmodell

Problemstellung

Menschen besitzen die Fähigkeit, Erfahrungen in strukturierte Repräsentationen zu abstrahieren, was die Inferenz von Mustern und den Wissenstransfer über diverse Kontexte hinweg erleichtert. Obwohl bekannt ist, dass der biologische Hippocampus-Entorhinal-Kortex (HPC-MEC)-Kreislauf sowohl räumliche als auch konzeptuelle Räume kodiert, bleiben die Mechanismen zur gleichzeitigen Extraktion abstrakter Strukturen aus kontinuierlichen, hochdimensionalen Dynamiken weitgehend unverstanden. Bestehende Modelle kognitiver Karten in den Neurowissenschaften haben oft Schwierigkeiten, skalierbar zu sein, und versagen darin aufzuzeigen, wie abstrakte Strukturen direkt aus hochdimensionalen, realweltlichen visuellen Szenen ohne vorherige Überwachung extrahiert werden können. Darüber hinaus verflechten aktuelle Weltmodelle häufig Übergangsdynamiken mit sensorischem Inhalt, was ihre Fähigkeit einschränkt, strukturelle Muster über verschiedene Objekte und Umgebungen hinweg zu generalisieren.

Diese Arbeit adressiert zwei fundamentale Fragen:

Wie kann ein Modell gleichzeitig Repräsentationen konkreten sensorischen Inhalts lernen und abstrakte Strukturen aus Sequenzen ohne vorherige Überwachung extrahieren?
Wie können diese extrahierten Strukturen genutzt werden, um eine robuste strukturelle Generalisierung über diverse Objekte und Umgebungen hinweg zu ermöglichen?

Methodik

Die Autoren schlagen ein hierarchisches, vom Gehirn inspiriertes Weltmodell vor, das die funktionale Aufteilung des HPC-MEC-Kreislaufs nachahmt. Die Architektur besteht aus zwei Hauptkomponenten: einem inversen Modell zur Strukturaextraktion und einem HPC-MEC-Kopplungsmodell zur prädiktiven Weltmodellierung.

1. Architekturübersicht

Das Modell arbeitet mit rohen Videosequenzen unter Verwendung eines vortrainierten multi-skalierten VQ-VAE zur Extraktion von Beobachtungs-Embeddings ( $s$ ). Die Kernverarbeitung erfolgt in zwei distincten latenten Räumen:

Hippocampus (HPC): Kodiert inhaltsreiche, episodische Informationen. Er erfasst spezifische sensorische Details und Kontext.
Medialer Entorhinaler Kortex (MEC): Kodiert abstrakte relationale Strukturen. Er wird unter Verwendung der Dynamiken eines Continuous Attractor Neural Network (CANN) implementiert, um eine geschwindigkeitsgesteuerte Pfadintegration durchzuführen.

2. Das HPC-MEC-Kopplungsmodell

Das Modell nutzt zwei Informationsflüsse:

Visueller Inferenzfluss: Eingabebilder werden in HPC-Embeddings ( $p$ ) kodiert und dann in niedrigdimensionale MEC-Embeddings ( $g$ ) komprimiert. Dieser Fluss erfasst den aktuellen Zustand.
Generierungsfluss: Das Modell sagt zukünftige Zustände voraus, indem es latente Übergänge auf die MEC-Embeddings anwendet. Die MEC-Dynamiken werden als CANN modelliert, wobei das Netzwerk einen stabilen „Bump" (Aktivitätsbuckel) aufrechterhält. Ein latenter Übergang ( $z_t$ $z_{t}$ ) wirkt als Geschwindigkeitsoperator, der diesen Buckel entlang der metrischen Achsen des Netzwerks verschiebt, um den nächsten Zustand ( $g_{t+1}$ $g_{t + 1}$ ) zu generieren.
- Die Update-Regel ist definiert als: $g_{t+1} = g_t \oplus f_{forward}(z_t, g_t)$ , wobei $\oplus$ ein Phasenverschiebungsoperator ist.
Visuelles Feedback: Um die bei der autoregressiven Pfadintegration inhärente Fehlerakkumulation zu mindern, integriert das Modell visuelles Feedback. Wenn neue Beobachtungen verfügbar sind, korrigiert das aus der Beobachtung inferierte MEC-Embedding den generierten Zustand, bevor der nächste Vorhersageschritt erfolgt.

3. Inverses Modell zur Inferenz latenter Übergänge

Anstatt direkt von hochdimensionalen Beobachtungen abzubilden, inferiert das inverse Modell latente Übergänge ( $z_t$ ) aus der Differenz zwischen aufeinanderfolgenden MEC-Embeddings ( $g_t$ und $g_{t+1}$ ).

$z_t = f_{inverse}(g_{t+1} \ominus g_t)$
Durch die Operation im Unterschied des abstrakten MEC-Raums isoliert das Modell niedrigdimensionale Übergangsdynamiken und schließt redundante visuelle Merkmale aus, die im HPC kodiert sind. Dies entkoppelt effektiv „wie" sich ein Objekt bewegt (Struktur) von „was" das Objekt ist (Inhalt).

4. Trainingsparadigma

Das Modell wird in einer selbstüberwachten Weise ausschließlich unter Verwendung von Beobachtungssequenzen trainiert, ohne explizite Aktionslabels. Das Training erfolgt in drei Phasen:

Phase 1: Training des visuellen Inferenzflusses und des Dekodierungsprozesses zur Rekonstruktion von Beobachtungs-Embeddings, wobei durch Alignierungs- und Regularisierungsverluste Konsistenz zwischen sensorischem Input und Selbstbewegungshinweisen erzwungen wird.
Phase 2: Training des inversen Modells zur Inferenz latenter Übergänge und der Übergangsdynamiken zur Vorhersage des nächsten MEC-Embeddings.
Phase 3: Gemeinsames Feinabstimmen des gesamten Systems zur Durchführung einer autoregressiven Generierung mittels Pfadintegration, wobei ausschließlich der Anfangszustand und die Sequenz inferierter latenter Übergänge genutzt werden.

Hauptbeiträge

Selbstüberwachtes HPC-MEC-Weltmodell: Die Autoren stellen ein Framework vor, das abstrakte Strukturen gemeinsam inferiert und ein Weltmodell aus rohen Videosequenzen lernt, ohne explizite Prioritäten für Dynamiken zu benötigen.
Analyse der Strukturaus abstraction: Unter Verwendung primitiver Transformationsdynamiken (Rotation, Translation, Skalierung) als Benchmark zeigt die Arbeit, dass das Modell Erscheinung erfolgreich von Dynamik entkoppelt. Es zeigt Periodizität und In-Klassen-Strukturaustausch, wobei MEC-Embeddings gemeinsame Rotationsmerkmale über verschiedene Objektinstanzen hinweg erfassen, während HPC-Embeddings objektspezifische Identitäten beibehalten.
Strukturelle Generalisierung: Das Modell demonstriert die Fähigkeit, gemeinsame Strukturen aus ähnlichen Übergangsdynamiken zu extrahieren und diese flexibel über diverse Umgebungen und Objektkategorien hinweg wiederverzuwenden (Zero-Shot-Transfer). Dies wird durch die Integration abstrakter Strukturen, die im MEC kodiert sind, mit Inhaltsdetails, die im HPC gespeichert sind, erreicht.

Ergebnisse

Das Modell wurde auf dem Something-Something v2 (SSv2)-Datensatz zum Training evaluiert und auf Out-of-Distribution (OOD)-Datensätze getestet, darunter 3D-Objektübergänge (COIL-100, MIRO, OmniObject3D) und simulierte robotische Umgebungen (Franka Kitchen, Block Pushing).

Vorhersageleistung: Das Modell erreicht robuste Ein-Schritt- und autoregressive Vorhersagen. Bei autoregressiven Aufgaben verbessert die Einbeziehung von visuellem Feedback die Generierungsqualität signifikant, indem akkumulierte Fehler der Pfadintegration korrigiert werden.
Strukturelle Abstraktion: Quantitative Analysen zeigen, dass MEC-Embeddings ( $g$ ) effektiver sind als HPC-Embeddings ( $p$ ), um In-Klassen-geteilte Strukturen zu erfassen. Ein Decoder, der auf MEC-Embeddings trainiert wurde, erzielt eine höhere Genauigkeit bei der Klassifizierung von Objektkategorien basierend auf gemeinsamen Dynamiken im Vergleich zu einem, der auf HPC-Embeddings trainiert wurde.
Übergangsdemodulation: Latente Übergänge ( $z$ ), die aus dem Modell abgeleitet werden, erreichen die höchste Genauigkeit (90,64 %) beim Decodieren von Übergangstypen (Rotation, Translation, Skalierung) im Vergleich zu Zustandsübergängen im HPC- oder MEC-Raum, was darauf hindeutet, dass $z$ hochsemantisch bedeutungsvolle, inhaltsfreie Strukturen erfasst.
Generalisierung: Das Modell überträgt latente Übergänge erfolgreich von einem Quellobjekt (z. B. ein gelber Apfel) auf ein Zielobjekt (z. B. ein roter Apfel) oder eine andere Szene und generiert Sequenzen, die mit der Dynamik der Quelle übereinstimmen, während der Inhalt des Ziels erhalten bleibt. Es übertrifft Baseline-Modelle (LAPA, Moto, AdaWorld) in OOD-Szenarien, insbesondere in natürlichen Umgebungen wie der Franka Kitchen, wo Baseline-Modelle häufig versagen oder in statische Vorhersagen degenerieren.
Ablationsstudien: Das Entfernen der hierarchischen Trennung (einheitlicher latenter Raum) oder der CANN-Dynamiken (Ersetzung durch ein Standard-MLP) verschlechtert die Leistung erheblich, was bestätigt, dass die entflochtene Architektur und die CANN-basierte Pfadintegration entscheidend für die Isolierung reiner Dynamiken und die Ermöglichung von Generalisierung sind.

Bedeutung und Behauptungen

Diese Arbeit liefert ein neuartiges computergestütztes Framework zum Verständnis, wie vom Gehirn inspiriertes, selbstüberwachtes Lernen von Weltmodellen die Aneignung wiederverwendbarer abstrakter Kenntnisse fördert. Durch die Nachahmung der funktionalen Trennung von HPC und MEC demonstriert das Modell, dass abstrakte Strukturen effektiv aus realweltlichen Videosequenzen extrahiert werden können, während sinnvolle hierarchische latente Räume erhalten bleiben.

Die Autoren behaupten, dass ihr Ansatz einen Mechanismus für strukturelle Generalisierung bietet, der es Systemen ermöglicht, extrahierte strukturelle Repräsentationen flexibel mit neuen Kontexten zu binden. Diese Fähigkeit deutet auf einen Weg zu robusterem Transferlernen in der embodied AI hin, bei dem Agenten generalisierbare Dynamiken aus begrenzten Daten lernen und auf unbekannte Objekte und Umgebungen anwenden können. Die Arbeit schließt die Lücke zwischen theoretischen Neurowissenschaftsmodellen kognitiver Karten und praktischen Deep-Learning-Anwendungen in der Videovorhersage und der Extraktion latenter Aktionen.