🤖 machine learning

MapFormer: Self-Supervised Learning of Cognitive Maps with Input-Dependent Positional Embeddings

Das Papier stellt MapFormer vor, eine neuartige Transformer-Architektur, die input-abhängige Positionseinbettungen nutzt, die aus Lie-Algebra-Generatoren abgeleitet sind, um unüberwachte kognitive Karten zu erlernen, und dadurch im Vergleich zu bestehenden KI-Modellen eine überlegene Generalisierung außerhalb der Trainingsverteilung sowie Skalierbarkeit über diverse kognitive Aufgaben hinweg erreicht.

Ursprüngliche Autoren: Victor Rambaud, Salvador Mascarenhas, Yair Lakretz

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Victor Rambaud, Salvador Mascarenhas, Yair Lakretz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie gehen durch eine neue Stadt. Sie merken sich nicht jedes einzelne Gebäude, das Sie sehen; stattdessen bauen Sie eine mentale Karte. Sie verstehen, dass „nach links drehen" Ihre Position relativ zur Straße immer verändert, unabhängig davon, ob Sie in Paris oder Tokio sind. Diese Fähigkeit zu trennen, wo Sie sind (die Struktur), von dem, was Sie sehen (den Inhalt), nennen Wissenschaftler eine „kognitive Karte".

Aktuelle KI-Systeme, wie die großen Sprachmodelle, mit denen Sie vielleicht chatten, sind unglaublich gut darin, Muster auswendig zu lernen. Allerdings sind sie oft „brüchig". Wenn Sie sie bitten, ein Problem zu lösen, das sich geringfügig von dem unterscheidet, worauf sie trainiert wurden, scheitern sie oft. Sie haben Schwierigkeiten, die zugrunde liegenden Regeln einer Situation zu verstehen, und verlassen sich stattdessen auf Raten basierend auf oberflächlichen Ähnlichkeiten.

Dieser Artikel stellt eine neue Art von KI-Architektur vor, die MapFormers genannt wird. Stellen Sie sich MapFormers vor, als würden Sie der KI ein „mentales GPS" geben, das die Regeln der Straße lernt, anstatt nur die Szenerie auswendig zu lernen.

Die Kernidee: Trennung von „Wo" und „Was"

Die Autoren argumentieren, dass eine KI, um wirklich intelligent zu sein, zwei Dinge entwirren muss:

Inhalt: Die spezifischen Dinge, die sie sieht (z. B. ein roter Apfel, ein blaues Auto).
Struktur: Die Regeln, wie sich Dinge bewegen oder in Beziehung stehen (z. B. „nach rechts bewegen" verschiebt Sie immer einen Schritt nach rechts).

Standard-KI-Modelle vermischen diese beiden Aspekte. MapFormers sind so konzipiert, dass sie sie getrennt halten. Dies tun sie mithilfe eines mathematischen Tricks, der Lie-Gruppen beinhaltet (eine ausgefeilte Art, glatte Rotationen und Bewegungen zu beschreiben). Anstatt Regeln hart zu codieren, lernt die KI, „Bewegungsmatrizen" basierend auf der Eingabe zu generieren.

Die zwei Arten von MapFormers

Der Artikel stellt zwei Versionen dieses Systems vor, die die Autoren mit menschlichen Gedächtnistypen vergleichen:

MapEM (Episodisches Gedächtnis): Dies ist wie ein Tagebuch. Es führt eine separate, dedizierte Liste von „wo ich bin" und „was ich gesehen habe". Es ist sehr gut darin, spezifische vergangene Ereignisse abzurufen (wie sich genau zu erinnern, was Sie letzten Dienstag zum Frühstück hatten), aber es ist etwas langsamer in der Verarbeitung.
MapWM (Arbeitsgedächtnis): Dies ist wie der aktive Notizzettel Ihres Gehirns. Es mischt „Wo" und „Was" im laufenden Betrieb zusammen. Es ist schneller und effizienter, ähnlich wie RoPE (eine beliebte aktuelle KI-Technik) funktioniert, aber mit einem entscheidenden Upgrade: Es kann tatsächlich lernen, sich dynamisch auf einer Karte zu bewegen.

Wie sie lernten (Die Trainingsgelände)

Um zu beweisen, dass diese Modelle funktionieren, testeten die Forscher sie an drei spezifischen „Videospiele"-artigen Herausforderungen, bei denen die Regeln verborgen waren:

Das „Ignoriere das Rauschen"-Spiel: Die KI musste eine Liste von Elementen kopieren, aber die leeren Räume dazwischen ignorieren. Standard-KI wird durch die Leerzeichen verwirrt; MapFormers lernten, das Rauschen zu „gaten" (auszublenden) und sich nur auf die zu kopierenden Elemente zu konzentrieren.
Das „Blindfolded Navigator"-Spiel (Der blinde Navigator): Die KI erhielt eine Sequenz von „Bewege"- und „Sieh"-Befehlen, wusste aber nicht, welcher Befehl welcher war. Sie musste herausfinden, dass „Oben" Sie nach oben bewegt und „Sieh einen Baum" nur Ihre Ansicht aktualisiert. Sobald sie die Karte gelernt hatte, konnte sie genau vorhersagen, was sie sehen würde, wenn sie zu einem Ort zurückkehrte, den sie zuvor besucht hatte, selbst wenn die Sequenz viel länger war als alles, was sie je gesehen hatte.
Das „Verschachtelte Klammern"-Spiel: Dies testet die Fähigkeit, tiefe Schichten von Logik zu handhaben (wie ((()))). Standard-KI hat Schwierigkeiten zu zählen, wie viele öffnende Klammern warten, bis sie geschlossen werden, wenn die Sequenz lang wird. MapFormers behandelten das Öffnen einer Klammer als „Vorwärtsbewegung" und das Schließen als „Rückwärtsbewegung", was es ihnen ermöglichte, den Stapel perfekt zu verfolgen, selbst in Sequenzen, die viel tiefer waren als diejenigen, auf die sie trainiert wurden.

Die Ergebnisse: Warum dies wichtig ist

Der Artikel behauptet, dass MapFormers eine nahezu perfekte Generalisierung erreichten.

Der „OOD"-Test: In KI-Terminologie bedeutet „Out-of-Distribution" (OOD), das Modell an Szenarien zu testen, die es noch nie gesehen hat. Während Standardmodelle kläglich scheiterten, wenn die Sequenzen länger wurden oder sich die Umgebungen änderten, waren MapFormers erfolgreich. Sie haben nicht nur auswendig gelernt; sie lernten die Geometrie des Problems.
Realwelt-Test: Die Forscher versuchten dies auch an einem Ausschnitt echten Internettextes (OpenWebText). Obwohl die Verbesserung kleiner war als bei den Logikspielen, schnitten MapFormers immer noch leicht besser ab als Standardmodelle, was darauf hindeutet, dass diese Prinzipien auf reale Sprachaufgaben skalierbar sein könnten.

Die „Geheimsauce": Mathematik als Kompass

Der Artikel erklärt, dass MapFormers einen spezifischen mathematischen Ansatz verwenden, bei dem Aktionen (wie „nach rechts bewegen") als Rotationen behandelt werden.

Stellen Sie sich vor, Sie drehen einen Zifferblatt. Wenn Sie es um 90 Grad drehen und dann noch einmal um 90 Grad, landen Sie bei 180.
MapFormers lernen, dass „Rechts" eine spezifische Rotation ist und „Links" die entgegengesetzte Rotation.
Da sie diesen mathematischen Rahmen verwenden, können sie das Ergebnis einer langen Reise (Pfadintegration) berechnen, indem sie einfach die Winkel addieren, anstatt für jeden einzelnen Schritt komplexe, langsame Berechnungen durchzuführen. Dies ermöglicht es ihnen, Informationen parallel (sehr schnell) zu verarbeiten und gleichzeitig die Sequenz zu verstehen.

Zusammenfassung

Kurz gesagt schlägt dieser Artikel vor, dass wir, um KI robuster und anpassungsfähiger zu machen, aufhören sollten, sie wie eine riesige Mustererkennungs-Maschine zu behandeln, und anfangen sollten, ihr eine kognitive Karte zu geben. Indem wir der KI beibringen, die Bewegungsregeln von den Dingen zu trennen, die sie sieht, können MapFormers neue, ungesehene Situationen mit einer Flexibilität navigieren, die aktuellen KI-Systemen fehlt. Sie raten nicht nur; sie verstehen die Karte.

Technische Zusammenfassung: MapFormers

Problemstellung

Derzeitige auf Transformer basierende KI-Systeme zeigen trotz beeindruckender Leistung bei Aufgaben innerhalb der Trainingsverteilung (in-distribution) erhebliche Sprödigkeit, wenn sie mit Szenarien außerhalb der Trainingsverteilung (out-of-distribution, OOD) konfrontiert werden. Oft scheitern sie daran, auf neue Situationen zu generalisieren, die Menschen und Tiere mühelos bewältigen. Die Autoren führen diese Lücke auf das Fehlen struktureller Verzerrungen (structural biases) zurück, die biologischen Gehirnen ermöglichen, kognitive Karten zu konstruieren: interne Modelle, die die abstrakte, invariante Struktur einer Umgebung von ihrem spezifischen, variablen Inhalt entkoppeln.

Bestehende Versuche, kognitive Karten zu modellieren, wie die Tolman-Eichenbaum-Maschine (TEM), die actionsabhängige Matrizen in RNNs verwendet, leiden unter zwei kritischen Einschränkungen:

Mangelnde Skalierbarkeit: Sie erfordern sequenzielle Matrixmultiplikation zur Aktualisierung von Positionen, was eine parallele Verarbeitung verhindert.
Vordefinierte Aktionen: Sie erfordern oft, dass der Satz von Aktionen (z. B. Kardinalrichtungen) hartkodiert wird, anstatt aus Daten gelernt zu werden.

Darüber hinaus sind Standard-Positionscodierungen (wie RoPE) statisch oder verlassen sich auf Heuristiken, die die dynamische Komposition von Aktionen nicht unterstützen, die für die Pfadintegration in unbekannten Umgebungen erforderlich ist.

Methodik

Die Arbeit stellt MapFormers vor, eine Klasse von Transformer-Architekturen, die darauf ausgelegt sind, kognitive Karten zu lernen und Pfadintegration durch Next-Token-Vorhersage ohne Überwachung durchzuführen. Die Kerninnovation liegt in der Verwendung von inputabhängigen Matrizen zur Aktualisierung von Positionscodierungen, die aus der Lie-Gruppentheorie abgeleitet sind.

Theoretischer Rahmen

Lie-Gruppen-Formalismus: Die Autoren modellieren Aktionen als Elemente einer Lie-Gruppe (insbesondere kompakter Gruppen wie $SO(2)$ für Rotationen). Anstatt eine separate Matrix für jede mögliche Aktion zu lernen, lernt das Modell Lie-Algebra-Generatoren.
Pfadintegration via Exponentialabbildungen: Aktionen werden als infinitesimale Generatoren in der Lie-Algebra dargestellt. Pfadintegration (das Komponieren einer Sequenz von Aktionen) erfolgt durch Summation dieser Generatoren in der Algebra (lineare Akkumulation) und anschließende Anwendung einer einzigen Exponentialabbildung, um die endliche Transformation in der Lie-Gruppe zu erhalten.
- Für kommutative Karten (z. B. Navigation auf einem 2D-Gitter) ermöglicht dies die Pfadintegration parallel durch kumulative Summation, gefolgt von einer einzigen Matrix-Exponentialfunktion.
- Dieser Ansatz reduziert die induktive Verzerrung von der Anzahl der Aktionen auf die strukturelle Komplexität der Algebra.

Architektonische Varianten

Die Arbeit schlägt zwei Varianten von MapFormers vor, die absolute und relative Positionscodierung mit unterschiedlichen Speichermodellen vereinen:

MapEM (Episodisches Gedächtnis):
- Verwendet absolute Positionseinbettungen, um eine kognitive Karte darzustellen.
- Entkoppelt Inhalt (Beobachtungen) und Struktur (Position) in separate neuronale Populationen.
- Berechnet Aufmerksamkeit auf der Konjunktion von Inhalt und Position ( $Q_G = \text{vec}(Q^T \cdot P)$ ), wirkt effektiv als Attention-Maske, wobei Positionscodierungen unabhängig vom Inhalt aktualisiert werden.
- Geeignet für Aufgaben, die eine robuste Erinnerung an spezifische Zustände erfordern.
MapWM (Arbeitsgedächtnis):
- Verwendet relative Positionscodierung (analog zu RoPE, aber dynamisch).
- Repräsentiert Struktur implizit, indem neuronale Aktivität (Keys und Queries) durch inputabhängige Rotationsmatrizen ( $R_{\theta PI}$ ) in verschiedene Unterräume rotiert wird.
- Der Rotationswinkel $\theta$ wird aus einer Low-Rank-Projektion des Eingabetokens abgeleitet, wodurch das Modell lernen kann, welche Tokens als Aktionen wirken (Position aktualisieren) und welche Beobachtungen sind (Position unverändert lassen).

Inputabhängiger Mechanismus

Beide Architekturen verwenden eine zweistufige Projektion, um die „Integrationsdauer" ( $\Delta_t$ ) für jeden Token zu bestimmen:

Innere Projektion: Bildet den Eingabetoken auf eine niedrigdimensionale Aktionsrepräsentation ab.
Äußere Projektion: Projiziert diese Repräsentation auf eine pro-Block-Integrationsdauer.
Der finale Rotationswinkel ist $\theta_t = \omega \odot \Delta_t$ , wobei $\omega$ ein lernbarer Winkelgeschwindigkeitsvektor ist. Pfadintegration wird als kumulative Summe dieser Winkel berechnet ( $\theta_{0 \to t} = \text{cumsum}(\theta_t)$ ).

Hauptbeiträge

MapFormers-Architektur: Eine neuartige Transformer-Variante, die kognitive Karten lernt, indem sie Struktur von Inhalt entkoppelt, und zwar mittels inputabhängiger Positionscodierungen, die auf Lie-Algebra-Generatoren basieren.
Parallele Pfadintegration: Durch die Nutzung kommutativer Lie-Gruppen (z. B. $SO(2)^k$ ) erreichen die Modelle eine parallele Pfadintegration und überwinden so den sequenziellen Engpass früherer RNN-basierter Modelle für kognitive Karten.
Vereinigung von Speichermodellen: Die Arbeit liefert eine theoretische Verbindung zwischen absoluter/relativer Positionscodierung und episodischem/Arbeitsgedächtnis und zeigt, wie beide aus denselben lie-theoretischen Prinzipien abgeleitet werden können.
Skalierbarkeit auf nicht-kommutative Karten: Das Framework wird auf nicht-kommutative Probleme (z. B. Stammbäume) unter Verwendung mehrerer Generatoren erweitert, erfordert jedoch sequenzielle Pfadintegration.

Experimentelle Ergebnisse

Die Autoren evaluierten MapFormers an drei formalen Aufgaben, die unterschiedliche kognitive Fähigkeiten ansprechen:

Selektives Kopieren (Gating):
- Aufgabe: Kopiere eine Sequenz, während Ablenkungstokens ignoriert werden.
- Ergebnis: MapFormers (sowohl EM als auch WM) erreichten eine perfekte OOD-Generalisierung, wohingegen Standard-Baselines (RoPE, TAPE) scheiterten. Dies demonstriert die Fähigkeit, dynamische Gating-Mechanismen zu lernen.
Gitter-Navigation (1D und 2D):
- Aufgabe: Vorhersage von Beobachtungen in einer Sequenz abwechselnder Aktionen und zufälliger Beobachtungen, wobei das Modell die latente Topologie inferieren und die Position pfadintegrieren muss.
- Ergebnis: MapFormers erreichten nahezu perfekte Genauigkeit auf OOD-Sequenzen (variierende Länge und Dichte), während Baselines (einschließlich CoPE und PathAtt) keine Generalisierung zeigten.
- Neuronale Analyse: Die Modelle lernten, Beobachtungstokens auf eine Null-Rotation (Identität) und Aktionstokens auf spezifische Rotationsrichtungen zu projizieren, wodurch Inhalt effektiv von Struktur entkoppelt wurde.
Dyck-2 (Verschachtelte Hierarchien):
- Aufgabe: Vorhersage gültiger Fortsetzungen von Klammernsequenzen, was das Verfolgen eines Stacks erfordert.
- Ergebnis: MapFormers generalisierten perfekt auf längere und tiefere Sequenzen als im Training gesehen, und zwar unter Verwendung nur einer einzigen Schicht. Baselines benötigten mehrere Schichten und scheiterten dennoch an OOD-Daten.
- Mechanismus: Die Modelle eingebetteten den Stack direkt in die Positionscodierung, indem sie orthogonale Dimensionen für verschiedene Klammerarten und entgegengesetzte Richtungen für öffnende/schließende Klammern verwendeten.
Skalierung auf natürliche Sprache:
- Aufgabe: Pretraining auf OpenWebText.
- Ergebnis: Ein 12-Schichten-MapWM-Modell zeigte konsistente Verbesserungen der Perplexität gegenüber einer RoPE-Baseline ($18,79$ vs $19,14$) und eine bessere Längsextrapolation. Auf dem syntaktischen Benchmark BLIMP zeigte MapWM jedoch keine signifikanten Gewinne gegenüber RoPE, was darauf hindeutet, dass kommutative Pfadintegration allein für alle syntaktischen Modellierungen möglicherweise nicht ausreicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MapFormers eine kritische strukturelle Verzerrung bieten, die eine systematische OOD-Generalisierung ermöglicht, indem latente Strukturen durch Pfadintegration erfasst werden, anstatt sich auf Heuristiken zu verlassen.

Robustheit: Die Modelle zeigen, dass die Entkoppelung abstrakter Relationen vom Inhalt eine robuste Generalisierung auf ungesehene Sequenzlängen, Tiefen und Umgebungsichten ermöglicht.
Skalierbarkeit: Die Verwendung paralleler Berechnung auf kommutativen Karten erlaubt es diesen Prinzipien, auf großflächige, reale Domänen zu skalieren, wie die Ergebnisse zur natürlichen Sprache belegen.
Biologische Plausibilität: Der Ansatz überbrückt die Lücke zwischen biologischen kognitiven Karten (die „Was" von „Wo" faktorisieren) und modernem Deep Learning und bietet einen Weg zu KI-Systemen, die durch das Verständnis der zugrunde liegenden Geometrie ihrer Umgebung neue Probleme lösen können.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und weisen darauf hin, dass nicht-kommutative Pfadintegration nicht parallelisierbar ist und dass die aktuelle kommutative Einschränkung die Modellierung bestimmter komplexer syntaktischer Strukturen in der Sprache begrenzen könnte. Sie schlagen vor, dass zukünftige Arbeiten hybride Architekturen oder nicht-kommutative Erweiterungen für komplexeres relationales Schlussfolgern untersuchen könnten.