🤖 AI

Predictive Associative Memory: Retrieval Beyond Similarity Through Temporal Co-occurrence

Die Arbeit stellt die Predictive Associative Memory (PAM)-Architektur vor, die durch den Einsatz von Inward- und Outward-JEPA-Modellen, die auf zeitlicher Kookkurrenz trainiert werden, eine über reine Ähnlichkeit hinausgehende, biologisch inspirierte assoziative Erinnerung ermöglicht, die in synthetischen Tests signifikant bessere Ergebnisse bei der Wiedergabe zeitlich verknüpfter Zustände erzielt als herkömmliche, auf Ähnlichkeit basierende Methoden.

Ursprüngliche Autoren: Jason Dury

Veröffentlicht 2026-03-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jason Dury

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Missverständnis: Nicht nur Ähnlichkeit zählt

Stell dir dein Gehirn wie eine riesige Bibliothek vor. Die meisten modernen Computer-Systeme (wie die, die heute in KI-Chatbots stecken) funktionieren wie ein sehr strenger Bibliothekar, der nur nach Ähnlichkeit sucht.

Das alte System: Wenn du nach „Apfel" fragst, sucht es nach Dingen, die wie ein Apfel aussehen oder schmecken (Birne, Pfirsich).
Das Problem: Das menschliche Gehirn funktioniert anders. Es erinnert sich nicht nur an Dinge, die sich ähnlich sehen, sondern an Dinge, die zusammen erlebt wurden.

Ein einfaches Beispiel:
Stell dir vor, du gehst eine leicht nasse Treppe hinunter. Sofort bekommst du ein mulmiges Gefühl. Warum? Nicht weil die Treppe aussieht wie ein Unfall, sondern weil dein Gehirn sich daran erinnert: „Letztes Jahr bin ich auf einer nassen Treppe ausgerutscht."
Die Treppe heute und der Sturz damals sehen völlig unterschiedlich aus (anders beleuchtet, andere Kleidung, anderes Jahr). Aber sie sind durch die Zeit verbunden. Sie geschahen in derselben „Zeitschleife".

Das alte System würde sagen: „Keine Ähnlichkeit, also keine Erinnerung." Das neue System sagt: „Ah, Zeit! Das gehört zusammen!"

Die Lösung: Ein neuer Bibliothekar (PAM)

Jason Dury schlägt ein neues System vor, das er Predictive Associative Memory (PAM) nennt. Stell dir das wie einen sehr aufmerksamen Bibliothekar vor, der nicht nur die Bücher vergleicht, sondern sich merkt, wer wann zusammen im Raum war.

Das System nutzt zwei Arten von „Gedächtnis-Modulen":

Der „Vorwärts"-Blick (Outward): Das ist das normale KI-Gedächtnis. Es lernt: „Wenn ich einen Ball sehe, folgt wahrscheinlich ein Wurf." Es lernt Ähnlichkeiten und Regeln der Welt.
Der „Seitwärts"-Blick (Inward): Das ist das neue PAM. Es lernt: „Was habe ich gerade erlebt, und was habe ich vor kurzem erlebt, auch wenn es ganz anders aussah?"

Die Magie:
Das System wird trainiert, indem es einfach nur die Zeitströme des Erlebnisses beobachtet. Es lernt nicht durch Fragen und Antworten (wie in der Schule), sondern durch das reine Miterleben.

Wenn du eine Treppe siehst, sagt das System nicht: „Das sieht aus wie eine Treppe."
Es sagt: „Ich war vor 5 Sekunden in einer Situation, die einer Treppe ähnelte, und kurz danach ist etwas Schlimmes passiert. Also: Vorsicht!"

Wie funktioniert das im Test?

Die Forscher haben eine künstliche Welt gebaut, in der ein Roboter durch verschiedene „Zimmer" läuft.

Zimmer A ist blau und hat einen Hammer.
Zimmer B ist rot und hat einen Nagel.
Normalerweise sind diese Zimmer völlig unterschiedlich (keine Ähnlichkeit).

Aber der Roboter läuft durch beide Zimmer in einer bestimmten Reihenfolge. Das PAM-System lernt: „Hammer (Blau) und Nagel (Rot) gehören zusammen, weil ich sie nacheinander gesehen habe."

Das Ergebnis:
Als sie das System testeten, passierte etwas Wunderbares:

Wenn das System nach dem Hammer fragte, erinnerte es sich sofort an den Nagel im anderen Zimmer, obwohl sie sich optisch gar nicht ähnelten.
Herkömmliche Systeme (die nur auf Ähnlichkeit schauen) schafften das gar nicht. Sie blieben im blauen Zimmer stecken und wussten nichts vom roten Zimmer.

Die wichtigsten Erkenntnisse (in Metaphern)

Zeit ist der Kleber:
Stell dir deine Erinnerungen wie Perlen an einer Schnur vor. Herkömmliche KI sucht nach Perlen, die die gleiche Farbe haben. PAM sucht nach Perlen, die an derselben Stelle der Schnur liegen. Selbst wenn eine Perle rot und die nächste grün ist, weiß PAM, dass sie zusammengehören, weil sie nebeneinander auf der Schnur liegen.
Keine Halluzinationen, sondern echte Erinnerungen:
Das System lernt nur das, was es wirklich erlebt hat. Wenn es eine Verbindung nicht erlebt hat, erfindet es sie nicht. Das ist wie bei einem Menschen: Du kannst dich nicht an ein Gespräch erinnern, das du nie geführt hast. Das System ist hier sehr ehrlich.
Der „Kreativ-Sprung":
Wenn das System lernt, dass A zu B führt und B zu C führt, kann es theoretisch auch A mit C verbinden, auch wenn es A und C nie direkt gesehen hat. Das ist wie wenn du lernst: „Mein Freund kennt Paul" und „Paul kennt Sarah". Plötzlich weißt du, dass dein Freund Sarah kennt, ohne sie je gesehen zu haben. Das System kann solche Brücken bauen, solange es persistente Objekte (wie denselben Hammer an verschiedenen Tagen) gibt.

Warum ist das wichtig?

Aktuelle KI-Systeme (wie die, die wir heute nutzen) sind super darin, Fakten zu finden, die ähnlich klingen. Aber sie sind schlecht darin, Erlebnisse zu verknüpfen. Sie verstehen nicht, dass ein Geruch von Sonnencreme eine Erinnerung an einen bestimmten Strandurlaub auslösen kann, auch wenn der Geruch nichts mit dem Strand zu tun hat, außer dass er damals da war.

Dieses neue System (PAM) gibt der KI die Fähigkeit, Erinnerungen zu haben, nicht nur Daten zu speichern. Es erlaubt ihr, aus der Vergangenheit zu lernen, nicht nur aus Büchern.

Zusammenfassend:
Statt nur zu fragen „Was sieht aus wie das?", fragt dieses neue System: „Was habe ich gerade erlebt, und was war kurz davor oder danach?" Es nutzt die Zeit als Schlüssel, um Erinnerungen zu finden, die für uns Menschen so natürlich, aber für Computer bisher unmöglich waren.

1. Problemstellung und Motivation

Das Kernproblem:
Derzeitige neuronale Speichersysteme (z. B. Retrieval-Augmented Generation, RAG, oder Memory Networks) basieren fast ausschließlich auf ähnlichkeitsbasiertem Abruf (Similarity-Based Retrieval). Dabei wird ein gespeicherter Zustand gefunden, der dem Abfragezustand (Query) im Embedding-Raum am ähnlichsten ist (gemessen durch Kosinus-Ähnlichkeit oder Distanz).

Die biologische Lücke:
Diese Annahme – dass nützliche Erinnerungen denen ähneln, die sie auslösen – ignoriert ein fundamentales Merkmal biologischen Gedächtnisses: Assoziation durch temporales Ko-Auftreten (Temporal Co-occurrence).

Beispiel: Eine Treppe sieht einem Rutsch nicht ähnlich, aber der Anblick einer nassen Treppe löst sofort die Erinnerung an einen früheren Sturz aus.
Biologische Systeme (insbesondere der Hippocampus) verknüpfen Zustände, die zeitlich nebeneinander erlebt wurden, unabhängig von ihrer repräsentationalen Ähnlichkeit.
Bestehende Ansätze wie „Spreading Activation" beschreiben dieses Phänomen, benötigen aber manuell konstruierte Graphen oder fehlende Lernalgorithmen für die Struktur selbst.

Ziel:
Die Entwicklung eines Systems, das Assoziationen nicht durch Ähnlichkeit, sondern durch die Vorhersage von erreichbaren Zuständen basierend auf der zeitlichen Struktur von Erfahrungslernen lernt.

2. Methodik: Predictive Associative Memory (PAM)

Das Paper schlägt Predictive Associative Memory (PAM) vor, eine Architektur, die auf dem Konzept der Joint-Embedding Predictive Architectures (JEPA) aufbaut, jedoch in einem neuen Zielraum operiert.

A. Architektur-Komponenten

Das System besteht aus zwei komplementären JEPA-Modulen, die denselben Embedding-Raum nutzen, aber unterschiedliche Ziele haben:

Outward JEPA (Semantisches Gedächtnis):
- Funktion: Vorhersage des nächsten sensorischen Zustands aus dem aktuellen Zustand.
- Lernziel: Lernt funktionale Ähnlichkeiten und kausale Regularitäten der Welt (z. B. „Bohrer und Schrauber gehören zusammen").
- Richtung: Vorwärts in der Realzeit.
Inward JEPA (Episodisches Gedächtnis – Fokus des Papers):
- Funktion: Gegeben ein aktueller Zustand $s(t)$ , wird der Bereich im Embedding-Raum vorhergesagt, der Zustände aus der temporalen Nachbarschaft (vergangene Zustände) enthält.
- Lernsignal: Temporales Ko-Auftreten. Wenn zwei Zustände innerhalb eines Zeitfensters $\tau$ erlebt wurden, sind sie assoziiert, auch wenn sie im Embedding-Raum weit voneinander entfernt sind.
- Richtung: Seitwärts in die Vergangenheit (Memory Time).

B. Trainingsmechanismus

Zustandsrepräsentation: Ein Encoder erstellt einen kompositen Zustand $s(t)$ aus visuellen, auditiven, propriozeptiven und kontextuellen Eingaben.
Vorhersage: Der Inward-Predictor $g_\phi$ bildet $s(t)$ auf einen Zielvektor $\hat{z}(t)$ ab, der den Schwerpunkt der assoziierten Nachbarn darstellt.
Verlustfunktion: Ein kontrastiver Verlust (InfoNCE), der den Abstand zu tatsächlich ko-auftretenden Zuständen minimiert und den Abstand zu nicht-ko-auftretenden Zuständen maximiert.
Stop-Gradient/EMA: Wie bei JEPA üblich, wird ein langsam aktualisierter Ziel-Encoder verwendet, um ein Zusammenfallen der Repräsentationen (Representational Collapse) zu verhindern.

C. Abruf und Kreativität

Abruf: Statt nach dem ähnlichsten Punkt zu suchen, wird der vorhergesagte Zielbereich $\hat{z}(t)$ berechnet. Alle gespeicherten Zustände innerhalb einer Distanz $\epsilon$ zu diesem Punkt werden als assoziiert zurückgegeben.
Transitive Brücken (Creative Recombination): Durch iterative Vorhersage (Multi-Hop) kann das System Verbindungen herstellen, die nie direkt erlebt wurden (z. B. A→B und B→C gelernt, dann A→C abgerufen). Dies erfordert jedoch persistente Entitäten über Episoden hinweg.

3. Experimentelles Setup

Synthetischer Benchmark: Eine Welt mit 20 Räumen (Cluster im 128-dimensionalen Raum) und 50 Objekten.
Daten: 500 Trajektorien à 100 Zeitschritte (50.000 Zustände). Trajektorien durchqueren Räume, wodurch Zustände aus verschiedenen Räumen (keine Ähnlichkeit) zeitlich assoziiert werden.
Bewertungsparadigma: Recall vs. Retrieval.
- Das System wird nicht auf Generalisierung für ungesehene Assoziationen getestet (wie bei RAG), sondern auf die treue Wiederbelebung (Faithful Recall) von Assoziationen, die das Agent tatsächlich erlebt hat.
- Ziel: Vermeidung von Halluzinationen (falsche Assoziationen) und Erhalt der episodischen Spezifität.
Baselines:
1. Kosinus-Ähnlichkeit (Standard-Retrieval).
2. Bilineare Ähnlichkeit (gelernte lineare Kompatibilität).

4. Wichtige Ergebnisse

Die Ergebnisse belegen, dass der Inward-Predictor Assoziationen lernt, die für Ähnlichkeits-basierte Methoden unzugänglich sind.

Metrik	PAM (Predictor)	Kosinus-Ähnlichkeit	Bilinear
Association Precision@1	0.970	0.000	0.015
Cross-Boundary Recall@20	0.421	0.000	0.000
Discrimination AUC (Gesamt)	0.916	0.789	0.791
Discrimination AUC (Cross-Room)	0.849	0.503 (Zufall)	0.514 (Zufall)
Specificity@20	0.338	0.000	0.000

Schlüsselerkenntnisse:

Überwindung von Ähnlichkeitsgrenzen: Bei Paaren aus verschiedenen Räumen (wo Kosinus-Ähnlichkeit bei Null liegt und keine Information liefert), erreicht PAM eine Recall-Rate von 42,1% und eine Diskriminierungsgenauigkeit von 84,9%. Die Baselines fallen hier auf Zufallsniveau.
Hohe Präzision: Der Top-1-Abruf ist zu 97% korrekt.
Episodische Spezifität: Das System unterscheidet zwischen Zuständen, die nur derselben Kategorie angehören (z. B. gleicher Raum), und denen, die tatsächlich zeitlich zusammen erlebt wurden (AUC 0,848 vs. 0,732 bei Kosinus).
Validierung durch Ablation:
- Temporal Shuffle: Wenn die zeitliche Reihenfolge in den Trajektorien zufällig gemischt wird (aber die Embeddings gleich bleiben), bricht die Cross-Boundary Recall-Leistung um 90% ein. Dies beweist, dass das System die echte zeitliche Struktur und keine Artefakte der Geometrie gelernt hat.
- Held-Out Queries: Das System erinnert sich nur an Assoziationen von den viewpoints (Ankerpunkten), die es während des Trainings erlebt hat. Bei neuen viewpoints bricht die Leistung ein – ein Zeichen für echtes episodisches Gedächtnis und keine bloße Lookup-Tabelle.

5. Bedeutung und Implikationen

Theoretischer Beitrag:

Einheitliche Berechnung: Das Paper zeigt, dass Abruf, Vorhersage, Imagination und kreative Neukombination alle Instanzen derselben Berechnung sind: die Vorhersage eines Zielbereichs im Bedeutungsraum (Meaning Space) basierend auf einem Quellzustand.
Komplementäres Lernen: Es bestätigt die Theorie der komplementären Lernsysteme (Complementary Learning Systems). Das Outward-JEPA lernt semantische Ähnlichkeit, das Inward-JEPA episodische Assoziation. Erst die Interaktion beider erzeugt präzise episodische Erinnerungen („Der spezifische Bohrer, der am Dienstag die Schraube beschädigt hat").

Praktische Relevanz:

Grenzen von RAG: Herkömmliche RAG-Systeme können Assoziationen nicht herstellen, die nicht durch semantische Ähnlichkeit gedeckt sind. PAM bietet einen Mechanismus, um diese Lücke zu schließen, indem es temporale Struktur aus Erfahrung lernt.
Embodied AI: Für autonome Agenten, die in der realen Welt agieren, ist die Fähigkeit, Erinnerungen über zeitliche Nähe (nicht nur visuelle Ähnlichkeit) zu verknüpfen, entscheidend für langfristige Planung und kontextuelles Verständnis.

Zukünftige Arbeiten:
Das Paper identifiziert die Notwendigkeit von persistierenden Entitäten über Episoden hinweg, um kreative Brückenbildung (Transitive Bridging) empirisch zu validieren. Die nächste Stufe ist die Integration von Outward- und Inward-JEPA in einem dualen System mit gemeinsamem Encoder.

Fazit

Jason Dury demonstriert, dass temporales Ko-Auftreten ein ausreichendes und mächtiges primitives Signal ist, um ein neuronales System zu trainieren, das Assoziationen über repräsentationale Grenzen hinweg lernt. Predictive Associative Memory (PAM) bietet einen plausiblen architektonischen Rahmen für episodisches Gedächtnis, Imagination und kreatives Denken, das über reine Ähnlichkeitssuche hinausgeht.