🤖 AI

Predictive Associative Memory: Retrieval Beyond Similarity Through Temporal Co-occurrence

Dit paper introduceert Predictive Associative Memory (PAM), een architectuur die gebruikmaakt van een JEPA-achtige predictor die is getraind op temporale co-voorkomens in plaats van op representatieve gelijkenis, waardoor het systeem associatieve herinneringen kan ophalen die verder gaan dan wat door traditionele vergelijkingsmethoden mogelijk is.

Oorspronkelijke auteurs: Jason Dury

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jason Dury

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je hersenen een enorme bibliotheek zijn. De meeste moderne computersystemen (zoals de AI's die we vandaag gebruiken) werken als een zeer efficiënte, maar saaie bibliothecaris. Als je vraagt: "Zoek een boek over regen," zoekt deze bibliothecaris naar boeken die het woord "regen" bevatten of die er visueel op lijken.

Maar hoe werkt het menselijk geheugen? Soms roep je een geur op van vers gemaaid gras, en ineens herinner je je een specifieke zomerdag uit je jeugd waarop je viel. De geur van gras lijkt totaal niet op een valpartij. De geur is niet "verwant" aan de val. Wat ze verbindt, is tijd: ze gebeurden op hetzelfde moment.

Dit artikel introduceert een nieuwe manier om AI-geheugen te bouwen, genaamd Predictive Associative Memory (PAM). Het lost precies dit probleem op.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het oude probleem: "Zoek op gelijkenis"

Stel je voor dat je een sleutel hebt.

Huidige AI (Zoeken op gelijkenis): Als je de sleutel laat zien, zoekt de AI naar andere objecten die eruitzien als een sleutel (een ander type sleutel, een metalen stukje).
Het probleem: Soms is de sleutel niet het belangrijkste. Misschien herinnert de sleutel je aan de deur die je gisteren opende, of aan de diefstal die je daar zag. De sleutel en de diefstal lijken op geen enkel moment op elkaar, maar ze zijn wel "vrienden" omdat ze op hetzelfde moment gebeurden. Huidige systemen missen deze connecties volledig.

2. De nieuwe oplossing: "Zoek op tijd"

De auteurs van dit paper zeggen: "Laten we niet kijken naar hoe dingen eruitzien, maar naar wanneer ze samen voorkwamen."

Ze bouwen een systeem dat werkt als een tijdreis-machine:

Als je nu naar een trap kijkt, denkt het systeem niet: "Welke trap lijkt hierop?"
Het denkt: "Wat heb ik samen met deze trap meegemaakt?"
Misschien was het een dag dat het regende en je bijna viel. De trap en de val zijn heel verschillend, maar ze zaten in hetzelfde "tijdsvenster". Het systeem leert deze verbinding te maken, net zoals wij dat doen.

3. De twee soorten geheugen (De "Binnenwaartse" en "Buitenwaartse" blik)

Het systeem heeft twee hoofdrollen, alsof het twee verschillende soorten kijkers zijn:

De Buitenwaartse Kijker (Outward): Deze kijkt vooruit. "Als ik nu een bal gooi, waar landt hij?" Dit is het gewone voorspellen van de toekomst (zoals bij een auto die zelf rijdt).
De Binnenwaartse Kijker (Inward - het nieuwe stukje): Deze kijkt zijwaarts in het verleden. "Als ik nu deze geur ruik, welke herinnering kwam toen ook voor?" Deze kijker bouwt een kaart van herinneringen die samen zijn gebeurd, ongeacht of ze op elkaar lijken.

De analogie:
Stel je voor dat je een touw hebt met kralen erop.

Huidige AI zoekt naar kralen die dezelfde kleur hebben.
Dit nieuwe systeem kijkt naar de volgorde van de kralen. Het ziet dat een rode kraal (de trap) altijd direct na een blauwe kraal (de val) komt. Het maakt een onzichtbaar lijntje tussen ze, zelfs als ze totaal verschillende kleuren hebben.

4. Wat hebben ze bewezen?

Ze hebben dit getest in een virtuele wereld met 20 kamers en 50 objecten.

Het resultaat: Als je het systeem vraagt om een herinnering op te halen die niet lijkt op de vraag (bijvoorbeeld: een object in kamer A dat samen gebeurde met een object in kamer B), slaagt het in 97% van de gevallen.
De concurrentie (simpele zoekopdracht): Als je gewoon zoekt op gelijkenis, is het resultaat 0%. De computer ziet geen verband omdat de objecten er te verschillend uitzien.

5. Waarom is dit belangrijk?

Dit is een stap in de richting van echte creativiteit en verbeelding.

Als een AI alleen zoekt op gelijkenis, kan hij alleen dingen herhalen die hij al kent.
Als een AI leert op basis van tijd (zoals wij), kan hij dingen combineren die hij nog nooit samen heeft gezien, maar wel apart heeft meegemaakt.
- Voorbeeld: Je hebt gezien dat een hamer een spijker in een muur slaat. Je hebt ook gezien dat een hamer een glas breekt. Een systeem dat op tijd leert, kan begrijpen dat een hamer "kracht" heeft. Als je nu een nieuwe situatie ziet (een hamer en een bloempot), kan het systeem voorspellen dat de bloempot breekt, omdat het de "tijdsconnectie" tussen hamer en breken heeft geleerd, zelfs als hij die specifieke combinatie nooit heeft gezien.

Samenvatting in één zin

Dit paper laat zien dat we AI-geheugen niet hoeven te bouwen als een zoekmachine die zoekt op "wat eruitziet", maar als een tijdreis-machine die zoekt op "wat samen gebeurde", waardoor computers eindelijk kunnen denken zoals mensen: door losse herinneringen te verbinden die op het eerste gezicht niets met elkaar te maken hebben.

Probleemstelling

Huidige benaderingen voor geheugen in neurale systemen (zoals Retrieval-Augmented Generation of RAG) vertrouwen bijna uitsluitend op op gelijkenis gebaseerde ophaling (similarity-based retrieval). Het onderliggende principe is dat een query de meest representatief gelijkaardige opgeslagen toestand moet vinden.

De auteurs stellen dat deze aanpak een fundamenteel aspect van biologisch geheugen mist: associatie door temporale co-occurrence (tijdelijk gelijktijdig voorkomen).

Voorbeeld: Een trap lijkt niet op een uitglijden, maar de trap roept toch direct de herinnering aan het uitglijden op.
Het probleem: Systemen die alleen op gelijkenis zoeken, falen wanneer de huidige ervaring en de relevante herinnering ver uit elkaar liggen in de inbeddingsruimte (embedding space), zelfs als ze sterk geassocieerd zijn door de tijd. Bestaande methoden zoals Memory Networks of Hopfield-netwerken leren associatieve structuren vaak als een neveneffect van taakoptimalisatie of vereisen handmatige grafieken, in plaats van deze direct te leren uit de structuur van de ervaring zelf.

Methodologie: Predictive Associative Memory (PAM)

De auteurs stellen Predictive Associative Memory (PAM) voor, een architectuur die gebaseerd is op Joint-Embedding Predictive Architectures (JEPA). Het systeem bestaat uit twee complementaire componenten:

Outward JEPA (Semantisch Geheugen):
- Voorspelt de toekomstige zintuiglijke toestand op basis van de huidige.
- Leert functionele gelijkenis (bijv. "boormachines en impactdrivers delen eigenschappen").
- Richt zich vooruit in de tijd.
Inward JEPA (Episodisch Geheugen - de kern van dit paper):
- Voorspelt welke verleden toestanden associatief bereikbaar zijn vanuit de huidige toestand.
- Trainingsdoel: Gegeven een toestand $s(t)$ , voorspel de regio in de inbeddingsruimte die toestanden bevat die temporale co-occurrence delen binnen een venster $\tau$ .
- Signaal: De training gebruikt puur temporale co-occurrence als supervisie. Als twee toestanden dicht bij elkaar in de tijd voorkomen, worden ze als positieve paren getraind, ongeacht hun visuele of semantische gelijkenis.
- Architectuur: Een encoder mapt multimodale ervaring (visueel, auditief, proprioceptief) naar een gedeelde inbeddingsruimte. Een predictor (MLP) leert om van een huidige staat naar een voorspelde regio van associatieve partners te navigeren.

Retrieval Mechanisme:
In plaats van het zoeken naar de dichtstbijzijnde punt in de ruimte (cosine similarity), wordt er gezocht naar toestanden die binnen de voorspelde regio van de predictor vallen. Dit stelt het systeem in staat om associaties te vinden die ver weg liggen in de geometrische ruimte, maar dicht bij elkaar in de tijd.

Belangrijkste Bijdragen

Unificatie van Voorspelling en Herinnering: Het paper toont aan dat herinnering, verbeelding en creatieve recombinatie allemaal instanties zijn van dezelfde berekening: het voorspellen van een doelregio in de betekenisruimte op basis van een bronstaat.
Inward vs. Outward Predictors: Het introduceert het concept van een "Inward" predictor die sideways in het geheugen navigeert (associaties), in tegenstelling tot de standaard "Outward" predictor die vooruit in de tijd kijkt.
Leren zonder taaksupervisie: De associatieve structuur wordt louter geleerd uit de stroom van ervaring (temporale co-occurrence), zonder handmatige grafieken of labels.
Episodische Specificiteit: De theorie dat de interactie tussen gelijkenis (Outward) en associatie (Inward) leidt tot specifieke episodische herinneringen (bijv. "die specifieke boormachine die de schroef op dinsdag heeft beschadigd" in plaats van alleen "een boormachine").

Resultaten

Het systeem werd geëvalueerd op een synthetische benchmark met 20 kamers (clusters) in een 128-dimensionale ruimte, waarbij agenten trajecten doorlopen die kamers overschrijden.

Faithful Recall (Betrouwbare Herinnering):
- Association Precision@1: De top-retrieval is een ware temporale associate in 97% van de gevallen (0.970).
- Cross-Boundary Recall: Het systeem kan associaties herstellen die representatieve grenzen overschrijden (tussen verschillende kamers). De Cross-Boundary Recall@20 is 0.421, terwijl cosine similarity hier 0.000 scoort.
- Discriminatie: Het scheidt "samen ervaren" van "nooit samen ervaren" met een AUC van 0.916. Voor cross-room paren (waar cosine faalt) blijft de AUC 0.849 (cosine: 0.503, kansniveau).
Validatie en Controls:
- Temporal Shuffle Control: Wanneer de temporale volgorde binnen trajecten wordt gerandomiseerd (maar de embeddings hetzelfde blijven), crasht de cross-boundary recall met 90% (van 0.421 naar 0.044). Dit bewijst dat het systeem de temporale structuur heeft geleerd en geen artefacten van de geometrie.
- Specificity Control: Het systeem onderscheidt ware associates van "vergelijkbare maar niet-geassocieerde" distractors (AUC 0.848 vs 0.732 voor cosine), wat aantoont dat het specifieke episodische koppelingen leert, niet alleen categorieleden.
- Held-out Query: Het systeem herinnert alleen associaties vanuit perspectieven die het daadwerkelijk heeft ervaren. Bij onbekende query-punten (die nooit als anker zijn gebruikt) daalt de prestatie naar nul, wat consistent is met episodisch geheugen.
Creatieve Bridging (Grensvoorwaarde):
- Het systeem faalde in het overbruggen van trajecten via een gemeenschappelijk object (A→B→C) omdat de synthetische wereld geen persistente entiteiten kende. Dit identificeert een grensvoorwaarde: creatieve recombinatie vereist dat entiteiten over episodes heen persistent zijn.

Significantie en Implicaties

Voorbij Gelijkenis: PAM bewijst dat er een kwalitatief nieuw vermogen bestaat dat puur op gelijkenis gebaseerde systemen (zoals RAG) missen: het herstellen van associaties die niet visueel of semantisch gelijkaardig zijn, maar wel temporair verbonden.
Biologische Plausibiliteit: De aanpak sluit aan bij theorieën zoals de Hippocampal Indexing Theory en Complementary Learning Systems, waarbij het hippocampus snelle associatieve koppelingen maakt tussen gebeurtenissen die geen feitelijke gelijkenis delen.
Toekomstige Toepassingen: Voor embodied AI-agenten die continu ervaring opdoen, biedt PAM een manier om langdurige planning en gepersonaliseerd geheugen mogelijk te maken door "wat er gebeurd is" te koppelen aan "wat er nu gebeurt", zelfs als de context volledig verandert.
Architectonische Voorspelling: Het paper stelt dat volledige episodische specificiteit alleen ontstaat wanneer een systeem zowel een Outward (gelijkenis) als een Inward (associatie) predictor heeft die samenwerken.

Kortom, dit paper introduceert een nieuw paradigma voor geheugen in neurale netwerken: van het zoeken naar het dichtstbijzijnde punt, naar het navigeren naar het temporaal bereikbare punt.