🤖 AI

Predictive Associative Memory: Retrieval Beyond Similarity Through Temporal Co-occurrence

Cet article présente la Mémoire Associative Prédictive (PAM), une architecture qui utilise des prédicteurs JEPA orientés vers le passé et le futur pour apprendre à naviguer dans une structure associative basée sur la co-occurrence temporelle, permettant ainsi une récupération de mémoire fidèle aux expériences vécues qui dépasse les limites des méthodes traditionnelles fondées uniquement sur la similarité.

Auteurs originaux : Jason Dury

Publié 2026-03-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jason Dury

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Titre : La Mémoire Prédictive Associative (PAM)

Sous-titre : Comment se souvenir de ce qui n'a rien à voir, juste parce que ça s'est passé au même moment.

1. Le Problème : Pourquoi les ordinateurs actuels ont une "mémoire de poisson rouge"

Imaginez que vous demandez à un ordinateur de vous aider à trouver un souvenir. Aujourd'hui, la plupart des systèmes (comme ceux qui alimentent les moteurs de recherche ou les IA de chat) fonctionnent comme un détective qui ne regarde que les apparences.

Le système actuel : Si vous cherchez "plage", il vous montrera des photos de sable et de soleil. S'il cherche "vacances", il vous montrera des valises.
Le problème : Cela ne fonctionne pas pour les souvenirs humains réels.
- Exemple : Vous marchez sur un escalier un peu humide. Soudain, vous avez peur de glisser. Pourquoi ? Pas parce que l'escalier ressemble à un accident passé (l'escalier d'aujourd'hui est en bois, celui d'hier était en marbre, il y a 10 ans).
- La vraie raison : Votre cerveau se souvient que cet escalier et la chute sont arrivés au même moment dans le temps. Ils sont liés par le temps, pas par leur apparence.

Les ordinateurs actuels échouent ici. Ils disent : "Cet escalier ne ressemble pas à la chute, donc je ne vais pas vous la montrer." Ils manquent le lien invisible créé par le temps.

2. La Solution : Le "Mécanicien du Temps" (PAM)

L'auteur, Jason Dury, propose une nouvelle architecture appelée PAM (Mémoire Associative Prédictive).

Imaginez que votre cerveau a deux types de mémoires :

La mémoire "Similaire" (Vers l'extérieur) : "Ceci ressemble à cela." (C'est ce que font les ordinateurs actuels).
La mémoire "Temporelle" (Vers l'intérieur) : "Ceci est arrivé juste avant ou juste après cela." (C'est ce que fait PAM).

L'analogie du film :
Imaginez que votre vie est un film enroulé sur une bobine.

Les ordinateurs actuels regardent une image fixe et cherchent d'autres images qui ont la même couleur.
PAM, lui, regarde la bobine. Il sait que si vous voyez la scène où le héros entre dans la cuisine, la scène suivante sera probablement celle où il prend une tasse de café. Même si la cuisine et la tasse ne se ressemblent pas visuellement, elles sont collées l'une à l'autre dans le temps.

PAM apprend à naviguer dans cette bobine. Il ne cherche pas ce qui ressemble à votre question, mais ce qui a été vécu ensemble avec elle.

3. Comment ça marche ? (L'expérience)

Pour prouver que ça marche, les chercheurs ont créé un monde virtuel simple :

Le décor : 20 pièces différentes (comme des chambres).
Les objets : Des meubles et des objets répartis dans ces pièces.
L'action : Un petit robot se promène dans ces pièces pendant 50 000 étapes.

Le test :
Ils demandent au robot : "Tu es dans la chambre bleue, juste avant de sortir. Qu'est-ce qui s'est passé juste avant ou juste après ?"

Si le robot utilise la méthode classique (recherche par ressemblance), il échoue car la chambre bleue et la chambre rouge (où il est allé ensuite) ne se ressemblent pas.
Avec PAM, le robot se souvient : "Ah ! À chaque fois que je suis dans la chambre bleue, je finis par aller dans la chambre rouge." Il retrouve le lien temporel, même si les pièces sont très différentes.

4. Les Résultats : Une mémoire qui ne triche pas

Les résultats sont impressionnants :

Précision : Dans 97 % des cas, la toute première chose que le système "rappelle" est le bon souvenir (l'événement qui s'est vraiment produit juste avant/après).
Le test de la "vraie" mémoire : Quand ils ont mélangé l'ordre du temps (comme si on mélangeait les scènes d'un film au hasard), le système a oublié tout. Cela prouve qu'il n'apprenait pas par hasard ou par forme géométrique, mais qu'il avait vraiment appris la chronologie.
Spécificité : Le système ne se contente pas de dire "C'est une chaise". Il dit "C'est cette chaise spécifique que j'ai vue mardi". C'est la différence entre une mémoire générale (savoir ce qu'est une chaise) et une mémoire épisodique (se souvenir de votre chaise).

5. Pourquoi c'est important pour le futur ?

Aujourd'hui, si vous demandez à une IA : "Qu'est-ce qui pourrait mal tourner sur un escalier mouillé ?", elle vous donnera des documents sur les escaliers et l'eau.

Avec PAM, l'IA pourrait dire : "Ah, je me souviens d'un moment où j'étais dans un hall d'hôtel, il y avait de l'eau sur le marbre, et j'ai failli tomber."

C'est la différence entre lire un manuel et avoir vécu une expérience.

La créativité : Si le système apprend que A mène à B, et que B mène à C, il peut imaginer que A mène à C, même s'il n'a jamais vu A et C ensemble directement. C'est la base de l'imagination et de la créativité.

En résumé

Ce papier nous dit que pour avoir une vraie intelligence, une machine ne doit pas seulement comparer des images. Elle doit vivre le temps. Elle doit apprendre que les choses sont liées parce qu'elles sont arrivées l'une après l'autre, comme les perles d'un collier, et non pas parce qu'elles ont la même couleur.

C'est un pas de géant pour rendre les machines plus humaines, capables de se souvenir de nos expériences réelles, pas seulement de nos données.

1. Problématique

Le paradigme dominant dans les systèmes de mémoire neurale actuels (notamment le RAG - Retrieval-Augmented Generation) repose sur la récupération basée sur la similarité. Dans ce modèle, pour une requête donnée, le système cherche l'état stocké le plus proche dans l'espace d'embedding (généralement via la similarité cosinus).

L'auteur identifie une faille fondamentale de cette approche : elle échoue à capturer une propriété essentielle de la mémoire biologique, à savoir l'association par co-occurrence temporelle.

Exemple : Un escalier ne ressemble pas visuellement à un glissement, mais la vue d'un escalier humide évoque immédiatement le souvenir d'une chute passée.
Limitation : Les systèmes basés sur la similarité ne peuvent pas récupérer ces associations « trans-modales » ou « trans-contextuelles » lorsque les états sont distants dans l'espace d'embedding, car ils n'ont pas de lien sémantique direct, seulement un lien temporel.

2. Méthodologie : Predictive Associative Memory (PAM)

L'auteur propose une nouvelle architecture appelée Predictive Associative Memory (PAM), qui s'inspire des architectures JEPA (Joint-Embedding Predictive Architectures) mais les adapte pour la mémoire associative.

A. Architecture Dual-Channel

Le système distingue deux types de prédicteurs opérant sur le même espace d'embedding :

JEPA « Outward » (Vers l'extérieur) : Prédit l'état sensoriel futur à partir de l'état actuel. Il apprend la structure de similarité (ce qui est fonctionnellement similaire).
JEPA « Inward » (Vers l'intérieur) - Le cœur de PAM : C'est un prédicteur qui, étant donné un état actuel $s(t)$ , prédit la région de l'espace d'embedding contenant les états passés qui lui sont associatifs (co-occurrence temporelle). Il navigue dans la structure associative de la mémoire stockée.

B. Signal d'Apprentissage : Co-occurrence Temporelle

Contrairement aux réseaux de mémoire qui apprennent à adresser des mémoires via une perte de tâche (supervision), PAM apprend la structure associative directement à partir du flux d'expérience.

Signal : Si deux états $s(t)$ et $s(t')$ apparaissent dans une fenêtre temporelle $\tau$ , ils sont considérés comme associés.
Objectif : Le prédicteur Inward apprend à mapper un état vers la région de l'espace contenant ses voisins temporels, indépendamment de leur similarité représentationnelle.
Normalisation : Le système intègre une normalisation par familiarité (pour éviter que des états constamment co-occurrents ne deviennent des associations bruyantes) et un déclin adaptatif.

C. Mécanisme de Récupération et de Recombinaison

Récupération : Au lieu d'une recherche par voisinage le plus proche (kNN), le système effectue une passe avant du prédicteur pour obtenir un vecteur cible, puis récupère les états stockés dans la région prédite.
Pont Transitif (Bridging) : Par itération (multi-hop), le système peut relier des états non directement co-occurrents (A→B et B→C impliquent A→C), permettant une recombinaison créative fondée sur l'expérience réelle.

3. Contributions Clés

Définition d'un nouveau paradigme d'évaluation : Distinction entre la récupération (généralisation à de nouvelles associations, typique du RAG) et le souvenir (rappel fidèle d'associations spécifiques vécues). PAM est évalué sur sa capacité à rappeler fidèlement les associations vécues.
Le Prédicteur Inward : Une implémentation différentiable et apprise de la « propagation d'activation » (spreading activation) des modèles cognitifs, apprise directement à partir de l'expérience temporelle sans construction de graphe explicite.
Preuve de concept sur les frontières représentationnelles : Démonstration qu'une architecture peut récupérer des associations entre des états qui n'ont aucune similarité sémantique (ex: états de pièces différentes dans un espace d'embedding).

4. Résultats Expérimentaux

L'évaluation a été réalisée sur un benchmark synthétique (20 pièces, 50 objets, 50 000 états) comparant le Prédicteur PAM à la Similarité Cosinus et à une similarité bilinéaire apprise.

Précision de Rappel (Association Precision@1) : Le prédicteur retrouve un véritable associé temporel en première position 97 % du temps (0.970), contre 0 % pour la similarité cosinus.
Rappel Trans-Boundary (Cross-Boundary Recall@20) : Pour des paires d'états provenant de pièces différentes (où la similarité cosinus est nulle), PAM atteint un rappel de 0.421, tandis que le cosinus reste à 0.
Discrimination (AUC) :
- Globale : 0.916 (PAM) vs 0.789 (Cosinus).
- Trans-Boundary : 0.849 (PAM) vs 0.503 (Cosinus, niveau du hasard).
Spécificité Épisodique : Le prédicteur distingue les vrais associés temporels de distracteurs similaires (même catégorie/piece mais jamais vus ensemble) avec un AUC de 0.848, contre 0.732 pour le cosinus.
Contrôles de Validation :
- Mélange Temporel (Temporal Shuffle) : En mélangeant l'ordre temporel des trajectoires (tout en gardant la géométrie des embeddings), le rappel trans-boundary s'effondre de 90 % (0.421 → 0.044). Cela prouve que le signal appris est bien la structure temporelle et non un artefact géométrique.
- Requêtes tenues hors (Held-out) : Le système ne récupère pas d'associations à partir de points de vue (ancres) qu'il n'a jamais expérimentés, confirmant le caractère épisodique et spécifique de la mémoire.

5. Signification et Implications

Au-delà de la Similarité : Ce travail démontre que la similarité sémantique est insuffisante pour la mémoire épisodique. La co-occurrence temporelle est un signal d'association universel, non supervisé et puissant.
Architecture pour l'Imagination et la Créativité : En unifiant la prédiction future (Outward) et la prédiction associative passée (Inward), PAM offre une base théorique pour l'imagination (exploration de régions non stockées) et la recombinaison créative (ponts transitifs), tout en restant ancré dans l'expérience réelle.
Limites et Perspectives : L'étude actuelle est limitée à un environnement synthétique sans persistance d'entités (ce qui empêche la validation complète du pont créatif trans-épisodes). Les travaux futurs visent à intégrer un JEPA Outward complet et à tester sur des flux de données multimodaux réels (robotique, vidéo).

En résumé, Jason Dury propose que la mémoire associative ne doit pas être vue comme une recherche de similarité, mais comme une navigation prédictive dans un espace de sens, guidée par la structure temporelle de l'expérience vécue.