💻 computer science

A Machine with Short-Term, Episodic, and Semantic Memory Systems

Inspiré par les sciences cognitives humaines, cet article présente un agent d'apprentissage par Q profond équipé de systèmes de mémoire à court terme, épisodique et sémantique modélisés comme des graphes de connaissances, démontrant qu'une telle structure permet à l'agent d'apprendre efficacement des stratégies de gestion de la mémoire et de surpasser les agents dépourvus de cette architecture dans un environnement d'apprentissage par renforcement personnalisé appelé « the Room ».

Auteurs originaux : Taewoon Kim, Michael Cochez, Vincent François-Lavet, Mark Neerincx, Piek Vossen

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Taewoon Kim, Michael Cochez, Vincent François-Lavet, Mark Neerincx, Piek Vossen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment être un colocataire serviable. Le robot doit répondre à des questions telles que : « Où est l'ordinateur portable de Bob ? » ou « Où les gens rangent-ils habituellement leurs ordinateurs portables ? »

Pour bien faire cela, les chercheurs ont construit un robot doté d'un cerveau qui imite la mémoire humaine, mais avec une particularité : au lieu de simplement stocker des données brutes, ils ont organisé le cerveau du robot en trois « pièces » distinctes, chacune utilisant un Graphe de Connaissances (pensez-y comme à un immense réseau interconnecté de faits et de relations).

Voici comment fonctionne la mémoire du robot, décomposée en concepts simples :

1. Les Trois Pièces de Mémoire

Le robot dispose de trois endroits spécifiques pour stocker des informations, tout comme les humains :

La Pièce à Court Terme (Le « Comptoir de Travail ») :
C'est un espace minuscule et rapide où le robot conserve les tout derniers éléments qu'il observe. C'est comme un comptoir de cuisine où vous posez le courrier que vous venez d'apporter. Il dispose d'un espace très limité. S'il se remplit, le robot doit décider quoi faire du plus vieil élément sur le comptoir.
La Pièce Épisodique (L'« Album Photo ») :
C'est pour les histoires spécifiques et personnelles. Elle se souvient de qui a fait quoi, où et quand.
- Exemple : « À 14 h 00 le mardi, Bob a posé son ordinateur portable sur le bureau. »
- C'est comme un album photo avec des dates et des noms attachés à chaque photo.
La Pièce Sémantique (L'« Encyclopédie ») :
C'est pour les connaissances générales du monde. Elle oublie le « qui » et le « quand » et ne conserve que les faits généraux.
- Exemple : « Les ordinateurs portables se trouvent généralement sur des bureaux. »
- C'est comme un dictionnaire ou une encyclopédie. Elle ne se soucie pas de Bob ; elle connaît simplement la règle générale.

2. La Grande Décision du Robot

Le défi central de l'article est d'enseigner au robot comment gérer sa Pièce à Court Terme.

Chaque fois que le robot voit quelque chose de nouveau, il le place sur le « comptoir ». Lorsque le comptoir est plein, le robot doit prendre une décision en une fraction de seconde concernant l'élément le plus ancien :

Le jeter (L'oublier complètement).
Le mettre dans l'Album Photo (Le sauvegarder comme un souvenir spécifique d'un événement).
Le mettre dans l'Encyclopédie (Le transformer en règle générale).

Les chercheurs ont utilisé une technique appelée Apprentissage par Renforcement Profond (Deep Q-Learning) (un type d'IA qui apprend par essais et erreurs) pour enseigner au robot quel choix mène aux meilleurs résultats. Le robot reçoit un « point de récompense » chaque fois qu'il répond correctement à une question. Avec le temps, il apprend que certaines choses appartiennent à l'Album Photo (comme l'endroit où se trouve l'ordinateur portable de Bob maintenant), tandis que d'autres appartiennent à l'Encyclopédie (comme l'endroit où l'on trouve habituellement les ordinateurs portables).

3. Le Test : « La Pièce »

Pour tester cela, les chercheurs ont créé un monde virtuel appelé « La Pièce ».

Imaginez une pièce avec 64 personnes et 16 types d'objets différents (comme des ordinateurs portables, des bols, des voitures).
Ces personnes déplacent les objets selon leurs propres habitudes. Parfois, elles placent les choses dans des endroits logiques (un bol dans un placard), et parfois dans des endroits étranges (un bol dans une armoire).
Le robot se promène, en regardant une personne à la fois. Il voit un objet bouger, puis on lui pose une question : « Où est le bol d'Alice ? »
Si le robot se souvient correctement, il gagne un point. S'il oublie, il obtient zéro.

4. Ce Qu'ils Ont Découvert

Les expériences ont révélé des résultats fascinants :

La Puissance du Duo : Un robot possédant à la fois un Album Photo et une Encyclopédie a bien mieux performé qu'un robot n'en ayant qu'un seul ou l'autre. Il pouvait traiter des questions spécifiques (« Où est l'ordinateur portable de Bob ? ») en utilisant l'Album, et des questions générales (« Où vont les ordinateurs portables ? ») en utilisant l'Encyclopédie.
L'Avantage « Pré-entraîné » : Les chercheurs ont testé deux types de robots :
1. La Table Rase : A commencé avec une Encyclopédie vide.
2. Le Connaissant : A commencé avec une Encyclopédie déjà remplie de faits de bon sens (provenant d'une base de données appelée ConceptNet).
Le robot « Connaissant » a appris plus vite et a obtenu de meilleurs scores. Il a réalisé : « Je connais déjà les règles générales, donc je n'ai pas besoin de gaspiller de l'espace dans mon Encyclopédie pour les réapprendre. Je devrais simplement me concentrer sur la sauvegarde d'événements spécifiques et étranges dans mon Album Photo. »

Le robot « Table Rase » a essayé d'apprendre des règles générales à partir de zéro, commettant parfois des erreurs (comme penser que les ordinateurs portables vont dans la cuisine), ce qui lui a coûté des points.

5. La Conclusion

L'article prouve qu'offrir à une machine une structure de mémoire qui ressemble à celle d'un humain — en séparant les événements spécifiques des faits généraux — la rend beaucoup plus intelligente pour répondre à des questions dans un environnement changeant.

Le robot a appris une « politique de gestion de la mémoire » : il a compris qu'il ne devrait pas essayer de se souvenir de tout pour toujours. Au lieu de cela, il a appris à être sélectif, en conservant les faits généraux les plus utiles à un endroit et les histoires spécifiques les plus importantes à un autre, tout en laissant le reste de côté.

En résumé : Le robot a appris que pour être intelligent, il faut connaître la différence entre « ce qui est arrivé à Bob aujourd'hui » et « comment le monde fonctionne habituellement », et qu'il faut un classeur différent pour chacun.

Résumé technique : Une machine dotée de systèmes de mémoire à court terme, épisodique et sémantique

Énoncé du problème

Les agents d'apprentissage automatique actuels, y compris les moteurs de recherche et les assistants virtuels, excellent dans la récupération de connaissances factuelles et de bon sens (mémoire sémantique), mais manquent de la capacité à se souvenir d'événements spécifiques du passé ou d'expériences personnelles (mémoire épisodique). De plus, les agents d'apprentissage par renforcement (RL) standards luttent souvent face à l'observabilité partielle et à l'oubli catastrophique. Les auteurs postulent que l'imitation de l'architecture explicite de la mémoire humaine — spécifiquement la distinction entre la mémoire sémantique (connaissances générales du monde) et la mémoire épisodique (expériences personnelles liées au temps), médiatisée par un tampon à court terme — pourrait permettre aux agents de mieux gérer une capacité mémoire limitée et de répondre plus efficacement à diverses questions.

Méthodologie

L'environnement : "La Chambre"

Pour évaluer cette hypothèse, les auteurs ont conçu un environnement de simulation d'événements discrets compatible avec OpenAI Gym.

Configuration : L'environnement contient $N_{humains}$ (64), $N_{objets}$ (16) et $N_{endroits}$ (28). Les humains suivent des routines fixes, plaçant des objets dans des endroits qui sont soit "de bon sens" (par exemple, un bol sur un placard), soit non conformes au bon sens, avec une probabilité $p_{bon\_sens} = 0,5$ .
Observation : L'agent observe partiellement l'environnement, en visualisant un humain à la fois. Les observations sont enregistrées sous forme de quadruplets $(h, r, t, timestamp)$, représentant une entité tête, une relation, une entité queue et un horodatage.
Tâche : À chaque étape, l'agent se voit poser une question sous la forme d'un triplet $(h, r, ?)$ . Les réponses correctes rapportent une récompense de +1 ; les réponses incorrectes rapportent 0. L'épisode dure 128 étapes.

Architecture de la mémoire

L'agent est modélisé avec trois systèmes de mémoire distincts, chacun représenté comme un graphe de connaissances (KG) :

Mémoire à court terme ( $M_o$ ) : Un tampon borné qui stocke initialement toutes les observations sous forme de quadruplets $(h, r, t, timestamp)$.
Mémoire épisodique ( $M_e$ ) : Une mémoire à long terme bornée stockant des événements spécifiques et liés au temps sous forme de quadruplets $(h, r, t, timestamp)$.
Mémoire sémantique ( $M_s$ ) : Une mémoire à long terme bornée stockant des faits généraux sous forme de quadruplets $(h, r, t, strength)$. Ici, $h$ est généralisé (par exemple, "ordinateur portable" plutôt que "l'ordinateur portable de Bob"), et $strength$ indique la fréquence de stockage.

Politique de gestion de la mémoire :
Lorsque la mémoire à court terme est pleine, l'agent doit décider du sort de l'observation la plus ancienne. Il dispose de trois actions :

Oublier : Rejeter l'observation entièrement.
Stocker dans l'épisodique : Déplacer l'observation vers $M_e$ .
Stocker dans le sémantique : Déplacer l'observation vers $M_s$ (en généralisant l'entité et en incrémentant la force).

La politique de récupération est déterministe et basée sur des règles (Algorithme 1) :

Pour des questions spécifiques, l'agent vérifie d'abord $M_e$ pour l'événement pertinent le plus récent.
Si aucune correspondance épisodique n'existe, il vérifie $M_s$ pour le fait général pertinent le plus fort.
Si aucun des deux ne donne de réponse, l'agent échoue à la question.

Algorithme d'apprentissage

La politique de gestion de la mémoire (décider où stocker ou s'il faut oublier) est apprise en utilisant l'apprentissage par Deep Q-Learning (DQN).

Représentation de l'état : L'état $s$ consiste en le contenu actuel de $M_o$ , $M_e$ et $M_s$ .
Traitement des entrées : Pour alimenter les KG dans le réseau de neurones, les auteurs convertissent les mémoires en plongements de graphes de connaissances (KGE). Les quadruplets sont triés (par horodatage pour l'épisodique/à court terme, par force pour le sémantique) et plongés. Pour les mémoires épisodiques/à court terme impliquant des humains, le nom de l'humain et l'objet sont concaténés avant le plongement pour capturer les caractéristiques individuelles.
Architecture du réseau : Le réseau Q utilise des couches LSTM pour traiter la séquence des plongements de mémoire, suivie de Perceptrons Multicouches (MLP) pour produire les valeurs Q pour les trois actions.
Variantes d'entraînement : Deux types d'agents ont été entraînés :
1. Sémantique Scratch : Commence avec une mémoire sémantique vide.
2. Sémantique Préentraîné : Commence avec des connaissances générales du monde (issues de ConceptNet) pré-remplies dans $M_s$ .

Contributions clés

Modélisation explicite de la mémoire : L'article modélise explicitement un agent doté de systèmes de mémoire à court terme, épisodique et sémantique, chacun structuré comme un graphe de connaissances, inspiré par les théories des sciences cognitives (Tulving 1983, 1985).
Nouvel environnement : La publication de "La Chambre", un environnement RL personnalisé conçu pour tester la capacité d'un agent à encoder, stocker et récupérer des mémoires afin de répondre à des questions dans des conditions d'observabilité partielle.
Gestion de la mémoire apprise : Démonstration qu'un agent basé sur DQN peut apprendre avec succès une politique de gestion de la mémoire (décider entre l'oubli, le stockage épisodique ou le stockage sémantique) pour maximiser les retours.

Résultats

Des expériences ont été menées avec des capacités mémoire variables (capacité totale $|M_e| + |M_s|$ allant de 2 à 64).

Performance par rapport aux bases de référence : Les agents dotés de systèmes de mémoire épisodique et sémantique ont largement surpassé trois bases de référence : (1) Épisodique uniquement, (2) Sémantique uniquement, et (3) Sélection d'actions aléatoire. L'agent le plus performant (RL avec mémoire sémantique préentraînée) a obtenu une récompense totale moyenne de 116,5 sur 128, contre 109,1 pour la version scratch et des scores inférieurs pour les bases de référence.
Impact du pré-entraînement : L'agent "Sémantique Préentraîné" a appris plus rapidement et a convergé vers un optimum plus élevé que l'agent "Sémantique Scratch". L'agent préentraîné a appris à préserver ses connaissances générales initiales et à ne stocker que des événements spécifiques et non généralisables dans la mémoire épisodique. À l'inverse, l'agent scratch a tenté d'apprendre des connaissances générales à partir de zéro, commettant occasionnellement des erreurs (par exemple, identifier incorrectement l'emplacement d'un train) ce qui a réduit sa récompense finale.
Mise à l'échelle de la capacité :
- Les agents uniquement épisodiques ont montré une amélioration linéaire avec la capacité, répondant finalement à toutes les 128 questions lorsque la capacité a atteint 64.
- Les agents uniquement sémantiques ont bien performé à de faibles capacités mais ont atteint un plateau (autour de 92 récompenses) une fois la capacité supérieure à 32, car les triplets de connaissances générales suffisaient pour la tâche.
- Les agents combinés ont exploité les deux systèmes pour atteindre les performances globales les plus élevées.

Importance et affirmations

L'article affirme que l'équipement des machines avec des systèmes de mémoire explicites, à l'image de l'humain, leur permet de surpasser les agents dépourvus de telles structures dans des environnements exigeant à la fois des connaissances générales et le rappel d'événements spécifiques. Les auteurs soulignent que leur approche apprend avec succès une politique de gestion de la mémoire via l'apprentissage par renforcement, décidant efficacement quoi oublier et quoi retenir dans différents systèmes de mémoire.

Ce travail fait le pont entre l'architecture cognitive (qui modélise la théorie de l'esprit humain) et l'apprentissage automatique moderne (qui se concentre sur la résolution de l'observabilité partielle). Les auteurs notent que, bien que leur environnement actuel soit une simulation discrète, le cadre est conçu pour être extensible à des scénarios plus complexes, multimodaux et à des requêtes en langage naturel dans des travaux futurs. Ils concluent que leur agent démontre la viabilité de l'utilisation de graphes de connaissances au sein d'agents RL pour gérer les contraintes de mémoire et améliorer la prise de décision.