💻 computer science

Nous: A Predictive World Model for Long-Term Agent Memory

LOU introduit une nouvelle architecture de mémoire d'agent qui remplace le stockage traditionnel de faits par un modèle de monde prédictif de distributions de probabilités catégorielles, où l'information est conservée sous forme de mises à jour de croyances (deltas) et où l'oubli se produit naturellement par la décomposition de l'entropie, atteignant des performances compétitives sur les benchmarks de conversation à long terme sans nécessiter de bases de données vectorielles externes ou de moteurs de graphes.

Auteurs originaux : Pranav Singh

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pranav Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de vous souvenir d'une conversation avec un ami. La plupart des programmes informatiques qui tentent de faire cela agissent comme un classeur. Ils prennent chaque fait que vous dites (« J'aime la pizza », « Je travaille chez Google ») et les fourrent dans un dossier. Si plus tard vous dites : « En fait, je déteste la pizza et je travaille chez Amazon », le classeur se contente d'ajouter une nouvelle note. Il ne sait pas comment résoudre le conflit, et se retrouve donc avec un tiroir désordonné rempli de papiers contradictoires.

Le papier présente Nous, une nouvelle façon pour les agents IA de se souvenir des choses. Au lieu d'un classeur, Nous agit comme un cerveau vivant et respirant.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'idée centrale : La prédiction, pas le stockage

Les auteurs soutiennent que la mémoire humaine ne consiste pas à stocker une transcription parfaite du passé. Il s'agit d'avoir un modèle du monde qui prédit ce qui va se passer ensuite.

L'ancienne méthode : « J'ai un enregistrement dans une base de données qui dit "Pranav travaille chez Google". »
La méthode Nous : « J'ai une image mentale de l'emploi de Pranav. En ce moment, je suis sûr à 87 % qu'il travaille chez Google, à 8 % qu'il travaille chez Amazon, et à 5 % que je ne sais pas. »

2. Comment il apprend : Le compteur de « surprise »

Chaque fois que l'IA entend quelque chose de nouveau, elle vérifie son image mentale par rapport à ce qu'elle vient d'entendre.

Faible surprise : Si l'IA pense « Pranav aime le café » et que vous dites « Pranav aime le café », l'IA se dit : « D'accord, cela correspond à mon hypothèse. » Rien ne change beaucoup.
Forte surprise : Si l'IA pense « Pranav aime le café » et que vous dites « Pranav déteste le café », l'IA subit un choc. Dans le papier, cela est appelé « surprise ».
La mise à jour : Au lieu de simplement noter le nouveau fait, l'IA modifie mathématiquement son image mentale. La partie « amateur de café » de l'image rétrécit, et la partie « détestateur de café » grandit. L'IA se souvient de combien son esprit a changé, et pas seulement du nouveau fait.

3. L'oubli : L'écho qui s'estompe

Dans une base de données, vous devez supprimer manuellement les anciens fichiers. Dans Nous, l'oubli se produit naturellement, comme un son qui s'estompe dans une grande pièce.

Si l'IA n'a pas entendu parler d'un fait spécifique depuis longtemps, sa certitude concernant ce fait dérive lentement vers « Je n'en ai aucune idée ».
Le papier appelle cela la décroissance de l'entropie. C'est comme un élastique qui perd peu à peu sa tension si on ne le tire pas. Si vous ne renforcez pas un souvenir, il devient naturellement flou et incertain.

4. Résoudre les conflits : Le « Delta »

Lorsque l'IA met à jour son esprit, elle ne se contente pas d'écraser l'ancien fichier. Elle enregistre un Delta (une lettre grecque souvent utilisée pour désigner le « changement »).

Considérez un Delta comme une entrée de journal qui dit : « Mardi, je pensais que Pranav travaillait chez Google. Puis j'ai appris qu'il avait déménagé chez Amazon, donc j'ai modifié ma croyance. »
Cela permet à l'IA de conserver un historique de la façon dont elle a appris, plutôt qu'une simple liste de faits statiques.

5. Gérer les listes (l'astuce de l'« agrégation »)

Il y a une partie délicate. Si vous demandez : « Quels endroits Pranav a-t-il visités ? », un modèle basé sur la « meilleure supposition » pourrait simplement dire « Paris », car c'est la réponse la plus probable. Mais vous voulez une liste de tous les lieux.

La solution : Nous garde un registre spécial de chaque fois qu'il a été « surpris » par un nouveau lieu. Lorsqu'on lui demande une liste, il fouille dans ce registre pour donner l'historique complet, tout en conservant sa « meilleure supposition » pour les questions simples.

Les résultats : À quel point cela fonctionne-t-il ?

Les auteurs ont testé Nous sur un benchmark appelé LoCoMo, qui implique de longues conversations avec de nombreuses questions. Ils ont comparé l'outil à d'autres systèmes (comme A-MEM et BeliefMem) en utilisant un modèle d'IA standard (GPT-4o-mini).

Le score : Nous a obtenu des scores nettement plus élevés que les autres systèmes dans trois catégories sur quatre (questions à un seul saut, à sauts multiples et à domaine ouvert).
La comparaison : Ils ont également comparé Nous à BeliefMem, un système conçu par une autre équipe avec une idée de « croyance » très similaire. Sur les chiffres rapportés par les deux équipes, Nous arrive en tête.
La mise en garde : Les auteurs sont très honnêtes. Ils admettent que comparer leurs résultats à ceux de BeliefMem n'est pas un test parfait de type « pommes avec des pommes » car les deux équipes ont utilisé des méthodes légèrement différentes pour poser les questions et noter les réponses. Ils prévoient de réaliser un test comparatif plus strict à l'avenir.

Résumé

Nous est un système de mémoire pour l'IA qui traite la connaissance comme une probabilité (une supposition qui s'améliore ou se dégrade) plutôt que comme un fait (un enregistrement figé).

Il apprend en mesurant la surprise.
Il oublie en laissant l'incertitude croître au fil du temps.
Il résout les conflits en déplaçant les probabilités au lieu de supprimer des fichiers.

Le papier affirme que cette approche rend l'IA plus performante pour se souvenir de longues conversations, gérer les contradictions et répondre à des questions complexes, le tout sans avoir besoin d'une base de données externe massive. Il est présenté comme un nouvel outil open-source que les auteurs sont encore en train de perfectionner.

Résumé Technique : Nous – Un modèle de monde prédictif pour la mémoire à long terme des agents

Énoncé du Problème

Les agents basés sur les grands modèles de langage (LLM) souffrent actuellement d'un manque de mémoire à long terme en évolution continue. Bien que les fenêtres de contexte permettent un rappel à court terme, l'historique conversationnel est perdu une fois la session terminée, à moins d'être persisté de manière externe. Les systèmes de mémoire existants (par exemple, RAG, graphes de connaissances, magasins épisodiques comme MemGPT) traitent la mémoire comme une base de données statique de faits. Les auteurs soutiennent que ce paradigme de « stockage » entraîne trois modes de défaillance structurels :

Cécité face aux conflits : Des enregistrements contradictoires (par exemple, un utilisateur changeant d'emploi) s'accumulent sans résolution fondée sur des principes.
Oubli heuristique : La suppression est basée sur le temps plutôt que sur la pertinence sémantique ou l'incertitude.
Inadéquation de la granularité de récupération : Les magasins de faits renvoient des enregistrements individuels, manquant de mécanismes pour agréger les valeurs au fil du temps (par exemple, lister toutes les activités qu'une personne a accomplies par le passé).

Le document pose que ces échecs découlent du fait de traiter la mémoire comme un stockage plutôt que comme un modèle de monde prédictif, analogue à la manière dont le cerveau maintient un modèle génératif de l'environnement mis à jour par des erreurs de prédiction.

Méthodologie : L'architecture Nous

Nous implémente la mémoire comme une collection de distributions de probabilité catégorielles, nommées dimensions, plutôt que comme des faits déterministes.

Abstractions Fondamentales

Dimensions ( $D_{e,a}$ ) : Pour chaque paire entité-attribut (par exemple, Pranav, employeur), Nous maintient une distribution catégorielle $p(v)$ sur un vocabulaire de valeurs possibles. Le mode de cette distribution représente la meilleure croyance actuelle de l'agent.
Deltas ( $\Delta$ ) : L'artefact principal stocké n'est pas le fait lui-même, mais le delta — un enregistrement du passage de la croyance a priori à la croyance a posteriori. Un delta inclut la distribution a priori, la distribution a posteriori, la surprise informationnelle, l'horodatage et les preuves de soutien.
Mises à jour pilotées par la surprise : Les observations entrantes sont évaluées selon la surprise informationnelle : $S = -\log_2 P(obs | D)$ . Une forte surprise (preuve contradictoire) déclenche une révision significative des croyances, tandis qu'une faible surprise (preuve confirmante) entraîne un changement négligeable.
A posteriori Bayésien : Les mises à jour sont calculées via une a posteriori bayésienne en forme fermée (Éq. 3). Cela permet à la masse de probabilité de se déplacer naturellement vers des preuves contradictoires sans logique explicite de détection de conflit.
Décroissance de l'entropie (Oubli) : Les dimensions qui ne sont pas mises à jour pendant une durée $\Delta t$ subissent un mélange exponentiel vers une distribution uniforme (Éq. 4). Cela simule l'oubli naturel à mesure que l'incertitude croît avec le temps, une propriété absente des règles de suppression heuristiques.
Résolution d'identité : Les entités sont fusionnées si la divergence KL symétrisée entre leurs ensembles de dimensions partagées est faible.

Gestion des Attributs Multi-valeurs

Une limitation des distributions catégorielles unimodales est l'incapacité de représenter des attributs intrinsèquement multi-valeurs (par exemple, une liste de villes visitées) sans rejeter les alternatives historiques. Nous traite cela via l'agrégation par log de delta : lors de la requête, toute valeur apparue avec une surprise supérieure à un seuil $\theta_{min}$ est incluse dans le contexte. Cela préserve le modèle de monde bayésien pour la « meilleure croyance actuelle » tout en permettant une agrégation exhaustive pour des requêtes spécifiques.

Pipelines

Ingestion : Un LLM extrait des triplets $(e, a, v)$ des sessions. Pour chacun, le système calcule la surprise, met à jour l'a posteriori et ajoute un delta au log.
Requête : Le système effectue une recherche en largeur sur le graphe d'entités (jusqu'à deux sauts) pour amorcer les entités pertinentes. Il formate les états de dimension sous forme de lignes de faits et ajoute les $k$ meilleurs enregistrements de delta (basés sur la similitude BM25) comme preuves. Ce contexte est transmis à un LLM de réponse.

Contributions Clés

Paradigme du Modèle de Monde Prédictif : Formalisation de la mémoire de l'agent comme une collection de dimensions mises à jour par une inférence bayésienne pilotée par la surprise, plutôt que comme un magasin de faits.
Implémentation Open-Source : Un système complet ne nécessitant aucune base de données vectorielle externe ou moteur de graphe.
Évaluation et Benchmarking Honnête : Évaluation des performances sur le benchmark LoCoMo, accompagnée d'une discussion explicite sur les problèmes de reproductibilité trouvés dans la littérature concernant les comparaisons de base (spécifiquement A-MEM) et une analyse comparative avec BeliefMem, un système concomitant aux prémisses similaires.

Résultats

Évalué sur le benchmark LoCoMo (10 conversations, 1 540 questions) utilisant GPT-4o-mini comme colonne vertébrale :

Performance : Nous a obtenu les scores F1 de tokens suivants :
- Simple saut (Single-hop) : 63,50
- Multi-saut (Multi-hop) : 55,32
- Temporel : 58,57
- Domaine ouvert (Open-domain) : 62,50
Comparaison avec A-MEM : Nous montre des gains substantiels par rapport aux chiffres auto-rapportés de A-MEM pour GPT-4o-mini dans trois des quatre catégories. Les auteurs notent un problème de reproductibilité où les citations indépendantes des résultats de A-MEM divergent sur l'assignation des catégories, bien que les valeurs numériques sous-jacentes soient cohérentes.
Comparaison avec BeliefMem : Face à BeliefMem (un autre système basé sur la croyance), les chiffres auto-rapportés de Nous dépassent ceux de BeliefMem dans les quatre catégories (par exemple, 63,50 contre 48,41 pour le simple saut). Cependant, les auteurs précisent explicitement que ceci n'est pas une comparaison entièrement contrôlée en raison des différences de prompts d'extraction, de mécanismes de récupération (BM25/BFS vs similitude/décroissance) et de comptes de questions non vérifiés.
Analyse d'Échec :
- Simple saut : Rappel de contexte élevé (86,07 %) mais F1 plus bas (63,50), indiquant que le goulot d'étranglement est la génération de réponse du LLM, et non la récupération.
- Domaine ouvert : Rappel de contexte le plus bas (47,50 %) et taux de ratage de récupération le plus élevé (37 %), suggérant que le modèle de dimension entité-attribut peine à cartographier proprement les questions de personnalité/habitude.
- Temporel : Souffre d'un faible rappel de contexte (61,82 %) car les données temporelles sont souvent intégrées dans le texte des preuves plutôt qu'extraites comme des valeurs de dimension explicites.

Signification et Revendications

L'article affirme que Nous démontre une alternative viable aux architectures de mémoire centrées sur les bases de données. En modélisant la mémoire de l'agent non pas comme un répertoire de « ce qui s'est passé », mais comme une distribution de probabilité continuellement affinée sur l'état du monde, il gère naturellement la contradiction (via les décalages de probabilité), l'oubli (via la décroissance de l'entropie) et l'agrégation (via les logs de delta).

Les auteurs positionnent ce travail comme un premier rapport public sur une nouvelle architecture. Ils soulignent la modestie de leurs résultats :

La comparaison avec BeliefMem est « suggestive plutôt que concluante » en attendant une comparaison contrôlée exécutée par eux-mêmes avec des pipelines appariés.
La nature unimodale des dimensions est reconnue comme une limitation pour les attributs de type ensemble, avec un passage prévu vers des distributions de Bernoulli indépendantes.
L'évaluation est actuellement limitée à LoCoMo et GPT-4o-mini ; une généralisation à d'autres modèles de base et des benchmarks plus difficiles (LongMemEval) est prévue.

La signification centrale réside dans le changement architectural : traiter la mémoire de l'agent non pas comme un dépôt de « ce qui est arrivé », mais comme une distribution de probabilité sur l'état du monde continuellement affinée, ancrée dans les principes des sciences cognitives tels que le codage prédictif et le principe de l'énergie libre.