Résumé technique : La mémoire est reconstruite, pas simplement récupérée : Mémoire par graphe pour les agents LLM

1. Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) peinent actuellement à raisonner sur de longs historiques d'interaction. Bien que les agents dotés de systèmes de mémoire externe utilisent des mémoires augmentées, ils reposent principalement sur un paradigme statique de « récupération puis raisonnement ». Dans ce pipeline rigide, l'accès à la mémoire est déconnecté du processus de raisonnement, ce qui empêche les agents d'adapter dynamiquement leurs stratégies de récupération en fonction des preuves intermédiaires découvertes lors de l'inférence.

Les approches actuelles se divisent en deux catégories présentant des limitations distinctes :

• Récupération basée sur la similitude (ex: RAG, Mem0) : Ces systèmes récupèrent des unités de mémoire selon des fonctions de score de similitude fixes. Ils ne parviennent pas à inférer de nouveaux indices de récupération ni à s'adapter aux découvertes intermédiaires, introduisant souvent un bruit substantiel en récupérant des événements superficiellement pertinents mais sémantiquement incorrects.
• Récupération de mémoire par graphe (ex: A-Mem, Zep) : Ces systèmes utilisent des graphes de mémoire structurés mais reposent sur des opérateurs de parcours prédéfinis (ex: expansion fixe de voisins à $N$ sauts). Bien qu'ils capturent les relations structurelles, ils ne peuvent pas inférer de nouveaux chemins de récupération ni élaguer les branches non pertinentes en fonction de l'évidence accumulée, ce qui conduit à une explosion combinatoire et au bruit.

Le défi central consiste à transformer l'accès à la mémoire d'un processus de récupération passif et ponctuel en un processus de reconstruction actif et multi-étapes qui révèle progressivement l'information à travers les étapes de raisonnement, guidé par une structure de mémoire associative.

2. Méthodologie : MRAgent

Les auteurs proposent MRAgent (Architecture de Raisonnement de Mémoire pour les Agents LLM), un cadre qui intègre le raisonnement du LLM directement dans l'accès à la mémoire. Le système opère sur un graphe de mémoire associative Indice–Tag–Contenu (Cue–Tag–Content) et emploie un mécanisme de reconstruction active.

2.1. Structure de la mémoire associative

La mémoire est organisée sous la forme d'un graphe hétérogène $\mathcal{M} = (\mathcal{C}, \mathcal{V}, \mathcal{R})$ contenant trois composants principaux :

1. Indices ($\mathcal{C}$) : Mots-clés fins tels que des entités, des attributs ou des descripteurs contextuels.
2. Contenu ($\mathcal{V}$) : Éléments de mémoire spécifiques, catégorisés en trois couches :
   • Couche épisodique : Événements concrets ancrés dans des contextes et des chronologies spécifiques.
   • Couche sémantique : Connaissances stables et abstraites (ex: préférences, faits) distillées à partir des événements.
   • Couche d'abstraction : Nœuds thématiques résumant les motifs récurrents à travers les épisodes.
3. Tags ($\mathcal{G}$) : Relations associatives qui servent de ponts sémantiques. Une triple $(c, g, v) \in \mathcal{R}$ connecte un indice $c$ à un nœud de contenu $v$ via un tag $g$.

Cette structure permet un processus de récupération en deux étapes : le LLM sélectionne d'abord les tags pertinents basés sur les indices, puis récupère le contenu conditionné par ces tags. Cela découple le raisonnement associatif de la récupération au niveau du contenu, permettant une exploration guidée et l'élagage des branches non pertinentes.

2.2. Processus de reconstruction de mémoire active

MRAgent formule l'accès à la mémoire comme un processus de décision séquentiel défini par un état de reconstruction $S(t) = (Z(t), H(t))$, où $Z(t)$ est l'ensemble actif d'éléments de mémoire et $H(t)$ est l'évidence accumulée.

Le processus itère à travers les étapes suivantes :

1. Raisonnement du LLM et sélection d'actions : Sur la base de la requête actuelle $x$, du contexte accumulé $H(t)$ et de l'ensemble actif $Z(t)$, le LLM sélectionne un ensemble d'actions de parcours $\mathcal{A}(t)$. Ces actions incluent :
   • Parcours direct (Forward Traversal) : Expansion des Indices vers les Tags ($\Pi_{c \to g}$) ou de (Indice, Tag) vers le Contenu ($\Pi_{(c,g) \to v}$).
   • Parcours inverse (Reverse Traversal) : Activation de nouveaux indices et tags à partir du contenu récupéré ($\Pi_{v \to (c,g)}$).
2. Parcours de mémoire contrôlé : Le système exécute les actions sélectionnées pour générer des nœuds candidats. Contrairement à l'expansion exhaustive du graphe, cette étape est guidée par la sélection du LLM, réduisant ainsi le bruit.
3. Routage par le LLM et mise à jour de l'état : Le LLM évalue les candidats, sélectionnant le contenu le plus pertinent et élaguant les branches non pertinentes. L'ensemble actif $Z(t+1)$ et le contexte accumulé $H(t+1)$ sont mis à jour.
4. Terminaison : Le processus continue jusqu'à ce que l'évidence accumulée soit suffisante pour répondre à la requête ou qu'une limite maximale d'étapes soit atteinte.

2.3. Peuplement de la mémoire

Le graphe de mémoire est peuplé via un pipeline de distillation automatisé. Un LLM traite les flux de dialogues entrants pour :

• Segmenter le texte en unités épisodiques.
• Extraire des indices fins et générer des tags associatifs pour chaque épisode.
• Distiller des faits sémantiques stables et des nœuds thématiques abstraits.
  Cela crée une structure multi-granulaire supportant à la fois le raisonnement au niveau de l'événement et le raisonnement conceptuel.

3. Contributions clés

1. Reconstruction de mémoire active : Un nouveau paradigme intégrant l'accès à la mémoire dans la boucle de raisonnement, permettant aux agents d'adapter dynamiquement les stratégies de recherche en fonction de l'évidence intermédiaire.
2. Graphe de mémoire Indice–Tag–Contenu : Une nouvelle architecture où les tags associatifs assurent la médiation de la récupération, permettant au LLM d'identifier des chemins prometteurs et d'élaguer les branches non pertinentes avant d'accéder au contenu détaillé.
3. Expressivité théorique : Une preuve démontrant que les politiques de récupération active sont strictement plus expressives que les politiques de récupération passive. Plus précisément, pour tout budget de récupération $T \ge 2$, la classe d'hypothèses des récupérateurs actifs contient strictement celle des récupérateurs passifs ($\mathcal{H}_{passive}^{LM}(T) \subsetneq \mathcal{H}_{active}^{LM}(T)$).
4. Validation empirique : Des expériences approfondies montrant des améliorations de performance significatives par rapport aux bases de référence fortes tout en réduisant les coûts de calcul.

4. Résultats expérimentaux

Les auteurs ont évalué MRAgent sur les benchmarks LOCOMO (mémoire conversationnelle longue) et LONGMEMEVAL (mémoire à long terme à travers les sessions).

• Performance : MRAgent a surpassé toutes les bases de référence (incluant RAG, A-Mem, MemoryOS, LangMem et Mem0).
  • Sur LOCOMO avec un moteur Gemini, MRAgent a obtenu un score global de l'LLM-Judge de 84,21, soit une amélioration relative de 23,3 % par rapport à la meilleure base de référence (Mem0 à 68,31).
  • Sur LONGMEMEVAL, MRAgent a obtenu une amélioration relative de 32 % par rapport à la base de référence la plus forte.
• Efficacité : MRAgent a considérablement réduit la consommation de tokens et le temps d'exécution. Sur LONGMEMEVAL, il a consommé 118k tokens par échantillon contre 632k pour A-Mem et 3 268k pour LangMem, tout en maintenant un temps d'exécution de 586 secondes (comparé à 3 135 secondes pour MemoryOS).
• Études d'ablation :
  • Raisonnement : Les variantes de raisonnement multi-étapes ont systématiquement surpassé les variantes basées uniquement sur la structure, confirmant la nécessité de l'accumulation itérative d'évidences.
  • Tags : L'inclusion de tags associatifs (structure CTC) a amélioré la fiabilité de la récupération par rapport à l'indexation directe (CE) ou la récupération épisodique médiée (CTE) sans raisonnement.
  • Couches de mémoire : Le retrait de la couche de mémoire sémantique a provoqué une dégradation des performances, soulignant le rôle complémentaire de la mémoire épisodique et sémantique.
• Analyse multi-tours : Le rappel des preuves s'est amélioré progressivement au fil des tours de raisonnement, les requêtes multi-sauts bénéficiant le plus de l'exploration itérative. L'agent a déterminé efficacement quand arrêter la recherche, minimisant l'exploration redondante.

5. Signification et limites

Signification :
L'article soutient que la récupération de la mémoire doit être modélisée comme un processus de reconstruction actif plutôt que comme une lecture passive. En déplaçant la modélisation des dépendances relationnelles complexes vers l'étape de récupération, MRAgent permet aux agents de résoudre des requêtes multi-sauts complexes avec moins de ressources de calcul grâce à une exploration ciblée et dépendante de l'état. Cette approche s'aligne sur les perspectives des neurosciences cognitives sur la mémoire, où les indices déclenchent la réactivation des engrammes pour reconstruire progressivement des expériences cohérentes.

Limites :
Les auteurs reconnaissent des limitations spécifiques dans leur implémentation actuelle :

• Latence : Étant donné que le raisonnement relationnel est différé à l'étape de récupération, le coût de la reconstruction augmente avec la profondeur de l'exploration. Les requêtes nécessitant de nombreux pas de parcours induisent une latence plus élevée que la récupération en un seul coup.
• Construction statique : Le graphe de mémoire actuel croît de manière monotone à mesure que les interactions s'accumulent sans mécanismes de mise à jour ou de consolidation de la mémoire au fil du temps, ce qui peut entraîner une surcharge de stockage dans les déploiements de longue durée.

Les auteurs suggèrent que les travaux futurs devraient se concentrer sur la construction adaptative, la maintenance légère de la mémoire et des politiques de parcours plus robustes pour étendre la reconstruction active à des contextes de plus longue durée.