💬 NLP

Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

Cet article introduit MemCon, un cadre qui traite les opérations de mémoire comme un processus de décision markovien apprenable afin d'adapter dynamiquement les stratégies de récupération, d'injection et de consolidation via un bandit contextuel léger, améliorant ainsi considérablement les performances et l'efficacité des agents LLM à travers divers benchmarks par rapport aux systèmes de mémoire statiques basés sur des heuristiques.

Auteurs originaux : Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent comment jouer à un nouveau jeu vidéo. Vous voulez que le robot s'améliore à chaque partie, alors vous lui donnez un carnet dans lequel il peut noter ce qui a fonctionné et ce qui n'a pas fonctionné. C'est le monde des agents de Grands Modèles de Langage (LLM) : des programmes d'IA capables de discuter, de planifier et d'utiliser des outils pour résoudre des problèmes. La clé pour les rendre véritablement intelligents n'est pas seulement le cerveau du robot ; c'est le carnet, ou la mémoire. Si le robot peut se souvenir de ses erreurs passées, il ne les répétera pas. S'il se souvient d'une astuce ingénieuse qui a fonctionné hier, il peut l'utiliser aujourd'hui.

Pendant longtemps, les scientifiques ont considéré ce carnet comme une bibliothèque statique. Ils ont établi des règles telles que : « Toujours regarder les trois dernières pages » ou « Toujours rechercher l'histoire la plus similaire ». C'est comme avoir un bibliothécaire qui suit un script strict et immuable, peu importe le livre que vous demandez. Mais la vie réelle est désordonnée. Parfois, vous avez besoin d'un coup d'œil rapide à l'index ; d'autres fois, vous devez lire tout le chapitre. Parfois, vous devez jeter de vieilles notes pour faire de la place aux nouvelles. La grande question que cet article aborde est la suivante : Peut-on apprendre au robot à gérer son propre carnet, en décidant exactement quand lire, quand écrire et quoi oublier, au lieu de suivre un script rigide ?

Le Problème : Le Robot avec un Bibliothécaire Défaillant

Rencontrez notre agent robotique. Il essaie de résoudre des énigmes, de naviguer dans des maisons virtuelles ou de répondre à des questions complexes. Il possède un système de mémoire, mais jusqu'à présent, ce système était un peu maladroit. La plupart des systèmes existants utilisent un « pipeline fixe ». Imaginez un bibliothécaire qui, peu importe votre question, vous tend toujours les cinq livres les plus importants de l'étagère.

Si vous posez une question simple comme « Quel temps fait-il ? », le bibliothécaire pourrait poser sur votre bureau cinq encyclopédies pesantes. C'est trop de bruit ! Mais si vous posez une question complexe comme « Comment réparer un moteur cassé en utilisant uniquement des outils de 1990 ? », ce même bibliothécaire pourrait ne vous tendre qu'un seul dépliant non pertinent parce qu'il a trop peur de chercher plus loin. Le robot reste bloqué, confus par trop d'informations ou par l'absence de l'indice crucial dont il a besoin.

Les auteurs de cet article soutiennent que cette approche « taille unique » est la raison principale pour laquelle les robots n'apprennent pas plus vite. Ils pensent que le meilleur comportement de mémoire change selon la situation :

Au début d'un jeu : Le robot n'a pas encore d'expérience, il ne devrait donc pas perdre de temps à fouiller dans un carnet vide.
Lorsqu'il est bloqué : Si le robot répète la même mauvaise action encore et encore, il a besoin d'un autre type de recherche, pas de la même ancienne recherche.
Lorsqu'il connaît une astuce : Si le robot a déjà résolu un puzzle similaire, il ne devrait pas chercher des indices ; il devrait simplement sortir la « fiche de triche » (un plan) qu'il a écrite auparavant.

La Solution : MEMCON, le Bibliothécaire Intelligent

Entrez dans MEMCON (Mémoire comme Processus Contrôlé). Les auteurs n'ont pas construit un nouveau type de carnet ; ils ont construit un bibliothécaire intelligent et adaptatif qui se situe au-dessus de n'importe quel système de mémoire existant.

Considérez MEMCON comme un petit décideur super rapide qui se pose trois questions avant même que le robot n'ouvre son carnet :

Quand dois-je regarder ?
Que dois-je chercher ?
Combien dois-je prendre ?

Au lieu d'utiliser une règle codée en dur, MEMCON traite la gestion de la mémoire comme un jeu de stratégie. Il utilise une approche mathématique appelée Processus de Décision de Markov (imaginez un organigramme où chaque choix mène à un nouvel état). Le « joueur » de ce jeu est le contrôleur de mémoire, et ses « coups » incluent :

La Récupération : Sortir d'anciennes notes.
L'Injection d'un Plan : Glisser une « fiche de triche » pré-écrite dans l'esprit du robot.
La Ré-interrogation : Essayer une nouvelle requête de recherche parce que la première a échoué.
La Consolidation : Fusionner des notes désordonnées en un résumé propre.
L'Oubli : Jeter les vieux objets inutiles pour faire de la place.

La magie réside dans la façon dont MEMCON apprend. Il n'a pas besoin d'être pré-entraîné sur une montagne de données. Au lieu de cela, il apprend sur le vif pendant que le robot joue. Chaque fois que le robot termine une tâche, MEMCON reçoit un score : « Succès ! » ou « Échec ». Si le robot a réussi, les choix de mémoire qui ont mené à ce succès reçoivent un « tape dans la main » (une récompense). S'il a échoué, ces choix reçoivent un « pouce vers le bas ».

En seulement quelques dizaines de tâches, MEMCON comprend la stratégie parfaite. Il apprend que pour les tâches de « phase initiale », une recherche superficielle est préférable. Il apprend que lorsqu'il est « bloqué », il doit essayer un angle de recherche complètement différent. Il apprend que pour les problèmes mathématiques complexes, il vaut mieux injecter un plan général que de chercher des exemples spécifiques.

Les Résultats : Plus Intelligent, Plus Rapide et Moins Cher

L'équipe a testé MEMCON sur six benchmarks différents, allant de la navigation dans des maisons virtuelles (ALFWorld) à la résolution de puzzles scientifiques (ScienceWorld) et à la réponse à des questions de culture générale complexes (GAIA). Ils l'ont testé avec trois cadres de travail robotiques différents et trois « cerveaux » différents (les modèles d'IA sous-jacents).

Les résultats sont impressionnants. MEMCON bat systématiquement les meilleurs systèmes de mémoire existants.

Meilleurs Scores : Dans certains tests, MEM

MEMCON a amélioré le taux de réussite du robot de jusqu'à 15,2 points. Par exemple, sur le benchmark ALFWorld, il a atteint un taux de réussite de 67,9 %, ce qui est le score le plus élevé parmi tous les systèmes de mémoire testés.

Moins de Gaspillage : Généralement, lorsque l'on rend un système plus intelligent, il consomme plus de puissance informatique. Mais MEMCON a fait l'inverse. En sachant exactement quoi récupérer, il a évité d'importer des informations inutiles. Cela a réduit la quantité de données que le robot devait traiter de 5 % à 20 %.
Aucun Coût Supplémentaire : Contra-irement à certains autres systèmes qui demandent à l'IA de « réfléchir » à ce qu'elle doit mémoriser (ce qui coûte du temps et de l'argent supplémentaires), MEMCON prend ses décisions en millisecondes en utilisant une simple table de correspondance. Il n'ajoute aucun appel supplémentaire au modèle d'IA.

Pourquoi Cela Importe

L'article suggère que l'avenir des robots intelligents ne réside pas seulement dans la construction de cerveaux plus gros ou de carnets plus volumineux. Il s'agit de construire de meilleurs gestionnaires pour ces carnets.

Les auteurs démontrent que la mémoire ne doit pas être un pipeline statique où l'on se contente de déverser des données en espérant qu'elles ressortent correctement. Au lieu de cela, la mémoire doit être un processus contrôlé. En permettant à l'agent d'apprendre comment accéder à ses propres expériences, nous pouvons créer des robots qui sont non seulement plus intelligents, mais aussi plus efficaces. Ils apprennent plus vite, font moins d'erreurs et ne se laissent pas submerger par leur propre histoire.

En bref, MEMCON apprend au robot à être le patron de sa propre mémoire, garantissant que lorsqu'il a besoin d'un indice, il trouve le bon au bon moment, sans se perdre dans un océan de notes non pertinentes. C'est un petit changement dans la gestion de la mémoire, mais il semble faire une énorme différence dans la capacité de ces agents numériques à apprendre et à progresser.

Résumé technique : La mémoire comme processus contrôlé (MEMCON)

Problématique

Les agents de modèles de langage étendu (LLM) s'appuient de plus en plus sur des systèmes de mémoire externe pour accumuler l'expérience à travers diverses tâches. Cependant, les approches existantes — qu'il s'agisse de mémoires structurées en graphes ou de magasins d'insights réflexifs — accèdent généralement à la mémoire via des heuristiques fixes et conçues à la main. Ces systèmes utilisent des pipelines statiques où un unique récupérateur global est invoqué avec des paramètres codés en dur (par exemple, le top- $k$ , la profondeur de saut dans un graphe, des modèles de requêtes) quel que soit l'état actuel de l'agent.

Les auteurs soutiennent que cette vision statique constitue un goulot d'étranglement fondamental pour l'apprentissage agentique car le comportement optimal de la mémoire est dépendant du contexte :

Phases initiales de la tâche : Bénéficient d'une récupération minimale car la mémoire est parcelleuse ; une récupération indiscriminée dilue le prompt.
Types d'objectifs récurrents : Bénéficient de la réutilisation de plans (templates distillés) plutôt que d'une recherche générique de plus proches voisins.
Agents bloqués : Bénéficient d'une nouvelle récupération avec des requêtes alternatives plutôt que de relire les résultats du top- $k$ ayant échoué.
Flux de tâches longs : Nécessitent une consolidation et un élagage pour éviter que le magasin de mémoire ne devienne écrasant.

Aucune heuristique fixe unique ne satisfait tous ces régimes. De plus, bien que certains travaux (par exemple, MemGPT) rendent la mémoire adaptative en utilisant l'LLM lui-même comme contrôleur, cela entraîne le coût d'un appel LLM supplémentaire par opération de mémoire. Le papier postule la nécessité d'un contrôleur léger et appris qui soit adaptatif sans nécessiter d'appels LLM supplémentaires.

Méthodologie : MEMCON

Les auteurs introduisent MEMCON (Memory as a Controlled Process), un cadre qui modélise les opérations de mémoire comme un problème de décision séquentielle.

1. Processus de décision de Markov (MDP) de la mémoire

MEMCON reformule l'accès à la mémoire comme un MDP, $\mathcal{M}_{mem} = (\mathcal{S}, \mathcal{A}, \mathcal{T}, \mathcal{R}, \gamma)$ :

État ( $\mathcal{S}$ ) : Une fusion de signaux de progression de la tâche (type d'objectif, phase de l'étape, indicateur de "blocage", lieux visités) et de l'état de la mémoire (taille, disponibilité des plans, phase d'apprentissage). Les états sont discrétisés en une clé hachable compacte $\phi(s)$ pour permettre l'apprentissage tabulaire.
Actions ( $\mathcal{A}$ ) : Un ensemble fini d'opérations de mémoire et de leurs paramètres :
- Opérations : RETRIEVE (récupérer), PLANINJECT (prépendre un plan de succès distillé), RE-RETRIEVE (récupérer à nouveau avec une requête alternative), CONSOLIDATE (consolider), FORGET (oublier), et NOOP (aucune opération).
- Paramètres : top-k, insight-k, et profondeur de hop (saut).
Récompense ( $\mathcal{R}$ ) : Observée à la fin d'une tâche basée sur le feedback de l'environnement (succès/échec) et l'efficacité (nombre de tokens/étapes). Les trajectoires réussies et efficaces reçoivent un crédit plus élevé.
Transitions ( $\mathcal{T}$ ) : La transition de l'environnement est opaque pour le contrôleur ; le système traite le MDP comme un bandit contextuel avec un feedback de niveau épisode (Monte-Carlo).

2. Apprentissage de politique en ligne

MEMCON apprend une politique $\pi: \mathcal{S} \to \mathcal{A}$ en ligne pendant le déploiement avec zéro pré-entraînement et zéro appel LLM supplémentaire.

Algorithme : Un bandit contextuel tabulaire léger utilisant l'exploration UCB (Upper Confidence Bound).
Priors de démarrage à chaud (Warm-Start) : Les valeurs Q sont initialisées avec des priors interprétables (par exemple, positif pour RETRIEVE et PLANINJECT, négatif pour NOOP) pour accélérer la convergence lors des premières tâches.
Attribution de crédit : Les mises à jour utilisent un retour Monte-Carlo à remise inverse. Les actions prises plus près du résultat terminal reçoivent un crédit plus fort, permettant au système d'apprendre quelles opérations de mémoire ont contribué au succès ou à l'échec.
Persistance : La table Q est persistée sur disque, permettant à l'apprentissage de se poursuivre d'une exécution à l'autre et à travers les flux de tâches.

3. Wrapper indépendant du backend

MEMCON n'est pas un nouveau magasin de mémoire mais un wrapper mince qui intercepte les points d'entrée abstraits retrieve et store de n'importe quel backend de mémoire existant.

Il décide comment appeler le backend (quelle opération et quels paramètres) en fonction de la politique apprise.
Il supporte deux opérations augmentées :
1. Injection de plan généralisée : Extrait les séquences d'actions des tâches réussies, remplace les identifiants spécifiques à l'instance par des espaces réservés (ex: shelf 3 $\to$ [shelf]), et prépend le modèle aux futures requêtes du même type.
2. Décomposition d'objectif : Une heuristique déterministe pour les tâches composites (ex: "mettre deux téléphones portables") qui injecte une stratégie pour traiter les objets séquentiellement.

Principales contributions

Formalisation : Les auteurs formalisent la gestion de la mémoire de l'agent comme un MDP de mémoire et introduisent un wrapper indépendant du backend qui sépare la politique de contrôle du backend de stockage, permettant à tout système de mémoire existant ou futur de bénéficier d'un contrôle adaptatif.
Algorithme : Ils proposent une politique de bandit contextuel en ligne avec exploration UCB, des priors de démarrage à chaud et une attribution de crédit par Monte-Carlo à remise inverse. Cette politique converge en quelques dizaines de tâches sans pré-entraînement ni appels LLM supplémentaires.
Évaluation : Une évaluation étendue sur 6 benchmarks (prise de décision interactive et QA/web/utilisation d'outils), 3 frameworks d'agents et 3 backbones LLM démontre des gains de précision et d'efficacité constants.

Résultats expérimentaux

Les auteurs ont évalué MEMCON contre 9 bases de comparaison robustes (incluant la récupération vectorielle, les bibliothèques de compétences, la summarisation de trajectoire, l'apprentissage basé sur l'insight et les mémoires structurées en graphes) ainsi qu'une base sans mémoire.

Performance : MEMCON a systématiquement obtenu les meilleurs ou presque meilleurs taux de réussite des tâches.
- Sur GPT-4.1-mini, MEMCON a atteint le score le plus élevé dans 9 des 18 cellules framework $\times$ benchmark.
- Sur Claude Sonnet-4, il est en tête dans 15 des 18 cellules.
- Sur DeepSeek-V3.2, il est en tête dans les 9 cellules interactives et 15 des 18 cellules globales.
- Les gains étaient particulièrement marqués dans les tâches de prise de décision interactive (ex: ALFWorld, PDDL, ScienceWorld), où MEMCON a amélioré les taux de réussite jusqu'à 15,2 points par rapport aux bases de comparaison.
Efficacité : Contrairement à l'intuition selon laquelle une meilleure performance nécessite plus de contexte, MEMCON a réduit la consommation de tokens de 5 à 20 % par tâche tout en améliorant la précision. La politique apprise a réussi à supprimer la récupération lorsque la mémoire était parcelleuse ou non pertinente et a remplacé la récupération de plus proches voisins par l'injection de plan lorsqu'un modèle existait.
Généralisation : Le framework s'est bien généralisé aux benchmarks de QA et web/utilisation d'outils (TriviaQA, WebWalkerQA, GAIA), montrant que le contrôle adaptatif est bénéfique au-delà des environnements purement interactifs.
Ablation : L'analyse des composants a révélé que le contrôleur UCB appris était le principal contributeur aux gains de performance (représentant la majorité de l'amélioration par rapport aux backends statiques), tandis que les opérations augmentées (injection de plan, décomposition d'objectif) apportaient des bénéfices additionnels, bien qu'optionnels, dans certains scénarios spécifiques.

Signification et affirmations

L'article affirme qu'une mémoire à long terme efficace pour les agents LLM dépend non seulement de ce qui est stocké, mais aussi de l'apprentissage de comment la mémoire doit être accédée et gérée au fil du temps.

En traitant les opérations de mémoire comme un processus de décision contrôlé plutôt que comme un pipeline statique, MEMCO démontre que :

L'adaptativité est cruciale : Une heuristique fixe unique ne peut pas optimiser l'accès à la mémoire à travers les différentes phases de la tâche, les états de la mémoire et les progrès de l'agent.
Un contrôle léger est viable : Un contrôleur appris peut être implémenté via un simple bandit tabulaire avec UCB, évitant la surcharge computationnelle consistant à utiliser l'LLM lui-même comme contrôleur (comme dans MemGPT).
Le découplage est bénéfique : Séparer la politique de contrôle de la mémoire du backend de stockage permet des améliorations modulaires où n'importe quel système de mémoire peut instantanément acquérir des capacités adaptatives sans réingénierie de sa couche de stockage.

Les auteurs concluent que remplacer les pipelines de mémoire fixes par des contrôleurs appris légers permet d'obtenir des gains de précision constants, indépendamment du framework et du backbone, tout en réduisant simultanément les coûts de calcul.