🤖 AI

AdMem: Advanced Memory for Task-solving Agents

L'article présente AdMem, un cadre de mémoire unifié et automatique qui intègre la mémoire sémantique, épisodique et procédurale au sein d'une architecture multi-agents pour permettre un apprentissage évolutif et adaptatif ainsi qu'une amélioration des performances dans les tâches à long horizon pour les agents basés sur les LLM.

Auteurs originaux : Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant brillant mais distrait, incroyablement doué pour résoudre des énigmes une par une. Cependant, si vous lui demandez de résoudre une série d'énigmes longues et complexes sur plusieurs jours, il finit par s'y perdre. Il peut se souvenir de la première étape de la première énigme, mais oublier comment il a résolu la troisième étape de la deuxième, ou bien répéter la même erreur qu'il a commise la veille parce qu'il n'a pas « appris » de celle-ci.

Ce document présente AdMem, un nouveau système conçu pour donner à ces assistants IA un cerveau surpuissant et organisé, afin qu'ils puissent gérer des tâches longues et complexes sans s'embrouiller.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : L'IA au « temps d'attention court »

Les modèles d'IA actuels sont comme des personnes ayant une mémoire à très court terme. Si vous leur donnez une conversation longue ou une tâche à plusieurs étapes, ils ne peuvent garder en tête que quelques phrases récentes.

L'ancienne méthode : Les tentatives précédentes pour corriger cela consistaient à donner un carnet de notes géant à l'IA. Ils y notaient des faits (comme « le ciel est bleu ») ou des résumés de ce qui s'était passé. Mais ils oubliaient principalement comment faire les choses. Si l'IA échouait à une étape, le carnet ne lui disait pas pourquoi elle avait échoué ni comment faire mieux la prochaine fois.
La lacune : L'IA avait besoin d'un moyen de se souvenir non seulement de ce qui s'est passé, mais aussi de comment prendre des décisions, et elle devait savoir quels souvenirs étaient réellement utiles et lesquels n'étaient que du superflu.

2. La Solution : Une équipe de trois personnes

Au lieu d'une seule IA essayant de tout faire, AdMem met en place une petite équipe de trois « agents » spécialisés (travailleurs IA) qui travaillent ensemble :

L'Acteur (Le Faiseur) : C'est l'IA principale qui discute avec vous et effectue le travail réel. Elle conserve une « Mémoire à court terme » (comme un post-it) pour la tâche immédiate en cours.
Le Critique (Le Coach) : C'est la partie la plus intelligente du système. Pendant que l'Acteur travaille, le Critique observe attentivement. Quand l'Acteur fait un pas, le Critique demande : « Est-ce que cela a fonctionné ? Est-ce que cela répond à notre objectif ? » Si l'Acteur commet une erreur, le Critique écrit une note sur le pourquoi de cet échec et sur la manière de faire mieux la prochaine fois. Si l'Acteur réussit, le Critique consigne la recette de ce succès.
Le Bibliothécaire (Le Gardien de la Mémoire) : Cet agent gère une immense bibliothèque de mémoires organisées. Il ne se contente pas de tout stocker ; il les organise en trois sections spécifiques :
1. Mémoire Sémantique (L'Encyclopédie) : Faits généraux et connaissances (ex : « Comment utiliser un outil »).
2. Mémoire Épisodique (Le Journal) : Résumés d'événements passés (ex : « Mardi dernier, nous avons essayé de réserver un vol et cela a échoué »).
3. Mémoire Procédurale (Le Livre de Recettes) : C'est la partie la plus importante. Elle stocke des guides de type « mode d'emploi » basés sur les succès et les échecs passés. C'est comme un livre de cuisine qui dit : « Si vous essayez de faire X, faites Y au lieu de Z, car Z a échoué la dernière fois. »

3. Comment ils travaillent ensemble : La « Boucle de Rétroaction »

Imaginez que l'Acteur essaie de cuisiner un gâteau (la tâche).

Planification : L'Acteur consulte le « Livre de Recettes » (Mémoire Procédale) pour voir s'il a déjà cuit ce gâteau auparavant.
Action : L'Acteur mélange les ingrédients.
Révision : Le Critique observe. Si le gâteau brûle, le Critique ne dit pas simplement « Mauvais ». Il écrit une note spécifique : « La prochaine fois, baissez la température de 10 degrés. »
Stockage : Le Bibliothécaire prend cette note, vérifie si elle est utile, et l'ajoute au Livre de Recettes. Il attribue également un « score » à cette note. Si la note aide l'Acteur à réussir plus tard, son score augmente. Si la note n'est jamais utilisée ou entraîne des erreurs, le Bibliothécaire finit par la jeter pour gagner de l'espace.

4. Le « Filtre Intelligent » (Pourquoi cela ne s'encombre pas)

Un problème courant des systèmes de mémoire est qu'ils se remplissent de déchets. AdMem résout cela grâce à un Système de Récompense.

Chaque fois que l'IA essaie d'utiliser une mémoire de sa bibliothèque, le système vérifie : « Cette mémoire nous a-t-elle aidés à gagner ? »
Si une mémoire aide l'IA à réussir, elle reçoit un score élevé et reste dans la bibliothèque.
Si une mémoire est rarement utilisée ou mène à l'échec, son score chute. Si le score devient trop bas, le Bibliothécaire la supprime.
Cela garantit que l'IA ne garde que les « meilleures recettes » et oublie les mauvaises, ce qui la rend plus intelligente au fil du temps.

5. Les Résultats : S'améliorer avec la pratique

Les auteurs ont testé ce système dans divers environnements numériques (comme des jeux vidéo, la navigation web et l'utilisation d'outils).

Les conclusions : Comparé à d'autres méthodes, AdMem était bien meilleur pour terminer des tâches longues et multi-étapes.
L'« Auto-amélioration » : Lorsque l'IA était sollicitée pour effectuer les mêmes types de tâches de manière répétée (comme jouer à un jeu pour un deuxième ou troisième tour), elle s'améliorait considérablement. Elle apprenait de ses erreurs et de ses succès passés, alors que les autres méthodes continuaient de commettre les mêmes erreurs.

En résumé

AdMem est comme si l'on donnait à une IA un coach personnel et un classeur intelligent. Au lieu de simplement mémoriser des faits, elle mémorise comment penser et comment agir. Elle réévalue constamment ses propres performances, conserve les bonnes leçons, jette les mauvaises et utilise ce savoir pour devenir plus efficace dans la résolution de problèmes complexes au fur et à mesure qu'elle travaille.

Résumé Technique : AdMem – Mémoire Avancée pour les Agents de Résolution de Tâches

Énoncé du Problème

Les grands modèles de langage (LLM) ont démontré des progrès significatifs en matière de raisonnement et d'utilisation d'outils, mais restent limités dans les tâches à long horizon qui nécessitent de mémoriser, d'organiser et de réutiliser des connaissances à travers les sessions. Bien que des recherches antérieures aient abordé les défis de la mémoire via des changements architecturaux (ex: attention différentiable) ou des magasins symboliques/textuels (ex: génération augmentée par récupération, pagination de contexte), les approches existantes souffrent souvent de limitations spécifiques :

Focus sur les Données Factuelles/Épisodiques : De nombreux systèmes privilégient le stockage d'informations factuelles ou la compression de l'historique, négligeant la mémoire procédurale (guidage de la prise de décision).
Mémoire Procédurale Inefficace : Les travaux récents sur la mémoire procédurale se réduisent souvent à rejouer des trajectoires réussies sans traiter les cas d'échec ou fournir un feedback granulaire pour les étapes critiques où les modèles échouent typiquement.
Manque de Scalabilité en Ligne : La plupart des systèmes de mémoire procédurale opèrent dans des contextes d'entraînement-inférence hors ligne avec un feedback binaire et parc于 au niveau de la tâche. Ils manquent de mécanismes pour l'évaluation automatique de la mémoire, l'effacement actif, le reclassement et le rappel adaptatif dans des environnements de vie continue (lifelong) en ligne.
Écart Théorie-Pratique : Si les cadres théoriques proposent des agents idéaux dotés de mémoire à court/long terme et sémantique/épisodique/procédurale ainsi que des boucles de rétroaction, les implémentations pratiques omettent souvent des composants critiques comme les mises à jour pilotées par la récompense, la modélisation des croyances et l'attribution de crédit.

Méthodologie : Le Cadre AdMem

Les auteurs introduisent AdMem, un cadre de mémoire unifié et automatique conçu pour les agents de résolution de tâches en vie continue. Il intègre la mémoire sémantique, épisodique et procédurale au sein d'une conception bi-niveau (court terme et long terme) et utilise une architecture multi-agents comprenant un Acteur, un Critique et un Agent de Mémoire.

1. Architecture Multi-Agents

Agent Acteur (Actor Agent) : Un agent basé sur un LLM qui interagit avec l'environnement. Il maintient un état de Mémoire à Court Terme (STM) mis à jour à chaque tour et effacé à la fin d'une tâche. La STM est encodée dans la mémoire à long terme. L'Acteur utilise des outils de mémoire pour générer des plans, des pensées et des sous-objectifs.
Agent Critique (Critic Agent) : Un agent basé sur un LLM responsable de la génération de la mémoire procédurale. Il reçoit des entrées de mémoire "incomplètes" de l'Acteur (contexte, action, résultat attendu) et les observations réelles. Il compare les résultats attendus vs réels pour :
- Résumer le contexte et les actions.
- Proposer de meilleures alternatives.
- Assigner un signal de récompense ( $r_t \in \{0, 1\}$ ) et une réflexion.
- Générer une entrée de mémoire procédurale pour guider les décisions futures.
Agent de Mémoire à Long Terme (LTM Agent) : Un agent basé sur la récupération gérant le magasin persistant $M$ $M$ . Il stocke trois types de mémoire :
- Mémoire Sémantique ( $M_S$ ) : Faits et connaissances générales sur l'environnement/les tâches.
- Mémoire Épisodique ( $M_E$ ) : Résumés d'événements d'interaction passés.
- Mémoire Procédurale ( $M_P$ ) : Guidage de la prise de décision extrait des actions passées, incluant les résultats attendus et les annotations de récompense.

2. Gestion et Récupération de la Mémoire

Architecture Bi-Niveau :
- Mémoire à Court Terme (STM) : Utilise une structure de type pile (stack) inspirée de l'exécution de programmes informatiques. Elle maintient le sous-objectif actuel et le plan, compressant les tours hors du sous-objectif actuel pour gérer efficacement la longueur du contexte.
- Mémoire à Long Terme (LTM) : Gérée via une évaluation, fusion et élagage basés sur la récompense.
Récupération et Évaluation de la Mémoire Procédurale :
- Le système modélise l'efficacité d'une entrée de mémoire procédurale $m$ à l'aide d'un paramètre adaptatif $v_m \in [0, 1]$ .
- Il suppose que le succès de la tâche est un processus stochastique binaire influencé par le fait qu'une mémoire récupérée aide ou non.
- Un algorithme d'Espérance-Maximisation (EM) met à jour $v_m$ en fonction des récompenses observées.
- Les scores de récupération combinent la similitude de contexte (embeddings denses) et l'efficacité estimée ( $v_m$ ).
Élagage et Fusion :
- Les mémoires récupérées en dessous d'un seuil de fréquence $\epsilon$ sont supprimées.
- Les mémoires systématiquement récupérées ensemble (fréquence $> 1-\epsilon$ ) sont fusionnées pour améliorer l'efficacité de la récupération.

3. Pipeline d'Exécution

L'Acteur génère des actions et des attentes explicites pour les résultats. Le Critique met en cache ces scénarios. Une fois que l'Acteur reçoit l'observation réelle, le Critique évalue le résultat par rapport à l'attente, génère une récompense et met à jour le magasin de mémoire. Cela permet au système d'apprendre des succès comme des échecs, traitant ainsi le problème d'attribution de crédit dans les tâches multi-étapes.

Contributions Clés

Cadre de Mémoire Unifié : AdMem est le premier à intégrer la mémoire sémantique, épisodique et procédurale dans un système automatique et unifié avec une conception bi-niveau (court/long terme).
Mémoire Procédurale avec Feedback : Contra Contrairement aux travaux précédents qui se contentent de stocker des flux de travail réussis, AdMem utilise un agent Critique pour annoter les mémoires procédurales avec des signaux de récompense et des réflexions, permettant à l'agent d'apprendre des cas d'échec et des étapes critiques.
Gestion de Mémoire Adaptative : Le cadre introduit un mécanisme piloté par la récompense pour évaluer, fusionner et élaguer les mémoires procédurales, assurant la scalabilité et l'amélioration continue dans des contextes en ligne.
Coordination Multi-Agents : La séparation des préoccupations (Acteur pour l'exécution, Critique pour l'évaluation, Agent de Mémoire pour le stockage/récupération) permet une génération de mémoire automatique et une récupération adaptative sans conception de politique manuelle.

Résultats Expérimentaux

Les auteurs ont évalué AdMem dans l'environnement AgentBoard, simulant un cadre de tâches multiples en flux continu et en vie continue à travers divers domaines (IA incarnée, jeux textuels, recherche web, appel d'outils). Le LLM de base était Claude Haiku 4.5.

Baselines : Comparaison avec ReAct (pas de mémoire inter-tâches) et AWM (Agent Workflow Memory, une baseline de mémoire procédurale).
Performance :
- AdMem a significativement surpassé les baselines dans la plupart des domaines, particulièrement dans AlfWorld (63,4 % de complétion contre 47,0 % pour AWM) et Tool-query (94,7 % contre 55,0 %).
- Dans les domaines où le transfert de mémoire est moins bénéfique, AdMem a maintenu des performances sur le même niveau ou légèrement supérieures aux baselines, évitant la "confusion" souvent observée dans les implémentations de mémoire naïves.
Études d'Ablation :
- La planification à court terme seule a amélioré la progression mais n'a pas progressé avec la longueur de l'horizon.
- La mémoire à long terme seule a causé une dégradation précoce des performances ("burn-in") sans le support d'outils de planification à court terme.
- Le plein AdMem a montré les meilleurs résultats, avec une performance s'améliorant sur plusieurs époques à mesure que l'agent accumule et affine sa mémoire.
Efficacité : Bien que le pipeline multi-agents entraîne des appels LLM supplémentaires (jusqu'à 3x dans les tâches simples), l'exécution parallèle des agents minimise la latence, et le système privilégie la robustesse et la capacité d'apprentissage sur le coût minimal par étape.

Signification et Revendications

L'article affirme qu'AdMem comble le fossé entre les architectures cognitives théoriques et les implémentations pratiques d'agents LLM. En allant au-delà du simple stockage factuel vers un apprentissage procédural adaptatif, le cadre permet aux agents de :

S'auto-évoluer à travers l'expérience dans des environnements en ligne.
Personnaliser leur comportement en fonction des exigences de l'utilisateur et de la tâche.
Améliorer la robustesse dans les tâches à long horizon et multi-tours où les LLM standards peinent avec les limites de contexte et l'attribution de crédit.

Les auteurs soulignent qu'une mémoire complète et adaptative est cruciale pour faire progresser les agents basés sur les LLM, particulièrement dans les scénarios exigeant une interaction soutenue et une amélioration itérative. Ce travail met en évidence qu'une conception d'agent réussie nécessite non seulement de stocker l'information, mais aussi de l'évaluer et de la raffiner activement en fonction des signaux de récompense.