🤖 AI

AdaMEM: Test-Time Adaptive Memory for Language Agents

Le document présente AdaMEM, un cadre de mémoire adaptative au moment du test qui combine le stockage de trajectoires à long terme avec des stratégies à court terme générées dynamiquement pour permettre aux agents linguistiques de s'adapter continuellement à des environnements dynamiques sans mettre à jour les paramètres du modèle, réalisant ainsi des gains de performance significatifs sur des benchmarks tels qu'ALFWorld et WebShop.

Auteurs originaux : Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle très long et compliqué, comme naviguer dans un labyrinthe géant ou faire du shopping pour un article spécifique sur un site web massif. Vous avez un assistant intelligent (un agent IA) qui vous aide.

Le Problème : Le Guide « Un Seul Passage »
La plupart des assistants IA actuels fonctionnent comme un touriste qui reçoit une carte statique et unique au tout début de son voyage. Il lit la carte, la mémorise, puis commence à marcher.

Le Problème : Si le touriste tombe sur une impasse, ou si la carte dit « tournez à gauche » mais qu'il y a un mur à cet endroit, il est coincé. Il ne peut pas modifier la carte car la carte a été imprimée une seule fois au début. Il continue d'essayer de tourner à gauche dans le mur, s'impatientant, jusqu'à ce qu'il abandonne.
Le Terme de l'Article : C'est ce qu'on appelle la « récupération statique » (static retrieval). L'IA récupère un plan une seule fois et s'y accroche, même lorsque la situation change.

La Solution : ADAMEM (Le Voyageur Adaptatif)
Les auteurs proposent un nouveau système appelé ADAMEM. Au lieu d'une carte statique, imaginez que votre assistant dispose de deux outils spéciaux :

La Grande Bibliothèque (Mémoire à Long Terme) : C'est une archive massive de tous les voyages réussis que quelqu'un d'autre a déjà effectués. Elle est remplie d'histoories brutes : « Je suis allé ici, j'ai fait ceci, et j'ai réussi. »
Le Coach Intelligent (Mémoire à Court Terme) : C'est la partie magique. Au lieu de simplement lire toute la bibliothèque, l'assistant s'arrête à chaque étape du voyage. Il regarde où il se trouve en ce moment précis, vérifie la bibliothèque pour trouver des situations similaires, et demande au Coach Intelligent : « Basé sur ce qui a fonctionné pour les autres exactement à cet endroit, que dois-je faire ensuite ? »

Le Coach écrit une petite note fraîche (une « stratégie ») spécifiquement pour ce moment. Elle pourrait dire : « D'accord, la carte disait d'aller à gauche, mais tout le monde qui était passé par ici a trouvé l'objet sur le comptoir, pas dans le placard. Vérifions le comptoir. »

Comment cela fonctionne dans la vie réelle

Étape 1 : L'agent est à un carrefour.
Étape 2 : Il demande à la Bibliothèque : « Quelqu'un est-il déjà passé par ici ? »
Étape 3 : La Bibliothèque trouve des histoires de réussite.
Étape 4 : Le cerveau de l'agent (le LLM) lit ces histoires et rédige instantanément une nouvelle instruction personnalisée pour le mouvement suivant.
Étape 5 : L'agent suit cette nouvelle instruction.

Si le plan échoue plus tard, l'agent ne panique pas. Il répète simplement le processus : vérifier la bibliothèque, obtenir une nouvelle note du coach, et essayer un autre chemin. C'est comme avoir un GPS qui recalcule l'itinéraire à chaque fois que vous manquez un tournant, plutôt qu'un qui vous dit simplement de « continuer tout droit » jusqu'à ce que vous vous crashiez.

L'Astuce de l'« Entraînement » (STEP-MFT)
L'article introduit également une façon d'apprendre à l'agent à être un meilleur Coach.

Le Problème : Parfois, le Coach écrit des conseils vagues comme « Soyez prudent ! » ce qui n'aide pas vraiment.
La Solution : Les auteurs ont créé une technique appelée STEP-MFT. Ils ont appris à l'agent à ne tirer des leçons que des moments où le conseil a réellement changé le résultat.
L'Analogie : Imaginez un étudiant étudiant pour un examen. S'il étudie un chapitre et obtient la même réponse correcte ou incorrecte quel que soit ce qu'il a lu, ce chapitre n'était pas utile. Mais s'il lit un conseil spécifique, change sa réponse et obtient la bonne réponse, c'est là que réside la leçon précieuse. STEP-MFT filtre les choses ennuyeuses et n'entraîne l'agent que sur les conseils « décisifs ».

Les Résultats
L'article a testé cela sur trois « jeux » différents :

ALFWorld : Une maison virtuelle où l'agent doit trouver et déplacer des objets (comme mettre un pain de savon dans une poubelle).
WebShop : Une fausse boutique en ligne où l'agent doit trouver des produits spécifiques.
HotpotQA : Un jeu de culture générale où l'agent doit fouiller dans de nombreux documents pour répondre à une question difficile.

Ce qu'ils ont découvert :

Meilleur Succès : L'agent ADAMEM a résolu nettement plus de tâches que les agents à « carte statique » (jusqu'à 13 % de mieux dans certains cas).
Pas de Ré-entraînement Nécessaire : L'agent devient plus intelligent pendant le jeu sans avoir besoin d'être ré-enseigné de zéro. Il utilise simplement mieux sa mémoire.
Efficacité : En résumant de longues histoires en notes courtes et intelligentes, l'agent ne se laisse pas submerger par trop d'informations (ce qui ralentit les autres agents).

En Résumé
ADAMEM transforme un IA rigide et obstinée en un voyageur flexible et apprenant. Au lieu de suivre aveuglément un plan établi au départ, il vérifie constamment son historique, apprend des succès passés et rédige un nouveau, meilleur plan pour la toute prochaine étape. C'est la différence entre un touriste qui se perd parce qu'il a ignoré les panneaux, et un guide local qui sait exactement où aller en fonction du trafic actuel.

Résumé Technique : ADAMEM – Mémoire Adaptative au Moment de l'Inférence pour les Agents de Langage

1. Énoncé du Problème

Les agents de langage sont confrontés à un défi central : utiliser les expériences passées pour s'adapter à des tâches dynamiques et à long terme. Bien que les avancées récentes dans les mécanismes de mémoire des agents soient prometteuses, les systèmes existants limitent généralement la récupération de la mémoire à la phase d'initiation de l'épisode. Cela crée un « goulot d'étranglement de rigidité » : les agents dépendent d'un guidage statique (par exemple, une trajectoire récupérée ou une stratégie distillée) qui ne peut pas s'ajuster aux échecs intermédiaires, aux changements de sous-objectifs ou aux changements de distribution survenant plus tard dans la tâche.

Les approches traditionnelles d'adaptation au moment de l'inférence, telles que la mise à jour en ligne des paramètres du modèle, sont prohibitives pour les contextes à long terme. À l'inverse, les méthodes d'adaptation par prompt sans entraînement souffrent souvent de la limitation d'un contexte récupéré qui devient désaligné à mesure que la tâche progresse. Le document identifie deux questions de recherche primordiales :

Comment la mémoire d'un agent peut-elle surmonter la rigidité de la récupération statique pour permettre une adaptation continue pendant l'inférence ?
Comment les agents peuvent-ils être entraînés efficacement pour synthétiser des stratégies qui optimisent explicitement cette adaptation au moment de l'inférence ?

2. Méthodologie

Les auteurs proposent ADAMEM (Adaptive Memory Agent), un cadre de mémoire hybride qui découple le stockage de la mémoire de l'abstraction pour permettre une adaptation étape par étape au moment de l'inférence sans mettre à jour les paramètres du modèle.

2.1 Architecture de Mémoire Hybride

ADAMEM fonctionne via deux composants de mémoire distincts :

Mémoire de Trajectoire à Long Terme ( $M$ ) : Un référentiel hors ligne et évolutif d'expériences brutes. Il stocke des trajectoires réussies $\tau = \{(s_t, a_t, r_t)\}$ indexées par des plongements d'état (embeddings). Contrairement aux systèmes qui stockent des enseignements distillés, $M$ conserve l'historique complet des interactions pour garantir une récupération de contexte fiable.
Mémoire de Stratégie à Court Terme ( $z_t$ ) : Une stratégie dynamique, spécifique à l'état, générée à la volée pendant l'inférence. Au lieu de récupérer directement des journaux bruts, l'agent synthétise une stratégie concise en langage naturel conditionnée par l'état actuel $s_t$ et les expériences récupérées $E_{ret}$ . Cette stratégie sert de guidage concret pour l'action suivante.

2.2 Modes d'Inférence

Pour équilibrer l'efficacité des tokens et l'adaptabilité, ADAMEM introduit deux modes d'inférence :

ADAMEM-HIGH (Effort d'Adaptation Élevé) : Priorise la robustesse en régénérant une stratégie fraîche $z_t$ à chaque étape de décision critique si l'agent décide que la récupération est nécessaire. La stratégie est transitoire et jetée après usage, garantissant que l'agent ne repose jamais sur un guidage obsolète.
ADAMEM-LOW (Effort d'Adaptation Faible) : Priorise l'efficacité en maintenant une stratégie persistante $z_{curr}$ dans le contexte. L'agent prédit s'il doit « rafraîchir » la stratégie en fonction de l'état actuel. Si aucun rafraîchissement n'est nécessaire, la stratégie existante guide plusieurs étapes ; si un rafraîchissement est déclenché, une nouvelle stratégie est synthétisée et remplace la précédente.

2.3 STEP-MFT : Fine-Tuning de la Mémoire Étape par Étape

Bien qu'ADAMEM puisse fonctionner via du prompting zero-shot, les auteurs introduisent STEP-MFT pour entraîner la politique à générer des stratégies à haute utilité.

Défi : La supervision standard basée sur le résultat est bruitée, car elle attribue de manière égale le mérite à toutes les étapes d'une trajectoire réussie, même si une stratégie spécifique était redondante ou trompeuse.
Solution : STEP-MFT utilise une approche d'échantillonnage par rejet avec un mécanisme de double filtrage pour organiser les données d'entraînement :
1. Succès du Résultat : La trajectoire doit être réussie.
2. Changement d'Action : La stratégie générée doit modifier causalement l'action de l'agent par rapport à une politique de base agissant sans mémoire ( $a_t \neq a'_t$ ).
Justification Théorique : Les auteurs prouvent que pour qu'une stratégie ait un avantage strictement positif sur la base, elle doit changer l'action de l'agent. Ce filtre garantit que le modèle apprend à générer des stratégies qui pilotent activement la prise de décision plutôt que de simplement faire écho au contexte.
Entraînement : Le jeu de données filtré est utilisé pour le Fine-Tuning Supervisé (SFT) via une perte d'entropie croisée, optimisant la politique pour synthétiser des stratégies « argent » (silver) qui améliorent les taux de succès.

3. Contributions Clés

Cadre ADAMEM : Un nouveau système de mémoire hybride qui permet une adaptation continue au moment de l'inférence en synthétisant dynamiquement des stratégies contextuelles plutôt qu'en récupérant des artefacts statiques.
Technique STEP-MFT : Une méthode d'entraînement qui utilise des récompenses au niveau du processus (spécifiquement, les changements d'action) pour enseigner aux agents à générer des stratégies à haute utilité, évitant ainsi le bruit de la supervision basée uniquement sur le résultat.
Nouvelle Dimension de Mise à l'Échelle : Ce travail établie que la curation dynamique de la mémoire est une dimension de mise à l'échelle critique pour le raisonnement agentique, offrant une frontière de Pareto supérieure entre le coût d'inférence et la performance des tâches.

4. Résultats Expérimentaux

Les auteurs ont évalué ADAMEM sur trois benchmarks : ALFWorld (navigation incarnée), WebShop (achat en ligne) et HotpotQA (recherche multi-sauts).

Gains de Performance :
- ALFWorld : ADAMEM-LOW a obtenu un gain relatif de 13 % par rapport aux bases de comparaison de mémoire statique sur le split non vu (58,2 % contre 52,2 % pour Synapse).
- WebShop : ADAMEM-LOW a obtenu un gain relatif de 11 % (74,2 % contre 65,4 % pour Synapse). Notamment, les bases de comparaison statiques ont souffert d'un transfert négatif sur WebShop, performant moins bien que la base sans mémoire, alors qu'ADAMEM a inversé cette tendance.
- HotpotQA : ADAMEM a obtenu une performance de tête constante (41,1 % de taux de succès) dans une configuration de recherche itérative inter-épisodes.
Impact de STEP-MFT : L'entraînement avec STEP-MFT a produit des améliorations supplémentaires. Sur ALFWorld, la variante MFT a obtenu un gain relatif de 17 % par rapport aux bases de comparaison (65,5 % de taux de succès), surpassant nettement les variantes ADAMEM sans entraînement et MFT basées sur le résultat.
Efficacité vs Adaptabilité :
- ADAMEM évolue de manière monotone avec le budget de récupération ( $k$ ), tandis que les bases statiques comme Synapse se dégradent en raison du débordement de contexte causé par l'injection de journaux bruts.
- ADAMEM réduit la latence d'inférence de 16 % par rapport à Synapse en synthétisant des stratégies concises au lieu de traiter de longs journaux bruts.
Généralisation entre Modèles : Dans des configurations hors-politique (utilisant Gemma-27b-it avec une mémoire générée par Qwen), ADAMEM-LOW a maintenu des améliorations robustes, démontant que le cadre découple efficacement le stockage du modèle de politique.

5. Signification et Revendications

Le papier affirme qu'ADAMEM répond à la rigidité fondamentale des systèmes de mémoire d'agents actuels. En découplant le stockage à long terme de l'abstraction à court terme, ADAMEM permet aux agents de :

Évoluer de Manière Autonome après Déploiement : Les agents peuvent s'adapter à des environnements dynamiques et corriger des priors obsolètes sans mises à jour de paramètres coûteuses en ligne.
Optimiser les Compromis de Calcul : Le cadre supporte des modes d'inférence flexibles (LOW/HIGH) et des variantes d'entraînement (STEP-MFT) qui permettent aux praticiens de régler l'équilibre entre efficacité des tokens et adaptabilité.
Permettre un Raisonnement Continu : Ce travail suggère que la curation dynamique de la mémoire est une dimension de mise à l'échelle nécessaire pour les agents opérant dans des environnements ouverts et réels, passant de la récupération statique vers un raisonnement continu et sensible à l'état.

Les auteurs reconnaissent des limites, telles que l'« inertie de stratégie » dans ADAMEM-LOW (où les agents peuvent échouer à déclencher un rafraîchissement quand cela est nécessaire), et la dépendance actuelle aux trajectoires réussies uniquement pour la population de la mémoire, les notant comme des directions pour des travaux futurs.