🤖 AI

SAM: State-Adaptive Memory for Long-Horizon Reasoning Agent

L'article propose la Mémoire Adaptative aux États (SAM), un cadre autonome qui améliore le raisonnement agentique à long horizon en consolidant les historiques d'interaction en indices de mémoire compacts et orientés vers l'intention, permettant aux agents de reconstruire dynamiquement des informations distantes sans réentraîner le modèle sous-jacent, et obtenant des performances supérieures sur divers benchmarks.

Auteurs originaux : Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Carnet « Trop Long à Lire »

Imaginez que vous êtes un détective essayant de résoudre un mystère très complexe qui prend des jours à élucider. Chaque fois que vous trouvez un indice, parlez à un témoin ou vérifiez un document, vous l'écrivez dans un carnet géant.

Au fil des jours, votre carnet devient énorme — des centaines de pages. Lorsque vous devez prendre une décision aujourd'hui, vous devez feuilleter toutes ces pages pour retrouver le tout petit indice que vous avez trouvé il y a trois jours.

Le problème actuel : La plupart des agents IA (programmes informatiques qui agissent comme des humains) tentent de résoudre cela soit en :

Jetant les vieilles pages : Ils suppriment le début du carnet pour faire de la place pour les nouveaux. Mais parfois, la réponse se trouvait dans la partie qu'ils ont jetée !
Écrivant un résumé : Ils tentent de condenser toute l'histoire en un court paragraphe. Mais les résumés manquent souvent des détails minuscules et spécifiques nécessaires pour résoudre l'énigme plus tard.

La Solution : SAM (Mémoire Adaptative à l'État)

Les auteurs proposent un nouveau système appelé SAM. Imaginez SAM non pas comme un carnet, mais comme un classeur intelligent doté d'un système magique de fiches d'index.

Voici comment cela fonctionne, décomposé en trois étapes simples :

1. Le « Classement » (Consolidation)

Au lieu de garder les pages brutes et désordonnées de votre conversation dans votre espace de travail immédiat, SAM prend un bloc de votre histoire récente (disons les 50 dernières pages) et le classe dans une armoire de stockage.

Les Pages Brutes : Les détails réels sont conservés en toute sécurité dans l'armoire, intacts.
La Fiche d'Index : SAM écrit une toute petite « fiche d'index » de haute qualité (appelée indice de mémoire) qui résume ce qui s'est passé dans ces 50 pages. Elle met en évidence les éléments importants : « Nous avons trouvé un suspect », « Nous avons écarté le majordome » ou « Nous sommes bloqués sur cet indice ».
Le Résultat : Votre espace de travail immédiat reste propre et léger, mais vous disposez toujours d'une liste de fiches d'index vous indiquant ce qui se trouve dans l'armoire.

2. La « Recherche » (Rappel Piloté par l'Intention)

C'est la partie magique. Dans les anciens systèmes, si vous aviez besoin d'informations, vous pouviez simplement saisir les pages les plus récentes ou lire tout le résumé.
Avec SAM, l'agent se demande : « De quoi ai-je besoin maintenant pour résoudre ce problème spécifique ? »

Si l'agent est bloqué sur un indice concernant une « voiture rouge », il consulte ses fiches d'index.
Il sélectionne la fiche spécifique mentionnant la voiture rouge.
Il demande à l'armoire de classement : « Apporte-moi les pages exactes liées à cette voiture rouge. »
Le système récupère uniquement ces pages spécifiques, les relit et fournit à l'agent un résumé frais et concentré uniquement sur cette information.

L'Analogie : Imaginez que vous cuisinez un repas complexe. Au lieu de lire l'ensemble du livre de cuisine de 500 pages chaque fois que vous devez savoir comment émincer un oignon, vous disposez d'un jeu de fiches d'index. Lorsque vous devez émincer un oignon, vous sortez la fiche « Oignon », qui vous indique exactement quelles pages tourner dans le gros livre pour obtenir la recette. Vous ne lisez pas tout le livre ; vous ne lisez que ce dont vous avez besoin.

3. La « Formation » (Apprendre à être un Meilleur Bibliothécaire)

Le papier explique également comment ils ont enseigné à ce système d'être intelligent. Ils n'ont pas simplement dit à l'IA de « résumer ». Ils l'ont entraînée de deux manières :

Le Professeur Expert : Ils ont utilisé des modèles d'IA ultra-intelligents pour montrer au système comment écrire les meilleures fiches d'index possibles et comment trouver les bonnes pages.
Le Jeu « Essayer et Apprendre » : Ils ont laissé le système jouer au jeu du détective des milliers de fois. Si le système choisissait la mauvaise fiche ou manquait un indice, il obtenait une « mauvaise note ». S'il choisissait la bonne fiche et résolvait le mystère, il obtenait une « bonne note ». Avec le temps, il a appris exactement comment gérer sa mémoire pour gagner le jeu.

Pourquoi Cela Compte (Les Résultats)

Les auteurs ont testé SAM sur quatre tâches difficiles de « long terme » (comme rechercher des faits complexes sur le web ou résoudre des énigmes scientifiques).

Le Résultat : SAM a systématiquement surpassé les autres méthodes.
La Raison : Il ne se contentait pas de jeter les vieilles informations, ni de les résumer simplement. Il conservait les données brutes en sécurité et créait un moyen intelligent de récupérer exactement ce qui était nécessaire en fonction de la situation actuelle.
L'Analogie : C'est comme la différence entre un étudiant qui mémorise un manuel (et oublie les détails) et un étudiant qui possède un système de bibliothèque parfait où il peut instantanément trouver le paragraphe exact dont il a besoin pour répondre à une question spécifique.

Résumé

SAM est une nouvelle façon pour l'IA de gérer de longues conversations. Au lieu d'essayer de se souvenir de tout à la fois ou d'oublier le passé, elle organise l'histoire dans un système de classement. Elle conserve les détails bruts en sécurité et utilise des fiches d'index intelligentes pour ne faire apparaître que les informations spécifiques nécessaires à la décision en cours. Cela permet à l'IA de résoudre des problèmes beaucoup plus difficiles et plus longs sans se perdre ni perdre la trace des indices.

Résumé Technique : Mémoire Adaptative à l'État (SAM) pour les Agents de Raisonnement à Long Terme

Énoncé du Problème

Le raisonnement agentique à long terme exige que les Grands Modèles de Langage (LLM) opèrent sur des historiques d'interaction étendus contenant des pensées entrelacées, des appels d'outils, des observations et des conclusions partielles. Le défi principal ne réside pas uniquement dans l'augmentation de la longueur de ces historiques, mais dans le fait que les informations critiques pour une décision actuelle peuvent être dispersées sur des étapes éloignées et ne devenir pertinentes que plus tard dans la trajectoire.

Les stratégies existantes de gestion du contexte — telles que la troncation de l'historique, sa compression en résumés, ou la récupération de parties sélectionnées — échouent souvent dans ces scénarios. Ces méthodes reposent généralement sur la récence ou des fenêtres de taille fixe, ce qui est insuffisant lorsque l'information utile est distribuée sur des étapes non adjacentes et que son importance ne devient apparente qu'au fur et à mesure que la tâche se déroule. L'article soutient que la difficulté fondamentale réside dans l'organisation des trajectoires passées afin que les bonnes informations restent accessibles à l'état de décision actuel de l'agent, plutôt que de simplement maintenir tout le passé en vue ou de le rejeter sur la base d'un budget statique.

Méthodologie : Mémoire Adaptative à l'État (SAM)

Les auteurs proposent la Mémoire Adaptative à l'État (SAM), un cadre autonome conçu pour traiter le raisonnement à long terme comme un problème de mémoire adaptative à l'état. SAM découple le socle de raisonnement de l'agent de sa gestion de la mémoire, permettant d'optimiser le module de mémoire indépendamment sans réentraîner l'agent sous-jacent.

Architecture Principale

SAM maintient deux vues couplées de l'historique d'interaction :

Indices de Mémoire Compacts : Des résumés légers qui restent visibles dans le contexte actif de l'agent. Ils agissent comme des poignées persistantes ou des points d'entrée vers les progrès passés.
Pages de Trajectoire Brutes : Des enregistrements détaillés d'interaction stockés externement, préservant la fidélité complète de la trajectoire originale.

Le cadre fonctionne grâce à un processus de Consolidation Épisodique par Pages et de Rappel Épisodique Piloté par l'Intention :

Consolidation (Chemin d'Écriture) : Lorsque le contexte en direct de l'agent atteint un budget de tokens prédéfini, la trajectoire récente est partitionnée en « pages » contiguës. Un modèle de mémoire génère un indice compact ( $m_k$ ) pour chaque page, capturant les contributions pertinentes pour la poursuite (par exemple, ce qui a été établi, ce qui a été écarté, ce qui reste non résolu). La page brute est ensuite retirée du contexte actif et stockée externement, tandis que l'indice est conservé dans une banque de mémoire.
Rappel (Chemin de Lecture) : Lorsque l'agent doit revisiter le passé, il émet une demande de rappel avec une intention spécifique ( $q_t$ ). L'agent sélectionne un sous-ensemble d'indices pertinents basé sur son état actuel. Le modèle de mémoire reconstruit ensuite l'information pertinente pour la décision à partir des pages brutes correspondantes, conditionnée par l'intention de rappel. Cela permet à l'agent d'accéder à l'information temporellement éloignée à la demande sans rejouer l'intégralité de l'historique mot pour mot.

Stratégie d'Optimisation

SAM est optimisé en tant que capacité indépendante grâce à un processus en deux étapes, maintenant le socle de l'agent figé :

Affinement Supervisé Guidé par l'Expert (SFT) : Le modèle de mémoire (initialisé comme Qwen3.5-9B) est entraîné sur des traces provenant de LLMs leaders (par exemple, Claude-4.5-Opus, GPT-5.4) ayant résolu avec succès des tâches. Cela fournit des cibles appariées pour la consolidation (génération d'indices) et le rappel piloté par l'intention (reconstruction d'informations).
OAT-GRPO (Tree GRPO Ancré par l'Oracle) : Pour aligner le modèle de mémoire sur l'utilité au niveau de la trajectoire, les auteurs introduisent un objectif d'apprentissage par renforcement spécialisé.
- Récompense de Résultat à Structure Arborescente : Contrairement au GRPO standard qui attribue une seule récompense à un déploiement complet, OAT-GRPO structure les déploiements en un arbre d'appels de mémoire. Il se ramifie à chaque action de mémoire, permettant d'attribuer le crédit de manière localisée à des sorties de mémoire spécifiques basées sur le résultat final de la tâche.
- Récompense de Récupérabilité Ancrée par l'Oracle : Pour pallier la sparsité des signaux de résultat, une récompense « oracle » est calculée en utilisant un comité de modèles de pointe. Cette récompense évalue dans quelle mesure un résumé rappelé couvre l'espace cible des informations utiles (pertinence, couverture, cohérence) par rapport aux références d'experts, densifiant ainsi le signal d'apprentissage.

Contributions Clés

L'article expose trois contributions principales :

Formulation : Il reformule la gestion de contexte à long terme comme un problème de mémoire adaptative à l'état, priorisant l'accès piloté par la demande à l'information temporellement éloignée plutôt qu'une simple compression basée sur la récence.
Architecture : Il introduit une architecture de mémoire indice-page qui découple la consolidation légère au moment de l'écriture de la reconstruction pilotée par l'intention au moment de la lecture sur des pages de trajectoire brutes préservées.
Recette d'Optimisation : Il développe un pipeline d'entraînement pour des modèles de mémoire autonomes combinant une supervision guidée par l'expert avec OAT-GRPO, un objectif d'IA au niveau des actions de mémoire qui attribue le crédit via des arbres d'appels de mémoire et des récompenses de récupérabilité ancrées par l'oracle.

Résultats Expérimentaux

SAM a été évalué sur quatre benchmarks d'agents à long terme : BrowseComp, BrowseComp-ZH, WideSearch et HLE. Les expériences ont utilisé divers socles d'agents, incluant des modèles propriétaires (GLM-4.7) et open-source (Qwen3.5-35B-A3B).

Performance : SAM a systématiquement surpassé des bases solides, incluant des stratégies de gestion de contexte heuristiques (rejet d'outils, maintien des $k$ étapes récentes, résumés glissants) et des systèmes d'agents open-source existants (WebThinker, WebSailor, ReSum, etc.).
Généralisation : Un seul modèle de mémoire Qwen3.5-9B, entraîné une fois, a obtenu les meilleurs scores sur toutes les combinaisons socle-benchmark, démontrant que le mécanisme de mémoire est robuste et généralisable plutôt que dépendant de couplages spécifiques socle-benchmark.
Études d'Ablation :
- Les étapes SFT et OAT-GRPO se sont révélées complémentaires ; le retrait de l'une ou l'autre a entraîné une baisse de performance.
- Les gains ont été attribués principalement au rappel piloté par l'intention plutôt qu'à la consolidation seule. Les variantes utilisant uniquement des résumés ou une récupération basée sur la récence ont performé significativement moins bien.
- SAM a maintenu son avantage même lorsque le nombre de tours d'interaction augmentait (par exemple, au-delà de 80 tours), là où les méthodes basées sur des résumés commençaient à perdre l'état utile.

Signification et Revendications

L'article revendique que la modélisation explicite de la mémoire fournit une base simple et efficace pour le raisonnement agentique à long terme. En traitant la mémoire comme une capacité externe et réutilisable qui consolide l'interaction en entrées navigables tout en préservant les données brutes pour la reconstruction, SAM permet aux agents de récupérer des informations à partir de n'importe quelle étape de leur trajectoire sans réentraîner le socle sous-jacent.

Les auteurs positionnent SAM non pas comme un remplacement de la politique de raisonnement de l'agent, mais comme un composant modulaire qui transforme l'historique à long terme d'un fardeau passif en un espace de mémoire navigable. Les résultats suggèrent que la capacité d'accéder aux bonnes informations passées pour l'état de décision actuel est un facteur critique, mais souvent négligé, dans la mise à l'échelle du raisonnement agentique. Ce travail est présenté comme une étape vers des systèmes de mémoire modulaires pour des agents de plus en plus capables, le code étant mis à disposition pour de futures recherches.