🤖 AI

HyMem: Hierarchical Context Management for Long-Horizon Agents via Information Isolation

HyMem est un cadre de gestion de contexte hiérarchique qui améliore les performances des agents LLM sur le long terme en isolant la planification de haut niveau des traces d'exécution et en utilisant des résumés structurés pour maintenir la concentration et la précision, atteignant ainsi des résultats de pointe sur les benchmarks GAIA et Browsecomp-plus.

Auteurs originaux : XinQi Wang, Jinwei Xiao, Sijia Cui, Hongming Zhang, Yanna Wang, Qingyang Zhang, Bo Xu

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : XinQi Wang, Jinwei Xiao, Sijia Cui, Hongming Zhang, Yanna Wang, Qingyang Zhang, Bo Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un assistant brillant capable de lire, de raisonner et de chercher sur Internet pour résoudre des problèmes incroyablement difficiles. Depuis des années, des scientifiques construisent ces aides numériques à l'aide de modèles de langage étendus, espérant qu'ils puissent s'attaquer à des défis complexes et multi-étapes, comme planifier une expédition scientifique ou naviguer sur un site web pour trouver un fait historique spécifique. Cependant, un problème persistant les a freinés : à mesure que ces assistants travaillent longtemps et recueillent plus d'informations, leur « mémoire » de la conversation devient un désordre inextricable. L'assistant commence à se noyer dans les détails de ses propres actions — le texte brut de chaque résultat de recherche, chaque tentative échouée et chaque pensée intermédiaire — jusqu'à ce qu'il oublie l'objectif initial qu'il essayait d'atteindre. C'est comme si un bibliothécaire, tout en essayant de trouver un seul livre, se retrouvait enseveli sous une montagne de chaque page qu'il a jamais tournée, perdant ainsi de vue le titre qu'il recherchait.

Des chercheurs de l'Institut d'automatisation de l'Académie chinoise des sciences ont proposé une nouvelle façon d'organiser cette mémoire numérique pour résoudre ce problème. Ils appellent leur système HyMem, une méthode conçue pour maintenir les tâches à long terme sur la bonne voie en séparant strictement différents types d'informations. Au lieu de laisser chaque donnée se mélanger dans une longue liste, HyMem construit une structure où la planification de haut niveau se déroule dans une pièce propre et calme, tandis que le travail bruyant et désordonné de recherche et de test se déroule dans des espaces séparés et isolés. Cette approche permet à l'assistant de se concentrer sur la vue d'ensemble sans être distrait par l'encombrement de ses propres opérations quotidiennes.

L'idée centrale de ce travail est que toute information n'est pas créée égale. Lorsqu'un agent travaille sur une tâche longue, il génère deux types de données très différents. L'un est le plan stratégique : les objectifs, les faits vérifiés et les étapes nécessaires pour terminer le travail. L'autre est la trace d'exécution : les tentatives brutes, souvent répétitives et parfois infructueuses, d'utiliser des outils, de naviguer sur des sites web ou de vérifier des détails. Dans les anciens systèmes, ces deux types d'informations étaient mélangés dans un flux unique. À mesure que la tâche progressait, le volume considérable des traces d'exécution désordonnées submergeait les signaux de planification, pourtant rares et critiques. L'assistant perdait le fil, incapable de distinguer l'objectif important du bruit de son propre historique.

Pour corriger cela, les chercheurs ont conçu un cadre qui agit comme un gardien strict de l'information. Ils ont créé une couche « Planificateur » (Planner) qui détient la stratégie principale, et une couche « Exécuteur » (Executor) distincte qui gère le travail réel d'utilisation des outils. Lorsque le Planificateur doit vérifier un fait ou lancer une recherche, il envoie une instruction spécifique à l'Exécuteur. L'Exécuteur part accomplir le travail, recueillant toutes les données brutes, mais il ne rejette pas ces données brutes dans la mémoire principale du Planificateur. Au lieu de cela, l'Exécuteur traite l'information, filtre le bruit et ne renvoie qu'un résumé propre et structuré de ce qu'il a trouvé. Ce résumé est ensuite ajouté à la mémoire du Planificateur, tandis que les détails désordonnés sont écartés.

Le système comprend également un module de « Raisonnement Isolé » (Isolated Reasoning) pour les sous-problèmes particulièrement délicats. Si une tâche nécessite une réflexion profonde ou la vérification de preuves contradictoires, le Planificateur envoie ce problème spécifique à ce module isolé. Le module travaille sur le problème de son côté, gardant ses propres pensées internes et ses étapes intermédiaires cachées du Planificateur principal. Une fois qu'il parvient à une conclusion, il renvoie uniquement la réponse et les preuves clés, laissant la mémoire du Planificateur principal exempte du long cheminement suivi pour y parvenir. Cela garantit que le décideur principal ne soit jamais encombré par la complexité des sous-tâches auxquelles il a délégué la tâche.

Pour maintenir le système en fonctionnement fluide sur de longues périodes, HyMem utilise également un système de mémoire structuré qui agit comme un classeur. Il organise les événements passés, les objectifs actuels et les leçons apprises sur l'utilisation des outils en résumés nets et compacts. Lorsque le système a besoin de se souvenir de ce qu'il a fait, il consulte ces fichiers organisés plutôt que d'essayer de se rappeler chaque détail du passé. Cela permet à l'assistant de maintenir un sens clair du progrès et de la continuité, même après de nombreuses heures de travail, sans que sa mémoire ne devienne trop volumineuse pour être gérée.

Les chercheurs ont testé cette nouvelle approche sur deux ensembles de tâches exigeantes : l'une impliquant un raisonnement général et l'utilisation d'outils, et l'autre axée sur des questions de recherche approfondie nécessitant la découverte de faits spécifiques sur Internet. Ils ont comparé leur système à plusieurs autres méthodes, y compris d'anciennes approches qui tentaient simplement de compresser l'intégralité de l'historique d'une conversation en un résumé plus court. Les résultats ont montré qu'en maintenant la planification et l'exécution séparées, le système HyMem était nettement plus performant. Sur les tâches de raisonnement général, il a résolu correctement environ 66,7 % des problèmes, tandis que sur les tâches de recherche approfondie, il en a résolu 61,3 %. Ces chiffres étaient notablement plus élevés que ceux des meilleures méthodes alternatives, qui peinaient à maintenir leur concentration à mesure que les tâches devenaient plus longues et plus complexes.

L'étude a également examiné la quantité d'informations que le système devait traiter pour parvenir à ces réponses. Les chercheurs ont découvert que le système HyMem ne résolvait pas les problèmes simplement en utilisant plus de puissance de calcul ou en lisant plus de texte. Au contraire, il les résolvait plus efficacement en dirigeant son attention uniquement sur les informations qui comptaient. La mémoire de planification principale a grandi très lentement, restant concentrée sur l'objectif, tandis que les espaces isolés géraient le travail lourd d'exploration et d'analyse. Cela suggère que la clé pour résoudre des problèmes longs et difficiles n'est pas seulement d'avoir une mémoire plus grande, mais d'avoir une manière plus intelligente de l'organiser.

Bien que les résultats soient prometteurs, les chercheurs notent que le système repose sur la capacité de l'intelligence artificielle sous-jacente à suivre des instructions strictes et à produire des résumés bien organisés. Si le modèle ne peut pas suivre ces règles, les bénéfices du système pourraient ne pas apparaître. Cependant, pour les tâches qui nécessitent une attention soutenue et la capacité de naviguer dans des informations complexes au fil du temps, cette approche hiérarchique offre une voie claire vers l'avenir. En séparant le signal du bruit, HyMem permet aux agents numériques de penser clairement, même lorsque le travail qu'ils accomplissent est incroyablement complexe.

Résumé Technique : HyMem – Gestion de Contexte Hiérarchique pour les Agents à Longue Horizon

1. Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) peinent face à des tâches complexes et à longue horizon en raison de la dilution du contexte. À mesure que les interactions s'accumulent, la fenêtre de contexte est dominée par des traces d'exécution denses et bruyantes (par exemple, des sorties d'outils brutes, des journaux de navigation, des délibérations intermédiaires) et des détails transitoires. Cet « inondation d'informations » occulte les signaux de planification de haut niveau, bien que rares mais critiques (objectifs, contraintes, faits vérifiés), provoquant une perte de suivi des objectifs stratégiques par l'agent.

Les solutions existantes, telles que la compression de contexte ou la récupération de mémoire externe, opèrent généralement sur une séquence d'interactions unique et plate. Ces méthodes échouent à séparer fondamentalement la planification stratégique du bruit d'exécution, ce qui conduit souvent à la perte de chaînes de raisonnement critiques ou à l'incapacité de distinguer les objectifs de haut niveau de l'utilisation d'outils de bas niveau. Le problème central n'est pas simplement la longueur du contexte, mais le décalage de densité d'information causé par le mélange de flux d'informations hétérogènes dans une séquence unique.

2. Méthodologie : Le Framework HyMem

Pour y remédier, les auteurs proposent HyMem, un framework sans entraînement (training-free) qui s'applique au moment de l'inférence et qui impose une isolation hiérarchique du contexte. Au lieu de traiter le contexte comme un journal passif, HyMem gère activement le flux d'informations en découplant les processus cognitifs de l'agent en couches fonctionnelles et espaces de contexte distincts.

Architecture Centrale

HyMem sépare l'opération de l'agent en quatre composants distincts, garantissant que les traces d'exécution brutes et le raisonnement intermédiaire ne polluent pas directement le contexte de planification principal :

Couche de Planification (Planner Layer) : Maintient le contexte de décision persistant de haut niveau. Elle ne contient que des retours distillés et contraints par un schéma provenant des autres modules ainsi que des résumés de mémoire structurés. Elle est responsable de la décomposition des tâches, de la planification stratégique et de la synthèse des résultats.
Couche d'Exécution (Executor Layer) : Gère les interactions avec les outils et l'exécution de bas niveau. Lors de la réception d'une directive, elle crée un contexte frais et isolé pour effectuer des appels d'outils. Les observations brutes sont distillées (en supprimant le texte de navigation, les erreurs et les extraits non pertinents) avant d'être synthétisées en un message RESULTS structuré. Seul ce résultat distillé est renvoyé au Planificateur ; le contexte brut est supprimé.
Module de Raisonnement Isolé (Isolated Reasoning Module) : Conçu pour les sous-tâches complexes nécessitant une analyse multi-étapes, une vérification d'hypothèses ou une réconciliation de preuves. Lorsqu'il est déclenché, il génère une session de raisonnement séparée avec son propre contexte. Les traces de délibération intermédiaires restent privées à cette session. Seul un message RETURN structuré contenant des conclusions, des faits de soutien et des scores de confiance est transmis au Planificateur.
Module de Gestion de la Mémoire (Memory Management Module) : Compresse les trajectoires historiques en trois structures de mémoire réécrivables pour préserver la continuité à travers les rafraîchissements de contexte :
- Mémoire d'Épisode (Episode Memory) : Enregistre les jalons accomplis, les faits vérifiés et les décisions majeures.
- Mémoire de Travail (Working Memory) : Suit les objectifs actuels, les lacunes non résolues et les prochaines étapes immédiates.
- Mémoire d'Outil (Tool Memory) : Stocke les modèles d'utilisation d'outils efficaces, les requêtes ayant échoué et les mises en garde spécifiques au domaine.

Mécanisme Opérationnel

Le framework opère via une isolation de contexte typée. Le Planificateur interagit avec l'Exécuteur et les modules de Raisonnement Isolé uniquement via des messages contraints par un schéma (ex: <TASK>, <ISOREASON>, <RESULTS>, <RETURN>).

Frontières de Contexte : Les observations brutes et les jetons de raisonnement intermédiaire sont strictement confinés à leurs contextes temporaires respectifs (Exécuteur ou Raisonnement Isolé). Ils sont supprimés une fois qu'un retour structuré est généré.
Repli de Mémoire (Memory Folding) : Un opérateur FOLD est déclenché lorsque des conditions spécifiques sont remplies (ex: utilisation élevée de jetons, échecs consécutifs, ou limites de tours). Cela réécrit les mémoires, garantissant que le contexte du Planificateur croît lentement et reste focalisé sur les informations pertinentes à la tâche plutôt que d'accumuler un historique linéaire de toutes les interactions.

3. Contributions Clés

L'article formalise le problème du raisonnement à longue horizon comme un décalage de densité d'information et introduit les contributions suivantes :

Formalisation de la Dilution du Contexte : Les auteurs définissent la dégradation des performances de l'agent comme une réduction de la densité relative de l'information pertinente à la planification ( $\rho_t$ ) causée par l'accumulation rapide de traces d'exécution ( $|X_t|$ ).
Framework HyMem : Une architecture sans entraînement, prête à l'emploi (plug-and-play), qui implémente l'isolation hiérarchique du contexte. Elle sépare explicitement le Planificateur, l'Exécuteur, le Raisonnement Isolé et la Gestion de la Mémoire en espaces distincts, empêchant la propagation du bruit d'exécution dans l'espace de prise de décision.
Validation Empirique : Des évaluations approfondies sur les benchmarks GAIA et Browsecomp-plus démontrent que HyMem surpasse significativement les bases de référence solides (ReAct, ReSum, A-MEM, THREAD) tout en maintenant une consommation de ressources comparable.

4. Résultats Expérimentaux

Le framework a été évalué en utilisant les modèles de base DeepSeek-V4 et Qwen3-32B sur deux jeux de données :

GAIA (General AI Assistants) : HyMem avec DeepSeek-V4 a atteint un Pass@1 moyen de 66,7 %, surpassant la base de référence ReAct (56,6 %) de 10,1 points de pourcentage et la base de référence ReSum de 6,1 points de pourcentage. L'amélioration a été constante à travers tous les niveaux de difficulté, avec les gains les plus importants sur les questions de Niveau 3 (difficiles).
Browsecomp-plus (Deep Research) : HyMem avec DeepSeek-V4 a atteint un Pass@1 moyen de 61,3 %, dépassant ReAct (56,6 %) de 4,7 points de pourcentage. Notamment, sur les tâches difficiles, le Pass@1 est passé de 14,0 % à 30,0 %.
Études d'Ablation : Le retrait du module de Raisonnement Isolé a provoqué une chute significative des performances (5,0 pp sur Browsecomp-plus, 18,6 pp sur GAIA), confirmant que l'isolation de l'analyse des sous-tâches complexes est cruciale. De même, le retrait de la Gestion de la Mémoire a dégradé les performances, soulignant la nécessité d'une continuité structurée.
Efficacité : L'analyse de la croissance du contexte (Figure 4) révèle que si le contexte total (incluant les modules temporaires) augmente, le contexte persistant du Planificateur croît beaucoup plus lentement que dans les architectures plates comme ReAct. Cela permet une exploration étendue sans diluer la focalisation stratégique.

5. Signification et Revendications

L'article soutient qu'un raisonnement efficace à longue horizon nécessite une isolation sélective de l'information combinée à une préservation de la continuité, plutôt qu'une simple compression de contexte.

Changement de Paradigme Architectural : HyMem déplace le paradigme de la gestion d'une trajectoire unique et mixte vers la gestion de multiples flux d'informations isolés. Cela bloque fondamentalement l'« inondation d'informations » qui submerge les signaux stratégiques.
Avantage du "Sans Entraînement" : En tant que solution sans entraînement, HyMem offre une applicabilité immédiate aux LLM existants sans nécessiter de réglage fin (fine-tuning) ou d'apprentissage d'opérations de mémoire complexes.
Scalabilité : Le framework démontre que les agents peuvent maintenir leur concentration et leur précision sur des tâches longues et complexes en gardant le contexte de décision propre, permettant une clarté de raisonnement soutenue même lorsque le nombre total d'interactions augmente.

Les auteurs notent que l'efficacité de HyMem dépend de la capacité du modèle de base à suivre des instructions de contrôle typées et à produire des retours structurés fiables. Bien qu'il montre des gains robustes avec des modèles puissants comme DeepSeek-V4, les performances sur des modèles plus petits (ex: Qwen3-32B) sur certains benchmarks (Browsecomp-plus) ont été plus nuancées, suggérant que les bénéfices de l'isolation du contexte sont maximisés lorsqu'ils sont couplés à des modèles capables d'un respect rigoureux des instructions.