Résumé Technique : Mémoire comme Action (MemAct)

1. Énoncé du Problème

Les tâches agentic à long horizon, telles que la recherche approfondie et l'ingénierie logicielle, exigent que les Grands Modèles de Langage (LLM) maintiennent une mémoire de travail étendue. Bien que les LLM à contexte long aient élargi leur capacité, ils souffrent d'une dilution de l'attention et de comportements de « perte au milieu » lorsque les contextes sont saturés d'informations non pertinentes.

Les approches actuelles pour gérer ce contexte se divisent en deux catégories sous-optimales :

1. Compression Passive : Des méthodes comme la compression au niveau des jetons ou le résumé périodique opèrent sans conscience de l'état de raisonnement spécifique de l'agent, risquant la perte de dépendances sémantiques critiques.
2. Contrôleurs Externes : Des systèmes utilisant des règles heuristiques ou des modules externes pour gérer la mémoire découplent la curation du contexte de la politique de raisonnement centrale de l'agent. Cela empêche l'optimisation de bout en bout de la rétention d'informations par rapport aux performances de la tâche.

Le défi central identifié est la Curation du Contexte : la nécessité de sélectionner, intégrer et élaguer stratégiquement l'information pour maintenir une trace de raisonnement focalisée et pertinente par rapport à l'objectif. Les méthodes existantes échouent à traiter cela comme une capacité intrinsèque et apprenable de l'agent.

2. Méthodologie : Mémoire comme Action (MemAct)

L'article propose MemAct, un cadre qui reconceptualise la gestion du contexte comme un ensemble d'actions apprenables au sein d'un espace de politique unifié, plutôt que comme un mécanisme externe.

2.1 Cadre Central

MemAct intègre la curation du contexte directement dans l'espace d'actions de l'agent ($\mathcal{A} = \mathcal{A}_{task} \cup \mathcal{A}_{mem}$).

• Politique Unifiée : Une politique unique $\pi_\theta$ décide à la fois des actions de tâche (par exemple, recherche, utilisation d'outils) et des actions de mémoire.
• Opérateur Élaguer & Écrire : L'action de mémoire principale est une opération d'édition in situ. Lorsqu'elle est déclenchée, l'agent :
  1. Élague : Supprime des tours d'interaction historiques spécifiques identifiés par des identifiants uniques.
  2. Écrit : Synthétise une nouvelle note de mémoire (contenant des résumés, des faits ou de la planification) et l'ajoute au contexte.
• Représentation de l'État : La mémoire de travail est modélisée comme une séquence d'enregistrements d'interaction adressables de manière unique $H_t = [z_1, z_2, \dots, z_k]$, où chaque enregistrement inclut une action, une observation et un identifiant unique.

2.2 Défi de l'Entraînement : Mises à Jour Dynamiques du Contexte

Un obstacle majeur dans l'entraînement de MemAct est le décalage entraînement-inférence. Les LLM causaux supposent une croissance monotone du contexte. Lorsque MemAct supprime du contenu, les dépendances causales encodées dans le cache Key-Value (KV) des jetons subséquents deviennent invalides (l'information « supprimée » influence physiquement les états cachés des jetons générés avant la suppression). Un simple masquage de l'attention est insuffisant car il ne rompt pas ces dépendances causales.

2.3 Solution : Optimisation de Politique de Contexte Dynamique (DCPO)

Pour permettre un Apprentissage par Renforcement (RL) efficace avec des mises à jour dynamiques du contexte, les auteurs introduisent DCPO.

• Segmentation des Trajectoires : DCPO partitionne logiquement la trajectoire d'interaction de l'agent à chaque point d'édition de mémoire.
• Segments Indépendants : La trajectoire est réorganisée en $K+1$ segments indépendants $\{\sigma_i\}$. Au sein de chaque segment, le préfixe de contexte est fixe, restaurant la structure causale auto-régressive standard requise pour un calcul de gradient stable.
• Optimisation : La politique est optimisée en utilisant un schéma de normalisation relative de groupe (similaire à GRPO) sur ces segments reconstruits et logiquement cohérents, garantissant que les gradients sont calculés par rapport à l'histoire de contexte correcte.

3. Contributions Clés

1. Changement de Paradigme : Propose la Mémoire comme Action, déplaçant la gestion de la mémoire de travail des heuristiques externes vers une capacité de politique intrinsèque et apprenable. Cela permet aux agents d'équilibrer autonomement la curation du contexte et l'exécution de la tâche.
2. Innovation Technique :
   • Formule la mémoire de travail comme un Processus de Décision Markovien (MDP) avec des séquences adressables basées sur des ID et l'opérateur Élaguer & Écrire pour une édition fine.
   • Développe DCPO, un algorithme de segmentation de trajectoire qui concilie les mises à jour dynamiques du contexte avec un entraînement RL efficace sur une infrastructure standard sans modifications sur mesure.
3. Validation Empirique : Démontre que les stratégies de mémoire apprises sont efficaces, adaptatives et généralisables.

4. Résultats Expérimentaux

Les auteurs ont évalué MemAct sur des ensembles de données de QA multi-objectifs synthétiques (basés sur HotpotQA) et des benchmarks publics (2WikiMultihopQA, Bamboogle, Frames, BrowseComp-Plus).

• Performance vs Efficacité :

  • MemAct-RL-14B (14 milliards de paramètres) a atteint une précision de 59,1 % sur les tâches multi-objectifs, surpassant Qwen3-235B (235 milliards de paramètres, 53,1 %) et le spécialisé Tongyi-DeepResearch (56,0 %).
  • Malgré sa taille plus réduite, MemAct-RL-14B a réduit la longueur moyenne du contexte par étape de 51 % par rapport à Qwen3-235B (3 500 jetons contre ~7 000 jetons) et réduit la consommation totale de jetons de 51 %.
  • Il a égalé la précision de modèles 16 fois plus grands tout en opérant avec un coût de calcul significativement inférieur.

• Généralisation :

  • Le modèle a été entraîné sur des tâches avec au plus 3 objectifs mais s'est généralisé avec succès à des tâches avec 8 objectifs, maintenant une précision élevée là où les modèles de référence ont subi une saturation des performances.
  • Il a démontré une robustesse à travers différentes échelles de modèles (7B et 14B) et de nouveaux environnements d'outils (BrowseComp-Plus).

• Stratégies Apprises :

  • Modèles 7B : Ont appris à effectuer un élagage fréquent et agressif (suppression d'environ 7 enregistrements par action) pour compenser une capacité de contexte limitée.
  • Modèles 14B : Ont développé une stratégie bimodale : un élagage fin (2 enregistrements) pendant le raisonnement pour supprimer le bruit, et un élagage grossier (6 enregistrements) après l'achèvement des sous-objectifs pour effacer les étapes intermédiaires.

• Latence : MemAct a réduit la durée totale d'inférence de 40 % par rapport à Search-R1 (une base de référence RL sans actions de mémoire) en raison de temps de pré-remplissage réduits et de taux de réussite du cache de préfixe plus élevés.

5. Signification et Revendications

L'article revendique que la curation autonome du contexte peut être intériorisée comme une compétence apprenable, servant de bloc de construction architectural fondamental et évolutif pour le comportement agentique.

• Capacité Intrinsèque : Les résultats suggèrent que les agents n'ont pas besoin de gestionnaires de mémoire externes ; ils peuvent apprendre à « éditer » leur propre mémoire de travail pour maintenir le focus du raisonnement.
• Évolutivité : Le cadre permet aux modèles plus petits de rivaliser avec des modèles beaucoup plus grands en optimisant la densité d'information plutôt que simplement la capacité brute.
• Adaptabilité : Le système découvre autonomement des stratégies adaptées à la capacité spécifique du modèle de base, ajustant l'intensité des actions de mémoire en fonction de la complexité de la tâche.

Les auteurs reconnaissent des limitations, notant que l'approche repose sur des récompenses clairsemées, ce qui peut rendre l'attribution de crédit difficile, et que la nature perteuse de la compression signifie que les données originales ne peuvent être récupérées une fois résumées. Cependant, ils postulent que cette approche fournit une interface principielle au niveau de la décision, complémentaire aux infrastructures au niveau du système.