Résumé Technique : ElasticMem

Problématique

La mémoire à long terme est cruciale pour permettre aux agents de modèles de langage étendu (LLM) de raisonner de manière cohérente à travers des interactions prolongées, de personnaliser les réponses et de réutiliser les expériences passées. Cependant, les systèmes existants augmentés par la mémoire traitent la mémoire comme une ressource fixe, créant un décalage entre l'utilité de la mémoire dépendante de la requête et l'allocation statique de la capacité de mémoire.

Les approches actuelles se divisent en deux catégories, présentant toutes deux des limitations significatives :

1. Méthodes dans l'espace textuel : Elles récupèrent des enregistrements en langage naturel et les concatènent dans la fenêtre de contexte. Bien qu'interprétables, elles engendrent un surcoût substantiel en jetons (tokens) et sont sensibles aux preuves bruitées ou redondantes, car les mémoires non pertinentes consomment des jetons de contexte indépendamment de leur utilité.
2. Méthodes dans l'espace latent : Elles compressent les mémoires en vecteurs continus ou en jetons mous (soft tokens) pour réduire les coûts textuels. Cependant, elles reposent généralement sur des mécanismes de récupération rigides (par exemple, la similitude cosinus fixe) et des interfaces à capacité fixe où chaque fragment récupéré reçoit un budget latent uniforme. Cela ne permet pas de distinguer les fragments contenant des preuves cruciales de ceux qui sont simplement similaires sur le plan lexical mais inutiles.

Le défi central est que l'utilité de la mémoire est hautement dépendante de la requête et de la tâche, alors que la récupération et l'allocation de capacité sont souvent déterminées par des choix de conception fixes plutôt que par l'apprentissage à partir des résultats des tâches.

Méthodologie : ElasticMem

Les auteurs proposent ElasticMem, un cadre qui traite la mémoire comme une ressource latente élastique et apprenable. Au lieu d'une récupération fixe et d'une allocation uniforme, ElasticMem apprend à récupérer de manière adaptative les mémoires en fonction de l'état interne du raisonneur et à leur assigner des budgets latents variables en fonction de leur utilité en aval.

Le cadre se compose de quatre étapes clés :

1. Construction de la banque de mémoire latente

Une banque de mémoire latente hors ligne est construite une seule fois et reste gelée pendant l'entraînement. Chaque fragment de mémoire $m_i$ est encodé par un encodeur de LLM de base gelé pour produire :

• Une clé de récupération ($k_i$) : l'état caché final du fragment.
• Un cache de contenu ($C_i$) : les $N_c$ derniers états cachés du fragment.
  Cela permet une récupération efficace sans ré-encodage du corpus complet au moment de l'inférence.

2. Récupération conditionnée par la requête

Contraなる aux systèmes standards qui utilisent un récupérateur séparé et fixe, ElasticMem dérive la requête de récupération à partir de l'état caché propre du raisonneur.

• Le raisonneur adapté par LoRA échantillonne un jeton de contrôle de la récupération $a$ étant donné la requête $q$.
• Le raisonneur traite $(q, a)$ pour générer un état de requête $h_q$.
• Les mémoires sont récupérées sur la base de la similitude cosinus entre $h_q$ et les clés de récupération mises en cache $k_i$. Cela permet à la récupération de s'adapter à l'interprétation interne de la requête par le modèle plutôt que de se fier uniquement à une correspondance sémantique de surface.

3. Allocation de budget latent élastique

Après avoir récupéré les $Z$ meilleurs fragments candidats, une politique de budget par Transformer légère ($\pi_\phi$) assigne un nombre variable de jetons latents ($b_j$) à chaque fragment.

• Le budget $b_j$ est échantillonné à partir d'une distribution discrète $\{0, 1, \dots, B_{max}\}$.
• Un budget de $b_j=0$ permet au modèle de supprimer les fragments récupérés qui sont similaires mais non utiles.
• La politique prend en compte des caractéristiques incluant l'état de la requête, les clés de mémoire, les scores de récupération et des plongements de rang appris, utilisant l'auto-attention pour comparer les mémoires entre elles avant d'assigner la capacité.
• Les fragments utiles reçoivent des budgets plus importants, tandis que les fragments redondants ou trompeurs sont compressés ou supprimés.

4. Injection de mémoire latente et optimisation

Les états cachés sélectionnés à partir des caches de contenu sont projetés dans des jetons de mémoire mous via un projecteur latent appris ($P_\psi$) et injectés dans la séquence d'entrée du raisonneur.

• Entraînement : L'ensemble du processus (contrôle de la récupération, allocation du budget, projection et génération) est optimisé conjointement en utilisant l'Optimisation de Politique Relative au Groupe (GRPO).
• Le signal de récompense (par exemple, l'exactitude, le succès de la tâche) supervise non seulement la réponse finale, mais aussi les décisions de récupération et les allocations de budget. Cela permet au modèle d'apprendre quelles mémoires récupérer et quelle capacité de représentation chacune mérite en fonction des résultats réels des tâches.

Contributions clés

1. Mémoire latente élastique : Un nouveau paradigme déplaçant la mémoire d'une interface textuelle ou latente fixe vers une ressource élastique et apprenable où la capacité est allouée dynamiquement selon l'utilité.
2. Récupération adaptative à l'état du raisonneur : Un mécanisme de récupération conditionné par l'état interne du raisonneur et un jeton de contrôle échantillonné, allant au-delà de la simple correspondance de similitude.
3. Politique de budget sensible à l'utilité : Une politique apprise qui assigne des budgets latents variables aux fragments récupérés, permettant au modèle de prioriser les preuves utiles et de supprimer le bruit.
4. Optimisation de bout en bout : Un cadre d'entraînement qui optimise conjointement la récupération, l'allocation et la génération via les récompenses des tâches en aval, alignant la gestion de la mémoire sur l'utilité de la tâche.

Résultats expérimentaux

ElasticMem a été évalué sur MemorySuite, couvrant le QA intensif en mémoire (PersonaMem, LoCoMo, LongMemEval) et la prise de décision agentique incarnée (ALFWorld), en utilisant les architectures Qwen2.5-3B et Qwen2.5-7B.

• Gains de performance :
  • Tâches de QA : ElasticMem a amélioré l'exactitude moyenne pondérée de 26,2 % (Qwen2.5-3B) et de 24,6 % (Qwen2.5-7B) par rapport aux bases les plus solides.
  • Tâches agentiques (ALFWorld) : ElasticMem a amélioré le taux de réussite moyen pondéré de 66,3 % (Qwen2.5-3B) et de 27,2 % (Qwen2.5-7B).
• Efficacité : ElasticMem a obtenu le coût en jetons le plus bas sur ALFWorld parmi toutes les méthodes comparées, démontant que les gains de performance n'étaient pas dus à des trajectoires d'interaction plus longues ou à une utilisation excessive de la mémoire.
• Études d'ablation :
  • Politique de budget : La politique de budget basée sur Transformer a nettement surpassé les stratégies d'allocation aléatoires, uniformes et basées sur MLP, confirmant la valeur de l'apprentissage des interactions entre mémoires.
  • Récupération : La récupération par état de requête avec un jeton de contrôle a surpassé la récupération sémantique et par état gelé, soulignant l'importance d'adapter la récupération à l'état interne du raisonneur.
  • Limites de capacité : Une limite de budget par fragment modérée ($B_{max}=20$) a produit les meilleurs résultats, suggérant que des budgets trop élevés peuvent dégrader les performances en assignant de la capacité à des fragments peu utiles.

Signification et affirmations

L'article affirme qu'ElasticMem résout un décalage fondamental dans les systèmes de mémoire actuels : la nature statique de l'allocation de mémoire face à la nature dynamique de l'utilité de la mémoire. En traitant la mémoire comme une ressource apprenable, le cadre permet aux agents de :

• Prioriser les preuves utiles et les plans transférables même lorsqu'ils ne sont pas les plus similaires lexicalement à la requête.
• Supprimer les mémoires bruitées ou redondantes qui consommeraient autrement du contexte ou de la capacité latente.
• Atteindre une performance supérieure tant dans les tâches de raisonnement que de prise de décision tout en maintenant une haute efficacité de jetons.

Les auteurs concluent que la mémoire latente élastique est une direction prometteuse pour construire des agents de LLM plus efficaces, adaptatifs et capables de gérer de longs horizons, dépassant les limitations des paradigmes de contexte fixe et de récupération rigide.