AMA-Bench: Evaluating Long-Horizon Memory for Agentic Applications

Cet article présente AMA-Bench, une nouvelle norme d'évaluation pour la mémoire à long terme des agents autonomes basée sur des trajectoires réelles et synthétiques, et propose AMA-Agent, un système de mémoire amélioré par un graphe de causalité et une récupération assistée par des outils qui surpasse significativement les méthodes existantes.

L'essentiel

🧠 Le Problème : La Mémoire des Robots qui Oublient

Imaginez que vous engagez un assistant personnel très intelligent (un "agent") pour gérer votre vie pendant un mois entier. Il doit acheter des courses, réparer votre ordinateur, jouer à des jeux vidéo et écrire des rapports.

Le problème, c'est que la plupart de ces assistants actuels ont une mémoire de poisson rouge.

• Les anciens tests (les "benchmarks") ressemblaient à des examens de conversation : "Rappelez-vous ce que j'ai dit il y a 5 minutes ?". C'est facile, car c'est juste du texte entre humains.
• La réalité, c'est que ces agents travaillent dans un monde de machines. Ils voient des codes, des tableaux de données, des structures HTML et des logs techniques. C'est comme si l'agent devait se souvenir non pas de ce que vous avez dit, mais de chaque clic de souris, de chaque erreur de code et de chaque changement d'état d'un système complexe.

Les chercheurs ont réalisé que les méthodes actuelles pour donner une "mémoire" à ces robots fonctionnent mal dans ce contexte. Elles sont comme des bibliothécaires qui essaient de ranger des livres de cuisine dans une bibliothèque de droit : ils utilisent les mauvaises étiquettes.

---

🛠️ La Solution : AMA-Bench (Le Nouveau Terrain de Jeu)

Pour régler ce problème, les auteurs ont créé AMA-Bench. C'est un nouveau "terrain de jeu" pour tester la mémoire des agents.

Imaginez deux types de tests :

1. Le Monde Réel (La Vraie Vie) : Ils ont pris des traces réelles d'agents qui naviguent sur le web, écrivent du code ou jouent à des jeux. C'est comme tester un pilote de course sur une vraie piste de F1, pas sur un simulateur.
2. Le Monde Synthétique (Le Laboratoire) : Ils ont créé des environnements virtuels où ils peuvent allonger la durée de la tâche à l'infini (de 8 000 à 128 000 mots) pour voir à quel moment la mémoire casse. C'est comme un test de résistance pour voir combien de temps un pont peut tenir sous une charge croissante.

Ce que ce test révèle :
Les agents actuels échouent souvent non pas parce qu'ils sont "bêtes", mais parce que leur système de mémoire est mal conçu. Ils perdent le fil des causalités (pourquoi l'action A a provoqué l'état B) et se perdent dans le bruit des données.

---

🚀 La Révolution : AMA-Agent (Le Super-Système de Mémoire)

Pour corriger ces défauts, les auteurs proposent un nouveau système appelé AMA-Agent. Voici comment il fonctionne, avec des analogies simples :

1. Le "Graphique de Causalité" (Au lieu d'un simple tas de notes)

• L'ancien système : Imaginez que vous jetez toutes vos notes dans un tas. Quand vous cherchez quelque chose, vous essayez de trouver des mots-clés similaires. C'est comme chercher une aiguille dans une botte de foin en espérant que l'aiguille ressemble au foin.
• Le nouveau système (AMA-Agent) : Imaginez un arbre généalogique ou un réseau de métro. Chaque action est un nœud relié à la suivante par une flèche.
  • Si l'agent ouvre une porte, le système sait pourquoi (il avait la clé) et ce qui se passe ensuite (il peut entrer).
  • Il ne perd pas les détails techniques (comme les codes ou les états cachés) car il les garde dans une structure logique, pas juste dans du texte.

2. La "Recherche Assistée par Outils" (Au lieu de deviner)

• L'ancien système : L'agent demande au modèle de langage : "Qu'est-ce qui est important ?" et espère que le modèle devine.
• Le nouveau système : L'agent a accès à des outils de détective.
  • S'il ne trouve pas la réponse avec une recherche simple, il peut lancer un petit script informatique pour compter, chercher un mot précis dans un fichier, ou naviguer dans son graphique de mémoire.
  • C'est comme passer d'un chercheur qui fouille au hasard, à un détective qui utilise un microscope et une base de données structurée.

---

🏆 Les Résultats : Qui Gagne ?

Quand ils ont testé ce nouveau système (AMA-Agent) contre les meilleurs systèmes existants :

• Les anciens systèmes avaient des scores moyens autour de 45-46%. Ils perdaient trop d'informations importantes en essayant de résumer les choses.
• AMA-Agent a atteint 57,22%.

Cela peut sembler petit, mais dans le monde de l'IA, c'est énorme. Cela prouve que pour que les robots soient vraiment autonomes, il ne suffit pas d'avoir un cerveau plus grand (un modèle plus gros) ; il faut un système de mémoire intelligent qui comprend la logique et la cause à effet, pas juste les mots.

En Résumé

Cette paper dit : "Arrêtez de tester les robots comme s'ils étaient des humains qui discutent. Testez-les comme des ingénieurs qui gèrent des systèmes complexes. Et pour qu'ils réussissent, donnez-leur une mémoire qui ressemble à un plan de métro (causalité) plutôt qu'à un tas de papiers (texte brut)."

Résumé technique

1. Problématique et Contexte

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents autonomes capables d'effectuer des tâches complexes sur de longues durées (navigation, édition de code, recherche web). Pour réussir, ces agents nécessitent une mémoire à long horizon efficace.

Cependant, un fossé significatif existe entre les applications réelles et les standards d'évaluation actuels :

• Limites des benchmarks existants : La plupart des benchmarks actuels (comme LoCoMo, RULER) se concentrent sur des interactions centrées sur le dialogue humain-agent ou sur des tâches de récupération de contexte statique. Ils sont principalement basés sur du langage naturel libre.
• Nature des agents réels : Les agents opèrent dans des environnements générés par des machines (bases de données, interfaces web, exécutables de code). Leurs trajectoires sont constituées de représentations symboliques denses (JSON, HTML, code Python), sont causalement ancrées (chaque action modifie l'état latent de l'environnement) et contiennent une information objective dense, sans le "bruit" conversationnel (phatic chit-chat) des dialogues humains.
• Échec des systèmes actuels : Les systèmes de mémoire actuels, basés sur la compression avec perte et la récupération par similarité vectorielle, échouent souvent car ils ne préservent pas la causalité ni l'information objective nécessaire à la prise de décision des agents.

2. Méthodologie : AMA-Bench et AMA-Agent

Les auteurs proposent une double approche : un nouveau benchmark pour évaluer le problème et un nouveau système de mémoire pour le résoudre.

A. AMA-Bench (Agent Memory with Any length)

C'est la première suite de benchmarks conçue spécifiquement pour évaluer la mémoire des applications d'agents. Elle se compose de deux sous-ensembles complémentaires :

1. Sous-ensemble Réel (Real-world Subset) :

   • Source : 2 496 paires Question-Réponse (QA) annotées par des experts, issues de six domaines représentatifs : Navigation Web, Ingénierie Logicielle, Text2SQL, IA Embodied, Jeux vidéo et QA d'outils en monde ouvert.
   • Caractéristiques : Trajectoires réelles d'interaction agent-environnement, préservant les patterns de génération de machines.
   • Évaluation : Les questions couvrent quatre capacités clés :
     • Rappel (Recall) : Informations temporelles et séquentielles.
     • Inférence Causale : Préconditions d'actions et dépendances entre états.
     • Mise à jour d'État (State Updating) : Suivi des changements d'états explicites et cachés.
     • Abstraction d'État (State Abstraction) : Filtrage du redondant pour extraire l'information clé.

2. Sous-ensemble Synthétique (Synthetic Subset) :

   • Génération : Environnements programmables (BabyAI, TextWorld) permettant de générer des trajectoires avec des horizons arbitraires (de 8K à 128K tokens).
   • Avantage : Permet un contrôle total sur la complexité, la longueur et la structure causale, facilitant l'évaluation de l'évolutivité et la génération automatique de "néeds" (éléments clés à retrouver) pour des tests de type "Needle in a Haystack".

B. AMA-Agent

Pour surmonter les limites des systèmes existants, les auteurs proposent AMA-Agent, un système de mémoire innovant reposant sur deux mécanismes principaux :

1. Graphe de Causalité (Causality Graph) :

   • Au lieu de compresser la trajectoire en résumés textuels (perte d'information), AMA-Agent construit un graphe structuré à partir des paires action-observation.
   • Il extrait les états de l'environnement et des objets, identifiant les dépendances causales latentes et les associations entre états.
   • Les nœuds du graphe sont mappés dans un espace latent pour permettre une recherche par similarité, tout en préservant la structure causale explicite.

2. Récupération Augmentée par Outils (Tool-Augmented Retrieval) :

   • Ce mécanisme dépasse la simple recherche par similarité vectorielle.
   • Processus hybride :
     1. Recherche initiale des nœuds les plus similaires.
     2. Auto-évaluation : L'agent vérifie si les preuves récupérées suffisent.
     3. Recherche de secours : Si insuffisant, l'agent invoque dynamiquement :
        • Recherche de nœuds du graphe : Pour explorer les relations causales et contextuelles (traversée de voisinage).
        • Recherche par mots-clés (via outils) : Exécution de scripts pour une analyse programmatique précise (comptage, agrégation, correspondance exacte) sur les représentations générées par la machine.

3. Résultats Expérimentaux

Les expériences ont été menées sur AMA-Bench en utilisant divers modèles de base (Qwen3-8B/32B, GPT-5, Claude) et en comparant AMA-Agent avec des systèmes de mémoire de pointe (RAG, GraphRAG, HippoRAG2, MemGPT, etc.).

• Performance Globale : AMA-Agent atteint une précision moyenne de 57,22 % sur AMA-Bench, surpassant le meilleur système de mémoire de base (HippoRAG2) de 11,16 %.
• Comparaison avec les Long-Context : Bien que les modèles à long contexte (ex: GPT-5.2) obtiennent de bons résultats, ils ne maîtrisent pas encore parfaitement la mémoire basée sur les trajectoires d'agents. AMA-Agent, avec un modèle de base plus petit (Qwen3-32B), bat les modèles commerciaux les plus puissants sur plusieurs dimensions.
• Analyse des Goulots d'Étranglement :
  • L'augmentation de la taille du modèle (de 8B à 32B) n'apporte que des gains marginaux (0,038 en moyenne).
  • Le choix de l'architecture de mémoire est le facteur déterminant de la performance (variance jusqu'à 0,45).
  • Les systèmes basés sur la compression avec perte et la similarité pure échouent car ils détruisent l'information causale et objective dense des trajectoires d'agents.
• Évolutivité : Contrairement aux approches Long-Context qui dégradent leurs performances au-delà de 32K tokens, AMA-Agent maintient une précision robuste jusqu'à 128K tokens grâce à sa récupération ciblée.

4. Contributions Clés

1. AMA-Bench : Introduction du premier benchmark suite conçu pour évaluer la mémoire dans les applications d'agents, combinant des données réelles complexes et des données synthétiques contrôlables.
2. Analyse Diagnostique : Démonstration que les échecs actuels ne sont pas dus à la capacité du modèle de base, mais à des architectures de mémoire inadaptées (compression avec perte, manque de causalité).
3. AMA-Agent : Proposition d'une nouvelle architecture de mémoire combinant un Graphe de Causalité et une Récupération Augmentée par Outils, prouvant que la gestion de la mémoire centrée sur l'agent est supérieure aux approches purement textuelles ou vectorielles.

5. Signification et Impact

Ce travail marque un tournant dans l'évaluation et le développement des agents autonomes. Il démontre que les benchmarks centrés sur le dialogue humain sont insuffisants pour mesurer les capacités réelles des agents opérant dans des environnements numériques.

En introduisant une approche qui préserve la structure causale et objective des données générées par les machines, AMA-Agent ouvre la voie à des agents plus fiables et capables de raisonner sur de longues séquences d'actions complexes. Cela suggère que l'avenir de la mémoire des agents réside moins dans l'augmentation de la fenêtre de contexte brute que dans des mécanismes de gestion de mémoire structurée et causale.