Résumé technique : EMemBench

Définition du problème

Les pratiques d'évaluation actuelles de la mémoire à long terme pour les grands modèles de langage (LLM) et les modèles de vision-langage (VLM) sont largement statiques. Les benchmarks existants évaluent généralement les modèles en leur fournissant des historiques de conversation ou des journaux prédéfinis et fixes, puis en leur posant des questions à leur sujet. Cette approche ne parvient pas à traiter la mémoire comme une compétence interactive et individualisée. En psychologie cognitive, la mémoire épisodique est définie comme l'enregistrement d'expériences personnelles, ce qui est intrinsèquement individualisé. Les benchmarks statiques font abstraction du processus de formation de la mémoire, échouant ainsi à évaluer comment un agent forme des enregistrements structurés de ses propres décisions et observations dans un environnement dynamique. De plus, de nombreux benchmarks existants sont centrés sur le texte, manquent de capacités de raisonnement spatial et reposent fortement sur l'annotation manuelle, ce qui limite leur extensibilité.

Méthodologie

Les auteurs introduisent EMemBench, un générateur de benchmark programmatique conçu pour évaluer la mémoire à long terme à travers des jeux interactifs. Contrairement aux jeux de données fixes, EMemBench génère dynamiquement des questions à partir de la propre trajectoire d'interaction de chaque agent.

Cadre central

1. Environnements interactifs : Le benchmark opère sur deux environnements :
   • Jericho : Une suite de jeux de fiction interactive écrits par des humains (uniquement textuels).
   • Crafter : Un jeu de survie en monde ouvert avec des observations visuelles (images RGB de 64x64 + HUD).
2. Pipeline d'évaluation en trois phases :
   • Phase 1 (Interaction) : Un agent joue un épisode, produisant une trajectoire $\tau = \{(o_t, a_t, r_t)\}$ d'observations, d'actions et de récompenses. Le système enregistre à la fois les signaux observables par l'agent et les états sous-jacents du jeu (ex: cartes globales, coordonnées).
   • Phase 2 (Génération) : Un générateur programmatique $G$ convertit la trace de l'épisode et l'état du jeu en un ensemble équilibré de Questions ($Q$) avec des vérités de terrain déterministes ($Y$). Le générateur utilise une bibliothèque de modèles couvrant sept catégories de raisonnement :
     • Rappel simple (single-hop) et multi-étapes (multi-hop)
     • Induction (découverte de motifs)
     • Raisonnement temporel
     • Raisonnement spatial
     • Raisonnement logique
     • Questions adverses (contrefactuelles)
   • Phase 3 (Évaluation) : Le même agent qui a joué l'épisode répond aux questions générées en utilisant uniquement la mémoire formée pendant l'interaction (plus le contexte actuel), sans accès au journal brut complet, sauf si spécifié dans le cadre "livre ouvert" (open-book).

Contrôles de conception clés

Pour garantir l'équité et la vérifiabilité, les auteurs implémentent plusieurs contrôles :

• Individualisation : Les questions sont dérivées de la trajectoire spécifique de l'agent, garantissant que l'évaluation est conditionnée par l'expérience.
• Vérité de terrain vérifiable : Les réponses sont calculées de manière programmatique à partir des signaux sous-jacents du jeu (ex: coordonnées exactes, états d'inventaire), éliminant le besoin de post-édition humaine.
• Contrôle de l'horizon de requête : Pour éviter les biais liés à la longueur (où des trajectoires plus longues rendent intrinsèquement le rappel plus difficile), le benchmark peut restreindre la sélection des preuves et le calcul des réponses à une fenêtre fixe de pas d'interaction (ex: pas 1 à 50).
• Couverture équilibrée : Le processus de génération impose une distribution équilibrée des types de questions à travers les capacités de raisonnement.

Contributions clés

1. Un générateur de benchmark programmatique : Passer d'un jeu de données statique à un pipeline reproductible qui génère des paires QA individualisées et vérifiables à partir des trajectoires d'agents.
2. Portée multi-modale et multi-domaine : Couvrir à la fois les contextes textuels (Jericho) et visuels (Crafter), incluant explicitement le raisonnement spatial et l'induction, souvent absents des travaux précédents.
3. Contrôles d'évaluation rigoureux : Introduction de mécanismes tels que le contrôle de l'horizon de requête et la génération de négatifs adverses pour isoler des capacités de mémoire spécifiques et éviter le surapprentissage lié aux longueurs de trajectoire ou aux a priori.
4. Référence humaine : Réalisation d'une étude humaine pour établir les bornes supérieures et inférieures de performance, confirmant que de nombreuses questions nécessitent une mémoire ancrée dans la trajectoire plutôt que des a priori généraux.

Résultats expérimentaux

Les auteurs ont évalué des modèles de fondation puissants (GPT-5.1, Qwen2.5/3, InternVL) et des agents de mémoire (Mem0, LangMem, A-MEM) sur 15 jeux textuels et plusieurs graines visuelles.

• Performance globale : Les résultats sont loin d'être saturés. Même les configurations les plus fortes n'atteignent qu'environ 51,9 % de précision sur les jeux textuels et 43,8 % sur les jeux visuels.
• Goulots d'étranglement persistants : L'induction et le raisonnement spatial restent les capacités les plus difficiles, particulièrement dans les contextes visuels où les agents peinent à lier des observations transitoires à des épisodes indexés par étapes et à les agréger en une carte cohérente.
• Agents de mémoire vs In-Context :
  • Jeux textuels : Les modules de mémoire persistante (notamment A-MEM) apportent des gains clairs par rapport au prompting in-context pour les architectures ouvertes (ex: Qwen3-32B est passé de 44,9 % à 51,9 % de précision globale).
  • Jeux visuels : Les améliorations sont moins constantes. Bien que certaines capacités de raisonnement s'améliorent, les gains sont plus faibles ou négatifs par rapport au texte, suggérant que la mémoire épisodique ancrée visuellement reste un défi ouvert.
• Comparaison humaine : La performance humaine dans les contextes "livre fermé" (mémoire seule) est nettement inférieure aux contextes "livre ouvert" (accès au contexte), particulièrement pour les questions multi-étapes, d'induction et spatiales. Cet écart valide la difficulté du benchmark et indique que les agents actuels peinent à égaler le rappel épisodique humain sans aides externes.
• Stabilité : Les résultats sont stables à travers différentes graines aléatoires (écart type < 0,05), indiquant que les classements ne sont pas dictés par des graines d'environnement spécifiques.

Signification et affirmations

L'article affirme qu'EMemBench fournit un banc d'essai fiable pour développer des agents augmentés par la mémoire robustes, en allant au-delà du simple QA à long contexte. Sa signification réside dans :

1. Le diagnostic de déficits spécifiques : Il révèle que si les modèles s'améliorent dans le rappel simple, ils échouent aux raisonnements complexes ancrés dans l'environnement (induction, spatial) requis pour une véritable mémoire épisodique.
2. La mise en évidence du fossé visuel : Il démontre que les agents VLM actuels accusent un retard significatif par rapport aux agents textuels pour maintenir et récupérer des preuves fines et spatialement ancrées.
3. Le changement méthodologique : Il préconise un paradigme d'évaluation où la mémoire est testée comme un processus interactif et individualisé plutôt que comme une tâche de récupération passive sur un document fixe.

Les auteurs notent modestement que, bien que le benchmark réduise la fuite de données (leakage) grâce à la génération dynamique, la contamination par mémorisation de motifs n'est pas totalement éliminée. Ils reconnaissent également que la couverture actuelle des environnements est limitée en raison du coût élevé de validation des modèles de raisonnement spécifiques aux jeux, mais prévoient d'étendre cela dans les futures versions.