EngramaBench: Evaluating Long-Term Conversational Memory with Structured Graph Retrieval

1. Problématique

Les assistants basés sur les grands modèles de langage (LLM) sont de plus en plus attendus pour agir comme des collaborateurs persistants capables de retenir et de raisonner sur des informations accumulées sur de nombreuses sessions (semaines ou mois).

Le défi central réside dans la gestion de la mémoire à long terme. L'approche actuelle dominante consiste à fournir au modèle l'intégralité de l'historique des conversations (prompting en contexte complet). Bien que cette méthode soit performante, elle présente deux limites majeures :

• Coût et évolutivité : Le coût de calcul et de token augmente linéairement avec la longueur de l'historique.
• Représentation non structurée : Elle traite la mémoire comme une simple inclusion de transcript plutôt que comme une représentation structurée, ce qui rend difficile l'intégration de faits dispersés dans différents domaines de la vie de l'utilisateur ou la gestion des changements temporels.

L'article s'interroge sur la nécessité et l'efficacité des systèmes de mémoire structurée par rapport à l'inclusion brute de contexte ou aux systèmes de récupération vectorielle plats.

2. Méthodologie

A. EngramaBench : Le nouveau Benchmark

Pour évaluer ces systèmes, les auteurs ont créé EngramaBench, un benchmark conçu spécifiquement pour les conversations multi-sessions.

• Données : 5 personnalités canoniques (ex: Professeur, Fondateur de startup, Artiste), 100 conversations multi-sessions et 150 requêtes.
• Taxonomie des requêtes : Les requêtes sont divisées en cinq familles pour tester des capacités distinctes :
  1. Rappel factuel (Single Space) : Rappel d'un fait dans un seul domaine.
  2. Intégration inter-espaces (Cross Space) : Combinaison d'informations provenant de domaines de vie distincts (ex: lier un projet professionnel à un événement personnel).
  3. Raisonnement temporel (Temporal Cross Space) : Raisonnement sur des faits dispersés dans le temps et l'espace.
  4. Abstention adversaire (Adversarial) : Capacité à refuser de répondre à des questions basées sur de fausses prémices.
  5. Synthèse émergente (Emergent Insight) : Génération de conclusions qui ne sont pas explicitement énoncées dans les sessions mais déduites de preuves dispersées.
• Métrique : Un score composite pondéré accordant une importance égale à la mémoire factuelle, à l'abstention et à la synthèse.

B. Systèmes Comparés

L'étude compare trois architectures utilisant le même modèle de réponse (GPT-4o) pour isoler l'impact de l'architecture de mémoire :

1. GPT-4o Full-Context : L'historique complet est injecté dans le prompt sans compression.
2. Mem0 : Un système open-source utilisant une récupération vectorielle (flat retrieval) via ChromaDB.
3. Engrama : Un système de mémoire à structure de graphe. Il organise les interactions en un graphe préservant les entités, les espaces sémantiques (domaines de vie), les traces temporelles et les liens associatifs inter-espaces.

C. Analyse par Ablation

Les auteurs ont étudié deux leviers configurables dans Engrama :

• L1 (Activation orientée entité + Planificateur) : Biais la récupération vers les régions du graphe alignées structurellement avec les entités de la requête.
• L3 (Couche de réponse typée) : Renforce la conversion des preuves récupérées en une réponse explicite et précise.

3. Résultats Clés

Performance Globale

• GPT-4o Full-Context obtient le meilleur score composite global (0.6186), confirmant que l'inclusion brute de contexte reste très puissante.
• Engrama obtient un score de 0.5367, inférieur au full-context mais supérieur à Mem0.
• Mem0 est le moins performant (0.4809), montrant que la récupération vectorielle plate est insuffisante pour les tâches complexes de mémoire à long terme.

Avantage de la Structure de Graphe (Cross-Space)

C'est la découverte la plus significative :

• Engrama est le seul système à surpasser le full-context sur la tâche d'intégration inter-espaces (Cross Space) : 0.6532 contre 0.6291 pour GPT-4o.
• Cela démontre que la structure de graphe permet de mieux connecter des informations non co-localisées que la simple lecture de transcript.
• Mem0 obtient un score de 0.5266 sur cette tâche, soulignant que la différence réside dans la structure de la récupération, et non seulement dans la présence d'une récupération.

Coût-Efficacité

• Coût : Engrama coûte environ 20% du coût de requête du full-context ($0.67 contre $3.33 pour 150 requêtes) tout en obtenant 86,8% du score composite.
• Mem0 est encore moins cher ($0.36) mais sacrifie trop de précision factuelle.

Résultats des Ablations (Tension de Conception)

L'analyse par ablation révèle une tension fondamentale :

• Retirer les leviers L1 et L3 augmente le score composite global (car ils introduisent du bruit sur les tâches simples), mais dégrade significativement la performance sur les tâches inter-espaces.
• Cela indique que les composants spécialisés qui excellent dans le raisonnement complexe (cross-space) ne maximisent pas nécessairement la performance globale agrégée. Il existe un compromis entre la spécialisation structurelle et l'optimisation globale.

4. Contributions Principales

1. EngramaBench : Un benchmark rigoureux qui traite le raisonnement inter-espaces comme un objectif de premier plan, comblant le vide des benchmarks existants qui négligent l'intégration sémantique complexe et l'abstention.
2. Comparaison Contrôlée : Une preuve empirique montrant que, bien que le full-context gagne globalement, les architectures de mémoire structurée (graphes) surpassent les approches brutes sur les tâches de raisonnement complexe à un coût bien inférieur.
3. Analyse des Mécanismes : Une démonstration que les mécanismes améliorant la mémoire structurée (comme la récupération basée sur les entités) peuvent entrer en conflit avec l'optimisation des scores globaux, expliquant pourquoi certaines architectures prometteuses en petit échelle échouent à grande échelle.

5. Signification et Implications

Ce travail suggère que la mémoire à long terme pour les assistants conversationnels ne peut pas être résolue uniquement par l'augmentation de la fenêtre de contexte.

• Spécialisation vs Généralité : Les systèmes structurés (comme les graphes) sont des outils plus précis pour des besoins de raisonnement spécifiques (liens entre domaines de vie), là où le full-context échoue à "voir" les connexions structurelles.
• Défi de Conception : L'avenir réside dans des architectures capables d'activer une structure riche uniquement lorsque nécessaire ("plus sélectif"), plutôt que d'appliquer une structure rigide à toutes les requêtes.
• Limites : L'étude note que le raisonnement temporel reste difficile pour tous les systèmes (même le full-context) et que les données sont synthétiques, bien que contraintes pour assurer la reproductibilité.

En résumé, EngramaBench démontre que la structure de la mémoire est aussi importante que la capacité de récupération elle-même, et que les graphes de connaissances offrent un avantage décisif pour l'intégration d'informations complexes, malgré un compromis sur les scores globaux simples.