💬 NLP

Momento: Evaluating Persistent Memory and Reasoning with Multi-Session Agentic Conversations

L'article présente Momento, un benchmark conçu pour évaluer la capacité de l'IA agentique à maintenir une mémoire persistante et à raisonner à travers des interactions multi-sessions, révélant que les agents actuels éprouvent des difficultés significatives à interpréter avec précision l'évolution du contexte de l'utilisateur et à valider les informations historiques obsolètes.

Auteurs originaux : Adril Putra Merin, David Anugraha, Ayu Purwarianti, Genta Indra Winata

Publié 2026-06-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Adril Putra Merin, David Anugraha, Ayu Purwarianti, Genta Indra Winata

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant personnel très intelligent et serviable nommé « Agent ». Vous utilisez cet agent depuis des mois pour réserver des restaurants, commander de la nourriture et gérer votre abonnement.

Le Problème : L'Assistant « Amnésique »
La plupart des tests que nous soumettons à ces assistants IA actuellement sont comme un quiz éclair sur une seule journée isolée. On leur demande : « Peux-tu réserver une table pour ce soir ? » L'IA répond : « Oui ! » et le fait. Super.

Mais dans la vraie vie, votre vie n'est pas composée d'une seule journée. C'est une histoire qui se déroule sur des semaines. Vous pourriez dire à l'agent lundi : « J'essaie de perdre du poids, donc pas de pâtes. » Puis, vendredi, vous revenez et dites : « Prenons ces pâtes que je voulais la semaine dernière. »

L'article soutient que les assistants IA actuels sont terribles pour cette histoire à long terme. Ils traitent vos conversations passées comme un journal intime fiable, supposant que tout ce que vous avez dit la semaine dernière est encore vrai aujourd'hui. Ils ne réalisent pas que vos préférences peuvent avoir changé, ou que l'information qu'ils retiennent peut être « périmée » (vieille et obsolète). Ils oublient de vérifier les faits avant d'agir.

La Solution : MOMENTO (La « Salle de Sport de la Mémoire »)
Les auteurs ont créé un nouveau test appelé MOMENTO. Considérez cela comme une « salle de sport de la mémoire » pour les agents IA. Au lieu d'un quiz d'une journée, MOMENTO simule une relation à long terme entre un utilisateur et un assistant.

La Configuration : L'IA doit interagir avec un humain simulé sur de nombreuses « sessions » différentes (comme des jours ou des semaines différents).
Le Défi : Les objectifs de l'humain changent. Il peut interrompre une tâche, changer d'avis sur ce qu'il veut manger, ou faire référence à quelque chose dont ils ont discuté il y a trois semaines.
La Mémoire : L'IA possède un « sac à dos » spécial (module de mémoire) où elle peut stocker et récupérer des conversations passées. Mais le truc, c'est que le sac à dos contient des informations anciennes qui doivent être vérifiées par rapport à la réalité actuelle.

Comment ils ont testé cela
Ils ont construit une simulation de restaurant réaliste. L'IA devait :

Se souvenir de ce que l'utilisateur aimait par le passé.
Remarquer si l'humeur ou le régime de l'utilisateur changeait.
Utiliser des outils (comme une base de données ou un système de réservation) pour obtenir des informations fraîches.
Prendre une décision basée à la fois sur la vieille mémoire et les nouveaux faits.

Les Résultats : Le Piège de la « Fausse Confiance »
Lorsqu'ils ont lancé les tests, les résultats ont été surprenants. Même les modèles d'IA les plus intelligents ont souvent échoué.

L'Erreur Principale : L'IA n'a pas échoué parce qu'elle avait oublié le passé. Elle a échoué parce qu'elle faisait trop confiance au passé.
L'Analogie : Imaginez que vous demandiez à votre assistant : « Ai-je toujours mon abonnement Gold ? » L'assistant regarde une note du mois dernier qui dit « Oui, Gold ». Au lieu d'appeler la banque pour vérifier si le statut est toujours Gold aujourd'hui, l'assistant se contente de dire : « Oui, vous êtes Gold », et procède à la réservation.
La Réalité : L'utilisateur pourrait avoir perdu son abonnement hier. Parce que l'IA n'a pas vérifié le statut actuel, elle a commis une erreur.

L'article a constaté que la raison principale de l'échec était que l'IA sautait l'étape de la « vérification ». Elle supposait que l'historique était une carte parfaite du présent, plutôt qu'une vieille carte qui pourrait nécessiter une mise à jour.

La Conclusion
L'article conclut que, bien que l'IA s'améliore en matière de raisonnement et d'utilisation d'outils, elle éprouve encore des difficultés avec la mémoire persistante dans les interactions à long terme. Elle traite l'histoire ancienne comme une vérité absolue plutôt que comme un indice qui doit être revérifié.

Pour construire des assistants à long terme véritablement utiles, nous devons leur apprendre que ce n'est pas parce qu'ils se souviennent de quelque chose de la semaine dernière que c'est encore vrai aujourd'hui. Ils doivent être curieux et vérifier les faits avant d'agir.

Ce que l'article ne dit PAS

Il ne prétend pas que cette technologie est prête pour les hôpitaux ou les conseils médicaux critiques.
Il ne dit pas que cela changera immédiatement la façon dont vous utilisez votre téléphone demain.
Il se concentre strictement sur l'écart entre les capacités actuelles de l'IA et les besoins des interactions à long terme, sur plusieurs jours (comme dans les restaurants).

Résumé Technique : MOMENTO

Énoncé du Problème

Bien que les avancées récentes de l'IA agentique aient démontré de solides capacités de raisonnement, d'utilisation d'outils et de planification multi-étapes dans des environnements isolés à session unique, les benchmarks existants ne reflètent pas les déploiements en conditions réelles. En pratique, les utilisateurs interagissent avec des agents sur des jours et des semaines, apportant des objectifs évolutifs, un historique accumulé et des décisions antérieures qui doivent être intégrés pour remplir des objectifs personnalisés. Les cadres d'évaluation actuels ignorent principalement ces dépendances inter-sessions, traitant les agents comme des entités sans état ou les évaluant uniquement sur le rappel de faits plutôt que sur la capacité du contexte récupéré à piloter de meilleures décisions de tâches. Cela crée un écart significatif entre les capacités actuelles des agents et les exigences d'une interaction humain-agent à long horizon réaliste, où la mémoire doit soutenir des actions médiées par des outils conséquentes.

Méthodologie

Pour combler cette lacune, les auteurs introduisent MOMENTO, un benchmark et un cadre d'évaluation conçu pour l'accomplissement de tâches agentiques persistantes dans des environnements de services multimodaux à sessions multiples.

Architecture du Cadre

Le système fonctionne via une simulation de jeu de rôle impliquant deux agents :

Agent Utilisateur ( $\pi_u$ ) : Simule le comportement humain en générant des réponses conversationnelles naturelles conditionnées par une politique utilisateur ( $\Phi_u$ ). Cette politique définit des personas, des objectifs à long terme et des préférences. L'agent récupère le contexte d'un module de mémoire partagée pour maintenir la cohérence temporelle à travers les sessions.
Agent Assistant ( $\pi_a$ ) : Responsable de répondre aux entrées de l'utilisateur, de récupérer les résumés multi-sessions pertinents, d'invoquer des outils externes et de générer des réponses finales. L'agent doit effectuer un raisonnement temporel pour résoudre les dépendances entre les sessions passées et les requêtes actuelles.

Mémoire Agentique

Un composant central de MOMENTO est le module de Mémoire Agentique ( $M$ ), opérant dans un contexte borné de 128k tokens. Il emploie une approche hybride :

Rappel à Long Terme : Récupère les sessions antérieures pertinentes à partir d'une base de données en utilisant des requêtes SQL générées par LLM. Cela permet un raisonnement explicite sur les dépendances inter-sessions, combinant la correspondance sémantique avec des contraintes temporelles et des conditions structurelles.
Compression à Court Terme : Gère l'historique du dialogue en contexte en conservant les 80 % les plus récents du contexte de manière verbatim pour les détails fins, tout en condensant les préfixes plus anciens en résumés compacts pour réduire la surcharge.

Construction du Benchmark

MOMENTO se compose de 161 instances de tâches générées via un jeu de rôle humain pour simuler des historiques d'interaction réalistes. Les tâches couvrent des scénarios tels que l'assistance personnelle, la planification, la programmation et la recommandation, impliquant souvent des entités liées à la nourriture issues du jeu de données WorldCuisines. Le jeu de données intègre des préférences évolutives, des références implicites, des mises à jour contradictoires et des informations distribuées temporellement pour accroître le réalisme. L'environnement fournit 26 outils couvrant la gestion des réservations, la recherche, la commande, la gestion des adhésions et l'accès Text-to-SQL.

Métriques d'Évaluation

La performance est mesurée à l'aide de trois métriques principales :

DB STATE (État de la BD) : Vérifie si l'état final de la base de données correspond à l'objectif de l'utilisateur.
OUTPUT (Sortie) : Mesure si la réponse de l'assistant satisfait la requête de l'utilisateur.
TOOL RECALL (Rappel d'Outils) : Évalue si les bons outils sont invoqués dans le bon ordre.
Une tâche est considérée comme réussie uniquement si les trois métriques sont satisfaites. L'étude rapporte également PASS@K et PASS^K pour mesurer la cohérence sur plusieurs exécutions.

Contributions Clés

Premier Benchmark Multi-Session Persistant : MOMENTO est le premier cadre évaluant l'accomplissement de tâches agentiques persistantes où le contexte inter-sessions est une entrée de premier rang pour la prise de décision, allant au-delà des évaluations de session unique ou de simple rappel de faits.
Simulation Réaliste : Le benchmark utilise un large jeu de données d'interactions temporellement séparées présentant des objectifs utilisateurs évolutifs et des dépendances de mémoire latentes, générées par une simulation d'utilisateur basée sur le jeu de rôle.
Publication des Ressources : Le jeu de données et le code source sont publiés sous les licences CC-BY-SA et Apache 2.0, respectivement, pour faciliter la recherche future.

Résultats et Analyse

Les auteurs ont évalué plusieurs modèles de langage visuels (VLM) à poids ouverts de pointe, incluant des variantes de QWEN3.6 et GEMMA4.

Performance : GEMMA4-31B-IT a affiché la performance globale la plus forte, obtenant les scores PASS@3 et PASS^3 les plus élevés et démontrant une cohérence supérieure à travers les essais répétés. Bien que GPT-5.4-MINI montre des avances marginales dans des métriques spécifiques comme DB STATE, il n'a pas surpassé GEMMA4-31B-IT en termes de succès global de la tâche.
Instabilité : Un écart substantiel entre PASS@3 et PASS^3 pour tous les modèles souligne une instabilité omniprésente dans l'exécution de tâches multi-étapes.
Analyse d'Erreur : Le mode de défaillance dominant est le TOOL RECALL, spécifiquement la mauvaise estimation de l'état de l'utilisateur. Les agents ont tendance à traiter l'historique des sessions précédentes comme un proxy fiable pour le contexte actuel, formant des hypothèses implicites sans vérification. Par conséquent, les agents omettent fréquemment les appels de vérification ou de récupération nécessaires (par exemple, vérifier le statut d'adhésion ou les états de commande actuels) avant d'exécuter des actions. Cet échec est structurellement favorisé par le cadre multi-session, où l'historique crée un faux sentiment de continuité d'état.

Signification

L'article affirme que MOMENTO révèle un écart substantiel entre les capacités actuelles des agents et les exigences d'une interaction humain-agent à long horizon réaliste. La conclusion principale est que les agents actuels échouent non pas par manque de disponibilité d'outils, mais par un échec de re-validation des informations obsolètes des sessions passées. En traitant l'historique antérieur comme une vérité statique plutôt que comme une information nécessitant une re-validation, les agents manquent des étapes critiques dans la chaîne de raisonnement. Les auteurs postulent que MOMENTO fournit une fondation nécessaire pour la recherche future sur les systèmes agentiques persistants et informés par la mémoire, capables de naviguer avec précision dans les dépendances temporelles et les objectifs utilisateurs évolutifs.

Limites

Les auteurs reconnaissent que, comme les benchmarks précédents, MOMENTO repose sur des simulateurs d'utilisateurs basés sur des LLM. Bien que cela permette une collecte de données scalable, les utilisateurs simulés peuvent ne pas exhiber parfaitement un comportement humain réaliste. Des travaux futurs sont suggérés pour explorer des méthodes de simulation contrainte plus fortes, un fine-tuning spécifique aux rôles ou des interactions avec de vrais humains afin de combler davantage le fossé comportemental.