💬 NLP

Total Recall at What Cost? Benchmarking the Serving Cost of Agentic Memory Systems

Cet article évalue les coûts de service et la précision de trois systèmes de mémoire agentiques par rapport à des stratégies standards, révélant que les coûts sont dictés par les comportements internes du système plutôt que par la seule longueur de la conversation, varient considérablement selon les différents modèles de base et systèmes, et impliquent un compromis où aucune solution unique n'optimise à la fois le coût et la précision.

Auteurs originaux : Natchanon Pollertlam, Witchayut Kornsuwannawit

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Natchanon Pollertlam, Witchayut Kornsuwannawit

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un ami robot très intelligent, mais un peu étourdi. Vous discutez depuis des semaines, partageant des histoires, des projets et des secrets. Maintenant, vous voulez demander : « Tu te souviens de ce restaurant de pizza dont on a parlé il y a trois semaines ? » Si le robot n'a pas de mémoire, vous devez lui raconter toute l'histoire de votre amitié depuis le premier jour à chaque fois que vous posez une question. C'est comme envoyer un sac à dos énorme et lourd contenant chaque mot que vous avez déjà dit au robot juste pour poser une question simple. Cela fonctionne, mais cela devient vite lourd, lent et coûteux.

Pour corriger cela, les ingénieurs ont construit des « systèmes de mémoire » pour ces robots. Au lieu de porter tout le sac à dos, le robot prend des petites notes, des faits ou des résumés dans un carnet spécial. Quand vous posez une question, il se contente de feuilleter la bonne page et de lire la note. Cela semble parfait : plus léger, plus rapide et moins cher. Mais attention : écrire les notes, les organiser et trouver la bonne page demande aussi du travail. La grande question est : le robot fait-il des économies en utilisant le carnet, ou le coût de la gestion du carnet rend-il l'ensemble plus coûteux que de simplement porter le sac à dos lourd ? Cette étude plonge dans ce mystère exact, mesurant le prix réel de ces astuces de mémoire pour voir si elles en valent vraiment la peine.

Le Duel des Coûts de Mémoire

Dans cette étude, les chercheurs ont organisé une course massive pour voir combien il en coûte réellement pour maintenir la mémoire d'un chatbot en vie. Ils ne se sont pas contentés de deviner ; ils ont mené une expérience contrôlée avec trois différents « systèmes de mémoire » (considérez-les comme trois façons différentes d'organiser ce carnet) : Mem0, Hindsight et Mastra Observational Memory.

Pour que le test soit équitable, ils ont comparé ces systèmes de mémoire à deux stratégies extrêmes :

La « Fenêtre Glissante » (La base bon marché) : C'est comme ne se souvenir que des 10 dernières choses que vous avez dites. C'est super bon marché, mais cela oublie tout le reste.
Le « Transcript Complet » (La base coûteuse) : C'est la méthode du « sac à dos lourd ». Chaque fois que vous posez une question, le robot relit l'intégralité de l'historique de votre conversation depuis le tout premier mot.

Ils ont fait passer ces systèmes à travers des conversations allant jusqu'à 400 tours (soit 400 échanges de messages) et les ont testés sur 665 questions spécifiques pour voir si le robot se souvenait réellement des bonnes choses. Ils ont également testé deux « cerveaux » différents (modèles de base) pour le robot afin de voir si le type de cerveau changeait le coût.

La Grande Surprise : On ne peut pas prédire le prix

La première grande découverte est que vous ne pouvez pas simplement regarder la longueur de la conversation ou la taille des messages pour deviner le coût. Les chercheurs ont essayé de construire une formule mathématique simple pour prédire le coût en fonction de la longueur de la conversation et de la taille des messages.

Pour les stratégies du « Transcript Complet » et de la « Fenêtre Glissante », les mathématiques fonctionnaient parfaitement. Si vous connaissez le nombre de mots envoyés, vous savez exactement combien cela coûte.
Pour les Systèmes de Mémoire, les mathématiques ont échoué lamentablement. La formule a manqué le coût réel de 18 % à 69 %.

Pourquoi ? Parce que le coût d'un système de mémoire ne dépend pas seulement de la quantité de ce que vous dites, mais de ce que le système fait en interne pendant que vous parlez. Parfois, le système décide d'écrire un long résumé, d'autres fois, il ne saisit qu'un fait rapide. Parfois, il réorganise tout son carnet. Ces décisions internes sont dictées par le contenu de la conversation, et non par sa simple longueur. C'est comme essayer de prédire le coût d'un voyage routier en regardant simplement la carte, sans savoir si le conducteur va s'arrêter pour un déjeuner gastronomique ou juste prendre une barre de céréales. Le « déjeuner » (le traitement interne) varie énormément, rendant la facture totale imprévisible.

Le « Point de Rentabilité » : Quand le carnet devient-il rentable ?

Les chercheurs ont posé une question cruciale : À quel moment l'utilisation d'un système de mémoire devient-elle moins chère que de simplement relire tout l'historique ?

La réponse est : Cela dépend entièrement du système et du cerveau du robot.

Mastra Observational Memory était le champion de la vitesse. Dans certains cas, il était moins cher que la méthode du « Transcript Complet » dès le premier tour (Tour 0).
Mem0 a mis un peu plus de temps, atteignant généralement l'équilibre autour du Tour 82, mais seulement si les messages étaient raisonnablement longs.
Hindsight était le plus lent. Dans de nombreux cas, il n'est pas devenu moins cher que la méthode du « Transcript Complet », même après 400 tours. En fait, pour certaines configurations, il était encore plus coûteux à la fin du test.

Cela signifie que si vous avez une conversation courte, utiliser un système de mémoire complexe peut en réalité coûter plus cher que de simplement renvoyer l'historique de la discussion. Vous devez parler pendant un certain temps (le « point de rentabilité ») avant que le système de mémoire ne commence à vous faire économiser de l'argent.

Précision vs Coût : Pas de repas gratuit

L'étude a également vérifié si les systèmes de mémoire étaient réellement bons pour répondre aux questions. Les résultats ont montré une large gamme de performances :

La précision variait de 21 % à 54 %.
Mem0 présentait les variations d'exactitude les plus importantes, réussissant bien avec certains cerveaux de robot et moins bien avec d'autres.
Hindsight était généralement le plus précis (souvent au-dessus de 50 %), mais c'était aussi le plus coûteux à exploiter.
Mastra était un performeur intermédiaire, mais souvent le plus rentable lorsqu'on prenait en compte le nombre de bonnes réponses données.

Les chercheurs ont découvert que le choix du « cerveau » du robot (le modèle de base) comptait tout autant que le choix du système de mémoire. Un système de mémoire qui était bon marché sur un cerveau de robot pouvait être coûteux sur un autre.

Le Verdict Final

L'article conclut qu'il n'existe pas un seul « meilleur » système de mémoire.

Si vous voulez l'option la moins chère par réponse correcte sur un cerveau de robot spécifique, Mastra sur le cerveau gpt-oss-20b était le vainqueur (coûtant environ 0,028 $ par réponse correcte à 100 tours).
Si vous utilisez un autre cerveau de robot (Gemma 4 26B A4B), Mem0 devient l'option la moins chère.
Hindsight, bien qu'accurate, est souvent trop coûteux pour en valoir la peine, à moins que la conversation ne soit très longue.

La principale conclusion est que vous ne pouvez pas choisir un système de mémoire simplement parce qu'il a l'air cool. Vous devez examiner votre situation spécifique : Quelle sera la durée de la conversation ? Quelle est la taille des messages ? Et quel cerveau de robot utilisez-vous ? Ce n'est qu'alors que vous pourrez savoir si le système de mémoire vous fera économiser de l'argent ou s'il ajoutera simplement des frais à votre facture. La « mémoire totale » d'un système de mémoire a un prix, et ce prix est bien plus complexe que le simple décompte des mots que vous tapez.

Résumé technique : Rappel total, à quel prix ? Évaluer le coût de service des systèmes de mémoire agentiques

Problématique

Alors que les agents conversationnels passent de démonstrations à session unique à des déploiements de longue durée s'étendant sur des semaines ou des mois, ils nécessitent des mécanismes pour conserver l'information à travers les échanges. Deux stratégies principales existent : (1) la resoumission de l'intégralité du transcript, où tout l'historique de la conversation est renvoyé à la fenêtre de contexte de l'LLM à chaque tour, et (2) les systèmes de mémoire agentiques, qui distillent les interactions passées en enregistrements compacts (faits, résumés, graphes de connaissances) et ne récupèrent que les sous-ensembles pertinents.

Bien que les systèmes de mémoire soient adoptés pour échapper à la croissance démesurée des coûts de la resoumission de transcript complet, le coût de service réel de ces systèmes de mémoire reste mal compris. Les évaluations existantes se concentrent presque exclusivement sur la précision et le rappel, rapportant souvent des chiffres d'économie de jetons isolés dans des conditions spécifiques. Il manque un benchmarking systématique et inter-systèmes qui mesure le coût de service de bout en bout des systèmes de mémoire par rapport à des références transparentes, couplé à des mesures de précision. Par conséquent, les praticiens ne peuvent pas déterminer si un système de mémoire est économiquement viable par rapport à une simple resoumission du transcript.

Méthodologie

Les auteurs ont mené un benchmark contrôlé évaluant trois systèmes de mémoire agentiques contre deux stratégies de référence sur deux modèles de base et des niveaux d'effort de raisonnement variables.

Systèmes évalués

Mem0 : Un système plat d'extraction et de récupération qui stocke des faits atomiques dans une base de données vectorielle.
Hindsight : Un système utilisant un pipeline de rétention–rappel–réflexion pour l'ingestion de la mémoire.
Masse de mémoire observationnelle de Mastra : Une boucle observateur–réflecteur–acteur avec consolidation déclenchée par seuil.
Stratégies de référence :
- Fenêtre glissante (Plancher) : Une fenêtre de taille fixe des 10 derniers tours (sans stockage persistant).
- Historique complet (Plafond) : Resoumission de l'intégralité du transcript à chaque tour.

Conception expérimentale

Modèles de base : Évalués sur gpt-oss-20b et Gemma 4 26B A4B à des réglages d'effort de raisonnement "faible" et "moyen".
Charge de travail : Conversations synthétiques générées selon des longueurs ( $N$ ) et des tailles de jetons par tour ( $L$ ) spécifiques, jusqu'à 400 tours.
Mesure du coût : L'étude a modélisé le total des jetons d'entrée facturables à travers trois étapes du pipeline : Ingestion (extraction de faits/consolidation), Récupération, et Réponse.
Modèle de coût : Un modèle de régression log-log séparable a été ajusté pour prédire le coût ( $C$ ) en fonction de la taille du message ( $L$ ) et de la profondeur de la conversation ( $t$ ) :
$\log(C+1) = a + p\log(L+1) + q\log(t+1)$
où $p$ représente la sensibilité du coût à la taille du message et $q$ à la profondeur de la conversation.
Benchmark de précision : Couplée aux mesures de coût, la précision a été évaluée sur un sous-ensemble stratifié du benchmark LoCoMo (665 questions à travers des dialogues multi-sessions).
Validation : Les modèles ont été validés en utilisant une validation croisée de type "leave-one-cell-out" (LOOCV) pour tester la généralisabilité.

Résultats clés

1. Modélisation et prédictibilité du coût

Stratégies de référence : Le modèle de coût s'ajuste exceptionnellement bien aux stratégies de référence ( $R^2 \geq 0,91$ ). La base de l'historique complet montre $p \approx q \approx 1$ (le coût augmente avec le contenu total), tandis que la fenêtre glissante montre $p \approx 0,9$ mais $q \approx 0,1$ (le coût dépend de la taille du message mais est plat concernant la profondeur).
Systèmes de mémoire : Le modèle échoue à prédire les coûts des systèmes de mémoire.
- Mem0 : $p \approx 0,17, q \approx 0,08$ (faible sensibilité aux deux).
- Hindsight : $p \approx 0,15, q \approx 0,42$ (haute sensibilité à la profondeur).
- Mastra OM : $p \in [0,61, 0,79], q \in [0,23, 0,36]$ .
- Erreur sur données non vues : Alors que les bases de référence généralisent avec < 6,5 % d'erreur, les systèmes de mémoire présentent une erreur de 18 à 69 % lors de la validation sur données non vues. Cela indique que le coût de service des systèmes de mémoire est piloté par l'état interne de la mémoire (ex: seuils de déclenchement, taux de consolidation) plutôt que par la simple longueur de la conversation ou la taille des messages.

2. Analyse du point d'équilibre

L'étude a calculé le « tour d'équilibre » — le point où un système de mémoire devient moins coûteux que la resoumission du transcript complet.

Grande variabilité : Le point d'équilibre est très sensible au système, au modèle de base et à la charge de travail.
- Mastra OM : Peut atteindre l'équilibre immédiatement (tour 0) ou en quelques dizaines de tours.
- Mem0 : Atteint l'équilibre en quelques dizaines de tours pour les messages plus larges, mais peut prendre jusqu'à 342 tours pour les plus petits.
- Hindsight : Échoue souvent à atteindre l'équilibre dans les 400 tours, particulièrement avec de petites tailles de messages.
Magnitude : Une fois qu'un système de mémoire atteint son point d'équilibre, il peut être jusqu'à 12,7 fois moins cher que la resoumission de l'historique complet. Inversement, les systèmes qui ne parviennent pas à l'équilibre (comme Hindsight avec de petits messages) peuvent coûter jusqu'à 3,3 fois plus cher que le transcript complet.

3. Compromis Coût-Précision

Plage de précision : La précision sur LoCoMo variait considérablement (21 % – 54 %) selon le système et le modèle de base.
Absence de système dominant : Aucun système ne l'emporte à la fois sur le coût et la précision.
- Mastra OM sur gpt-oss-20b (effort faible) a obtenu le coût par réponse correcte le plus bas ($0,028 à 100 tours).
- Mem0 sur Gemma 4 26B A4B était l'option la plus rentable pour ce modèle de base.
- Hindsight était généralement le plus coûteux à servir, bien qu'il ait atteint une précision plus élevée dans certaines configurations.
Impact du modèle de base : Le choix du modèle de base influence le coût autant que le choix du système de mémoire. Par exemple, le coût de Mem0 a chuté significativement sur Gemma 4 26B A4B en raison d'une utilisation moindre des jetons de raisonnement par rapport à gpt-oss-20b.

Signification et affirmations

L'article affirme fournir le premier benchmark contrôlé, inter-systèmes, des coûts de service de la mémoire agentique couplé à la précision. Ses principales contributions et conclusions sont les suivantes :

Le coût est non linéaire et dépendant de l'état : Le coût de service d'un système de mémoire ne peut pas être prédit uniquement par la longueur de la conversation et la taille des messages. Le comportement interne du pipeline de mémoire (déclenchements, consolidation) pilote la variance du coût, rendant les modèles de régression simples insuffisants pour la prédiction.
Viabilité économique dépendante du contexte : Qu'un système de mémoire soit moins coûteux que la resoumission de l'intégralité du transcript n'est pas une propriété intrinsèque du système, mais une fonction de la charge de travail (longueur de conversation, taille des messages) et du modèle de base choisi. Les points d'équilibre varient de l'immédiat à "jamais" au cours de 400 tours.
Prise de décision conjointe : Les praticiens ne peuvent pas optimiser le coût ou la précision de manière isolée. Le choix du modèle de base et du système de mémoire sont couplés ; un modèle de base qui réduit le coût pour un système de mémoire peut l'augmenter pour un autre.
Limites des benchmarks actuels : L'étude souligne que les benchmarks actuels se concentrant uniquement sur la précision ignorent la contrainte de production critique qu'est le coût de service, et que les modèles de coût actuels pour la mémoire sont descriptifs plutôt que mécanistes.

Les auteurs concluent que la sélection d'un système de mémoire nécessite une analyse spécifique de la longueur de conversation attendue et du modèle de base choisi, car il n'existe pas de système "universellement meilleur" à travers tous les réglages.