💬 NLP

Total Recall at What Cost? Benchmarking the Serving Cost of Agentic Memory Systems

Dit artikel benchmarkt de serveerkosten en de nauwkeurigheid van drie agentische geheugensystemen ten opzichte van standaardstrategieën, waarbij wordt onthuld dat kosten worden gedreven door interne systeemgedragingen in plaats van enkel door de conversatielengte, aanzienlijk variëren tussen verschillende backbones en systemen, en een trade-off impliceren waarbij geen enkele oplossing zowel kosten als nauwkeurigheid optimaliseert.

Oorspronkelijke auteurs: Natchanon Pollertlam, Witchayut Kornsuwannawit

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Natchanon Pollertlam, Witchayut Kornsuwannawit

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een zeer slimme, maar ietwat vergeetachtige robotvriend. Je hebt wekenlang met elkaar gekletst en verhalen, plannen en geheimen gedeeld. Nu wil je vragen: "Herinner je je die pizzaplek nog waar we het drie weken geleden over hadden?" Als de robot geen geheugen heeft, moet je elke keer het hele verhaal van je vriendschap vanaf dag één opnieuw vertellen om een simpele vraag te stellen. Dit is alsof je een enorme, zware rugzak vol met elk woord dat je ooit tegen de robot hebt gezegd, meestuurt om alleen maar een simpele vraag te stellen. Het werkt, maar het wordt snel zwaar, traag en duur.

Om dit op te lossen, hebben ingenieurs "geheugensystemen" gebouwd voor deze robots. In plaats van de hele rugzak mee te dragen, schrijft de robot kleine notities, feiten of samenvattingen in een speciaal schrift. Wanneer je een vraag stelt, bladert de robot gewoon naar de juiste pagina en leest de notitie. Dit klinkt perfect: lichter, sneller en goedkoper. Maar hier is de adder onder het gras: het schrijven van de notities, het organiseren ervan en het vinden van de juiste pagina kost ook werk. De grote vraag is: bespaart de robot geld door het schrift te gebruiken, of maakt de kosten van het beheren van het schrift het geheel juist duurder dan het gewoon meedragen van de zware rugzak? Dit artikel duikt in exact dat mysterie en meet de werkelijke prijs van deze geheugen trucjes om te zien of ze daadwerkelijk de moeite waard zijn.

De Grote Geheugenkosten Showdown

In dit onderzoek hebben de onderzoekers een enorme race georganiseerd om te zien wat het echt kost om het geheugen van een chatbot levend te houden. Ze hebben niet zomaar wat gegokt; ze voerden een gecontroleerd experiment uit met drie verschillende "geheugensystemen" (denk aan drie verschillende manieren om dat schrift te organiseren): Mem0, Hindsight en Mastra Observational Memory.

Om de test eerlijk te houden, hebben ze deze geheugensystemen vergeleken met twee extreme strategieën:

Het "Rolling Window" (De Goedkope Baseline): Dit is alsof je alleen de laatste 10 dingen die je hebt gezegd onthoudt. Het is supergoedkoop, maar vergeet de rest van alles.
Het "Full Transcript" (De Dure Baseline): Dit is de "zware rugzak"-methode. Elke keer dat je een vraag stelt, leest de robot de volledige geschiedenis van jullie gesprek opnieuw, vanaf het allereerste woord.

Ze hebben deze systemen door gesprekken van maximaal 400 beurten gehaald (dat zijn 400 heen-en-weer berichten) en ze getest op 665 specifieke vragen om te zien of de robot zich de juiste dingen herinnerde. Ze hebben ook twee verschillende "hersenen" (backbone modellen) voor de robot getest om te zien of het type brein de kosten veranderde.

De Grote Verrassing: Je kunt de Prijslijst Niet Voorspellen

De eerste grote ontdekking is dat je niet simpelweg naar de lengte van het gesprek of de grootte van de berichten kunt kijken om de kosten te raden. De onderzoekers probeerden een eenvoudige wiskundige formule te maken om de kosten te voorspellen op basis van gespreklengte en berichtgrootte.

Voor de "Full Transcript" en "Rolling Window" strategieën werkte de wiskunde perfect. Als je weet hoeveel woorden je hebt gestuurd, weet je precies wat het kost.
Voor de Geheugensystemen faalde de wiskunde jammerlijk. De formule miste de werkelijke kosten met 18% tot 69%.

Waarom? Omdat de kosten van een geheugensysteem niet alleen gaan over hoeveel je praat; het gaat over wat het systeem intern doet terwijl je praat. Soms besluit het systeem een lange samenvatting te schrijven, andere keren pakt het slechts een kort feitje. Soms reorganiseert het zijn hele schrift. Deze interne beslissingen worden gedreven door de inhoud van het gesprek, niet alleen door de lengte. Het is alsof je probeert de kosten van een roadtrip te voorspellen door alleen naar de kaart te kijken, zonder te weten of de bestuurder een uitgebreide lunch gaat nuttigen of alleen een mueslireep pakt. De "lunch" (interne verwerking) varieert enorm, wat de totale rekening onvoorspelbaar maakt.

Het "Break-Even" Punt: Wanneer verdient het Schrift Zich Terug?

De onderzoekers stelden een cruciale vraag: Op welk punt is het gebruiken van een geheugensysteem goedkoper dan het simpelweg opnieuw lezen van de hele geschiedenis?

Het antwoord is: Dat hangt volledig af van het systeem en de hersenen van de robot.

Mastra Observational Memory was de snelheidskampioen. In sommige gevallen was het goedkoper dan de "Full Transcript" methode vanaf de allereerste beurt (Beurt 0).
Mem0 deed er iets langer over en bereikte meestal het break-even punt rond Beurt 82, maar alleen als de berichten redelijk lang waren.
Hindsight was de traagste. In veel gevallen werd het niet goedkoper dan de "Full Transcript" methode, zelfs niet na 400 beurten. Sterker nog, voor sommige opstellingen was het aan het einde van de test nog steeds duurder.

Dit betekent dat als je een kort gesprek voert, het gebruiken van een complex geheugensysteem misschien juist meer geld kost dan het simpelweg opnieuw verzenden van de hele chatgeschiedenis. Je moet een bepaalde tijd praten (het "break-even" punt) voordat het geheugensysteem je geld begint te besparen.

Nauwkeurigheid vs. Kosten: Geen Gratis Lunch

De studie controleerde ook of de geheugensystemen daadwerkelijk goed waren in het beantwoorden van vragen. De resultaten lieten een breed scala aan prestaties zien:

De nauwkeurigheid varieerde van 21% tot 54%.
Mem0 had de grootste schommelingen in nauwkeurigheid; het deed het goed op sommige robotbreinen en slecht op andere.
Hindsight was over het algemeen het meest accuraat (vaak boven de 50%), maar was ook het duurst in gebruik.
Mastra was een middenweg-presteerder, maar vaak het meest kosteneffectief wanneer je keek naar hoeveel correcte antwoorden het gaf.

De onderzoekers ontdekten dat de keuze van de "hersenen" van de robot (het backbone model) net zo belangrijk was als de keuze van het geheugensysteem. Een geheugensysteem dat goedkoop was op het ene robotbrein, kon duur zijn op een ander.

Het Eindoordeel

Het artikel concludeert dat er niet één "beste" geheugensysteem is.

Als je de goedkoopste optie per correct antwoord wilt op een specifiek robotbrein, was Mastra op de gpt-oss-20b hersenen de winnaar (kostte ongeveer $0,028 per correct antwoord bij 100 beurten).
Als je een ander robotbrein gebruikt (Gemma 4 26B A4B), wordt Mem0 de goedkoopste optie.
Hindsight, hoewel accuraat, is vaak te duur om de moeite waard te zijn, tenzij het gesprek erg lang is.

De belangrijkste les is dat je niet zomaar een geheugensysteem kunt kiezen omdat het cool klinkt. Je moet naar je specifieke situatie kijken: Hoe lang zal het gesprek zijn? Hoe groot zijn de berichten? En welk robotbrein gebruik je? Pas dan kun je weten of het geheugensysteem je geld gaat besparen of alleen maar je rekening verhoogt. Het "volledige geheugen" van een geheugensysteem brengt een prijs met zich mee, en die prijs is veel complexer dan simpelweg het tellen van de woorden die je typt.

Technische Samenvatting: Totaal Geheugen, Maar Tegen Welke Prijs? Het Benchmarking van de Serving-kosten van Agentic Memory Systemen

Probleemstelling

Naarmate conversationele agenten overgaan van enkelvoudige sessie-demonstraties naar langdurige implementaties die weken of maanden beslaan, hebben ze mechanismen nodig om informatie over verschillende beurten te behouden. Er bestaan twee primaire strategieën: (1) Volledige transcript-resubmissie, waarbij de gehele gesprekshistorie bij elke beurt opnieuw naar het contextvenster van de LLM wordt gestuurd, en (2) Agentic memory systemen, die interacties uit het verleden distilleren tot compacte records (feiten, samenvattingen, kennisgrafieken) en alleen relevante deelgebieden ophalen.

Hoewel geheugensystemen worden geadopteerd om de onbegrensde kostengroei van volledige transcript-resubmissie te vermijden, blijft de werkelijke serving-kosten van deze geheugensystemen slecht begrepen. Bestaande evaluaties richten zich bijna uitsluitend op nauwkeurigheid en recall, waarbij vaak geïsoleerde cijfers over tokenbesparing onder specifieke condities worden gerapporteerd. Er is een gebrek aan systematische, cross-systeem benchmarking die de end-to-end serving-kosten van geheugensystemen meet tegen transparante baselines, gekoppeld aan nauwkeurigheidsmetingen. Bijgevolg kunnen beoefenaars niet bepalen of een geheugensysteem economisch levensvatbaar is in vergelijking met het simpelweg opnieuw indienen van het transcript.

Methodologie

De auteurs voerden een gecontroleerde benchmark uit waarbij drie agentic geheugensystemen werden geëvalueerd tegen twee referentiestrategieën over twee backbone-modellen en variërende instellingen voor redeneerinspanning.

Geëvalueerde Systemen

Mem0: Een plat extractie-en-retrievesysteem dat atomaire feiten opslaat in een vectordatabase.
Hindsight: Een systeem dat gebruikmaakt van een retain–recall–reflect pipeline voor geheugeninname.
Mastra Observational Memory: Een observer–reflector–actor loop met drempelgestuurde consolidatie.
Referentiestrategieën:
- Rolling Window (Floor): Een vaste venstergrootte van de laatste 10 beurten (geen persistente opslag).
- Full History (Ceiling): Het elke beurt opnieuw indienen van het volledige transcript.

Experimenteel Ontwerp

Backbones: Geëvalueerd op gpt-oss-20b en Gemma 4 26B A4B bij "lage" en "medium" redeneerinspanning settings.
Workload: Synthetische gesprekken gegenereerd naar specifieke lengtes ( $N$ ) en per-beurt token-groottes ( $L$ ), tot 400 beurten.
Kostmeting: De studie modelleerde de totale factureerbare input-tokens over drie pipeline-stadia: Ingest (feit-extractie/consolidatie), Retrieval, en Answer.
Kostmodel: Een scheidbaar log-log regressiemodel werd gefit om kosten ( $C$ ) te voorspellen op basis van berichtgrootte ( $L$ ) en gesprekdiepte ( $t$ ):
$\log(C+1) = a + p\log(L+1) + q\log(t+1)$
waarbij $p$ de kostengevoeligheid voor berichtgrootte vertegenwoordigt en $q$ voor gesprekdiepte.
Nauwkeurigheid Benchmark: Gekoppeld aan kostmetingen werd nauwkeurigheid geëvalueerd op een gestratificeerde subset van de LoCoMo benchmark (665 vragen over multi-sessie dialogen).
Validatie: Modellen werden gevalideerd met leave-one-cell-out cross-validatie (LOOCV) om generaliseerbaarheid te testen.

Belangrijkste Resultaten

1. Kostmodellering en Voorspelbaarheid

Referentiestrategieën: Het kostmodel past uitzonderlijk goed op de referentiestrategieën ( $R^2 \geq 0.91$ ). De full-history baseline vertoont $p \approx q \approx 1$ (kosten schalen met de totale inhoud), terwijl de rolling window $p \approx 0.9$ maar $q \approx 0.1$ vertoont (kosten schalen met berichtgrootte maar zijn vlak met betrekking tot diepte).
Geheugensystemen: Het model faalt in het voorspellen van de kosten van de geheugensystemen.
- Mem0: $p \approx 0.17, q \approx 0.08$ (lage gevoeligheid voor beide).
- Hindsight: $p \approx 0.15, q \approx 0.42$ (hoge gevoeligheid voor diepte).
- Mastra OM: $p \in [0.61, 0.79], q \in [0.23, 0.36]$ .
- Held-out Error: Terwijl baselines generaliseren met <6,5% fout, vertonen geheugensystemen een fout van 18–69% in held-out validatie. Dit geeft aan dat de serving-kosten van geheugensystemen worden gedreven door de interne geheugenstatus (bijv. trigger-drempels, consolidatiesnelheden) in plaats van alleen gesprekslengte of berichtgrootte.

2. Break-Even Analyse

De studie berekende de "break-even turn"—het punt waarop een geheugensysteem goedkoper wordt dan het opnieuw indienen van het volledige transcript.

Hoge Variabiliteit: Het break-even punt is zeer gevoelig voor het systeem, de backbone en de workload.
- Mastra OM: Kan direct break-even gaan (beurt 0) of binnen tientallen beurten.
- Mem0: Bereikt break-even binnen tientallen beurten voor grotere berichten, maar kan tot 342 beurten duren voor kleinere berichten.
- Hindsight: Faalt vaak om binnen 400 beurten break-even te bereiken, vooral bij kleinere berichtgroottes.
Grootteorde: Zodra een geheugensysteem break-even bereikt, kan het tot 12,7x goedkoper zijn dan full-history resubmissie. Omgekeerd kunnen systemen die niet break-even bereiken (zoals Hindsight met kleine berichten) tot 3,3x duurder zijn dan het volledige transcript.

3. Kost-Nauwkeurigheid Trade-offs

Nauwkeurigheidsbereik: De nauwkeurigheid op LoCoMo varieerde aanzienlijk (21%–54%) afhankelijk van het systeem en de backbone.
Geen Dominant Systeem: Geen enkel systeem wint op zowel kosten als nauwkeurigheid.
- Mastra OM op gpt-oss-20b (lage inspanning) behaalde de laagste kosten-per-correct antwoord ($0,028 bij 100 beurten).
- Mem0 op Gemma 4 26B A4B was de meest kosteneffectieve optie voor die backbone.
- Hindsight was over het algemeen het duurst om te serveren, hoewel het in sommige configuraties een hogere nauwkeurigheid behaalde.
Impact van Backbone: De keuze van het backbone-model beïnvloedt de kosten evenzeer als de keuze van het geheugensysteem. Zo daalden de kosten van Mem0 aanzienlijk op Gemma 4 26B A4B vanwege lager gebruik van reasoning tokens vergeleken met gpt-oss-20b.

Betekenis en Claims

Het artikel beweert de eerste gecontroleerde, cross-systeem benchmark te bieden van de serving-kosten van agentic memory, gekoppeld aan nauwkeurigheid. De primaire bijdragen en bevindingen zijn:

Kosten zijn Niet-Lineair en Statusafhankelijk: De serving-kosten van een geheugensysteem kunnen niet uitsluitend worden voorspeld door gesprekslengte en berichtgrootte. Het interne gedrag van de geheugenpipeline (triggers, consolidatie) drijft de kostenvariantie, waardoor eenvoudige regressiemodellen ontoereikend zijn voor voorspelling.
Contextafhankelijke Economische Levensvatbaarheid: Of een geheugensysteem goedkoper is dan full-transcript resubmissie is geen intrinsieke eigenschap van het systeem, maar een functie van de workload (gesprekslengte, berichtgrootte) en het backbone-model. Break-even punten variëren van onmiddellijk tot "nooit" binnen 400 beurten.
Gezamenlijke Besluitvorming: Beoefenaars kunnen niet optimaliseren voor kosten of nauwkeurigheid in isolatie. De keuze van het backbone-model en het geheugensysteem zijn gekoppeld; een backbone die de kosten voor het ene geheugensysteem verlaagt, kan de kosten voor een ander systeem verhogen.
Beperkingen van Huidige Benchmarks: De studie benadrukt dat bestaande benchmarks die zich uitsluitend op nauwkeurigheid richten, de cruciale productiebeperking van de serving-kosten missen, en dat huidige kostmodellen voor geheugen beschrijvend zijn in plaats van mechanistisch.

De auteurs concluderen dat het selecteren van een geheugensysteem een specifieke analyse vereist van de verwachte gesprekslengte en het gekozen backbone, aangezien er geen universeel "beste" systeem bestaat over alle settings heen.