💬 NLP

Total Recall at What Cost? Benchmarking the Serving Cost of Agentic Memory Systems

Diese Arbeit bewertet die Bereitstellungskosten und die Genauigkeit von drei agentischen Gedächtnissystemen gegenüber Standardstrategien und zeigt auf, dass die Kosten eher durch interne Systemverhalten als allein durch die Konversationslänge getrieben werden, über verschiedene Backbones und Systeme hinweg signifikant variieren und einen Trade-off beinhalten, bei dem keine einzelne Lösung sowohl Kosten als auch Genauigkeit optimiert.

Ursprüngliche Autoren: Natchanon Pollertlam, Witchayut Kornsuwannawit

Veröffentlicht 2026-08-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Natchanon Pollertlam, Witchayut Kornsuwannawit

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterhalten sich mit einem sehr klugen, aber etwas vergesslichen Roboter-Freund. Sie haben seit Wochen mit ihm geplaudert, Geschichten, Pläne und Geheimnisse geteilt. Nun möchten Sie fragen: „Erinnerst du dich an den Pizzaladen, über den wir vor drei Wochen gesprochen haben?“ Wenn der Roboter kein Gedächtnis hat, müssen Sie jedes Mal die gesamte Geschichte Ihrer Freundschaft vom ersten Tag an neu erzählen, wenn Sie eine Frage stellen. Das ist so, als würden Sie jedes Mal einen riesigen, schweren Rucksack voller jedes Wortes, das Sie jemals zum Roboter gesagt haben, mitschicken, nur um eine einfache Frage zu stellen. Es funktioniert, aber es wird schnell schwer, langsam und teuer.

Um dies zu beheben, haben Ingenieure „Gedächtnissysteme“ für diese Roboter gebaut. Anstatt den ganzen Rucksack zu tragen, schreibt der Roboter kleine Notizen, Fakten oder Zusammenfassungen in ein spezielles Notizbuch. Wenn Sie eine Frage stellen, blättert er einfach zur richtigen Seite und lift die Notiz. Das klingt perfekt: leichter, schneller und günstiger. Aber hier ist der Haken: Das Schreiben der Notizen, das Organisieren und das Finden der richtigen Seite kostet ebenfalls Arbeit. Die große Frage ist: Spart der Roboter Geld, indem er das Notizbuch benutzt, oder macht der Aufwand, das Notizbuch zu verwalten, das Ganze tatsächlich teurer als einfach nur den schweren Rucksack zu tragen? Dieses Paper taucht genau in dieses Geheimnis ein und misst den realen Preisschild dieser Gedächtnistricks, um zu sehen, ob sie den Aufwand wirklich wert sind.

Der große Gedächtniskosten-Showdown

In dieser Studie setzten die Forscher ein massives Rennen auf die Beine, um zu sehen, wie viel es wirklich kostet, das Gedächtnis eines Chatbots am Leben zu erhalten. Sie haben nicht nur geraten; sie führten ein kontrolliertes Experiment mit drei verschiedenen „Gedächtnissystemen“ durch (denken Sie an drei verschiedene Arten, dieses Notizbuch zu organisieren): Mem0, Hindsight und Mastra Observational Memory.

Um den Test fair zu gestalten, verglichen sie diese Gedächtnissysteme mit zwei extremen Strategien:

Das „Rolling Window“ (Die günstige Baseline): Das ist so, als würde man sich nur an die letzten 10 Dinge erinnern, die man gesagt hat. Es ist super günstig, aber es vergisst alles andere.
Das „Full Transcript“ (Die teure Baseline): Das ist die „schwere Rucksack“-Methode. Jedes Mal, wenn Sie eine Frage stellen, liest der Roboter die gesamte Historie Ihres Gesprächs vom allerersten Wort an neu.

Sie ließen diese Systeme durch Gespräche von bis zu 400 Durchgängen (das sind 400 Hin-und-her-Nachrichten) laufen und testeten sie an 665 spezifischen Fragen, um zu sehen, ob der Roboter sich tatsächlich an die richtigen Dinge erinnerte. Sie testeten auch zwei verschiedene „Gehirne“ (Backbone-Modelle) für den Roboter, um zu sehen, ob die Art des Gehirns die Kosten verändert.

Die große Überraschung: Man kann den Preis nicht vorhersagen

Die erste große Entdeckung ist, dass man nicht einfach nur schauen kann, wie lang das Gespräch ist oder wie groß die Nachrichten sind, um die Kosten zu erraten. Die Forscher versuchten, eine einfache mathematische Formel zu erstellen, um die Kosten basierend auf der Gesprächslänge und der Nachrichtengröße vorherzusagen.

Für die Strategien „Full Transcript“ und „Rolling Window“ funktionierte die Mathematik perfekt. Wenn man weiß, wie viele Wörter man gesendet hat, weiß man genau, wie viel es kostet.
Für die Gedächtnissysteme versagte die Mathematik kläglich. Die Formel verfehlte die tatsächlichen Kosten um 18 % bis 69 %.

Warum? Weil die Kosten eines Gedächtnissystems nicht nur davon abhängen, wie viel man spricht, sondern davon, was das System intern tut, während man spricht. Manchmal entscheidet sich das System, eine lange Zusammenfassung zu schreiben, ein anderes Mal greift es nur einen schnellen Fakt ab. Manchmal organisiert es sein ganzes Notizbuch neu. Diese internen Entscheidungen werden durch den Inhalt des Gesprächs gesteuert, nicht nur durch die Länge. Es ist, als würde man versuchen, die Kosten eines Roadtrips vorherzusagen, indem man nur auf die Karte schaut, ohne zu wissen, ob der Fahrer für ein schickes Mittagessen anhält oder nur einen Granola-Riegel nimmt. Das „Mittagessen“ (die interne Verarbeitung) variiert stark, was die Gesamtrechnung unvorhersehbar macht.

Der „Break-Even“-Punkt: Wann lohnt sich das Notizbuch?

Die Forscher stellten eine entscheidende Frage: Ab welchem Punkt ist die Verwendung eines Gedächtnissystems günstiger als das bloße erneute Lesen der gesamten Historie?

Die Antwort lautet: Es hängt ganz und gar vom System und dem Gehirn des Roboters ab.

Mastra Observational Memory war der Sprinter. In einigen Fällen war es schon ab dem allerersten Durchgang (Turn 0) günstiger als die „Full Transcript“-Methode.
Mem0 brauchte etwas länger und erreichte den Break-Even-Punkt meistens um den Durchgang 82, aber nur, wenn die Nachrichten eine angemessene Länge hatten.
Hindsight war der Langsamste. In vielen Fällen wurde es nicht günstiger als die „Full Transcript“-Methode, selbst nach 400 Durchgängen. Tatsächlich war es in einigen Setups am Ende des Tests immer noch teurer.

Das bedeutet: Wenn Sie ein kurzes Gespräch führen, kann die Verwendung eines komplexen Gedächtnissystems tatsächlich mehr kosten als einfach nur den gesamten Chatverlauf erneut zu senden. Man muss eine gewisse Zeit lang sprechen (den „Break-Even“-Punkt erreichen), bevor das Gedächtnissystem anfängt, Geld zu sparen.

Genauigkeit vs. Kosten: Kein Gratis-Essen

Die Studie prüfte auch, ob die Gedächtnissysteme tatsächlich gut darin waren, Fragen zu beantworten. Die Ergebnisse zeigten eine breite Spanne der Leistung:

Die Genauigkeit variierte zwischen 21 % und 54 %.
Mem0 hatte die größten Schwankungen in der Genauigkeit; es funktionierte gut bei einigen Roboter-Gehirnen und schlecht bei anderen.
Hindsight war im Allgemeinen am genauesten (oft über 50 %), war aber auch am teuersten im Betrieb.
Mastra war ein Mittelstreiter, war aber oft am kosteneffizientivsten, wenn man berücksichtigte, wie viele korrekten Antworten es gab.

Die Forscher fanden heraus, dass die Wahl des „Gehirns“ (Backbone-Modells) des Roboters genauso wichtig war wie die Wahl des Gedächtnissystems. Ein Gedächtnissystem, das bei einem Roboter-Gehirn günstig war, konnte bei einem anderen teuer sein.

Das endgültige Urteil

Das Paper kommt zu dem Schluss, dass es kein einzelnes „bestes“ Gedächtnissystem gibt.

Wenn Sie die günstigste Option pro korrekter Antwort für ein spezifisches Roboter-Gehirn wollen, war Mastra auf dem gpt-oss-20b-Gehirn der Gewinner (mit Kosten von etwa 0,028 $ pro korrekter Antwort bei 100 Durchgängen).
Wenn Sie ein anderes Roboter-Gehirn verwenden (Gemma 4 26B A4B), wird Mem0 zur günstigsten Option.
Hindsight ist, obwohl genau, oft zu teuer, um es wert zu sein, es sei denn, das Gespräch ist sehr lang.

Die wichtigste Erkenntnis ist, dass man sich nicht einfach für ein Gedächtnissystem entscheiden kann, nur weil es cool klingt. Man muss seine spezifische Situation betrachten: Wie lang wird das Gespräch sein? Wie groß sind die Nachrichten? Und welches Roboter-Gehirn verwenden Sie? Nur dann können Sie wissen, ob das Gedächtnissystem Ihnen Geld spart oder nur Ihre Rechnung erhöht. Das „Total Recall“ eines Gedächtnissystems hat einen Preis, und dieser Preis ist weita viel komplexer als das bloße Zählen der Wörter, die Sie tippen.

Technisches Resümee: Total Recall – Zu welchem Preis? Benchmarking der Serving-Kosten von agentischen Gedächtnissystemen

Problemstellung

Da konversationelle Agenten von einstufigen Demonstrationen zu langfristigen Einsätzen über Wochen oder Monate hinweg übergehen, benötigen sie Mechanismen, um Informationen über mehrere Interaktionen hinweg zu speichern. Es existieren zwei primäre Strategien: (1) Vollständige Transkript-Resubmission, bei der die gesamte Konversationshistorie in jedem Turn erneut an das Kontextfenster des LLM gesendet wird, und (2) Agentische Gedächtnissysteme, welche vergangene Interaktionen in kompakte Datensätze (Fakten, Zusammenfassungen, Wissensgraphen) destillieren und nur relevante Teilmengen abrufen.

Obwohl Gedächtnissysteme eingesetzt werden, um dem unbegrenzten Kostenwachstum der vollständigen Transkript-Resubmission zu entkommen, bleibt der tatsächliche Serving-Kostenaufwand dieser Gedächtnissysteme schlecht verstanden. Bestehende Evaluierungen konzentrieren sich fast ausschließlich auf Genauigkeit und Recall und berichten oft nur isolierte Token-Einsparungen unter spezifischen Bedingungen. Es mangelt an einem systematischen, systemübergreifenden Benchmarking, das die End-to-End-Serving-Kosten von Gedächtnissystemen gegenüber transparenten Baselines zusammen mit Metriken zur Genauigkeit misst. Folglich können Praktiker nicht bestimmen, ob ein Gedächtnissystem im Vergleich zur einfachen Resubmission des Transkripts wirtschaftlich rentabel ist.

Methodik

Die Autoren führten ein kontrolliertes Benchmark durch, welches drei agentische Gedächtnissysteme gegen zwei Referenzstrategien über zwei Backbone-Modelle und variierende Einstellungen des Denkaufwands (Reasoning Effort) evaluierte.

Evaluierte Systeme

Mem0: Ein flaches Extract-and-Retrieve-System, das atomare Fakten in einer Vektordatenbank speichert.
Hindsight: Ein System, das eine Retain–Recall–Reflect-Pipeline für die Gedächtnisaufnahme nutzt.
Mastra Observational Memory: Ein Observer–Reflector–Actor-Loop mit schwellenwertgesteuerter Konsolidierung.
Referenzstrategien:
- Rolling Window (Floor): Ein fester Fenstergrößen-Ansatz der letzten 10 Turns (keine persistente Speicherung).
- Full History (Ceiling): Das wiederholte Senden des gesamten Transkripts in jedem Turn.

Experimentelles Design

Backbones: Evaluierung auf gpt-oss-20b und Gemma 4 26B A4B bei "Low" und "Medium" Reasoning Effort Settings.
Workload: Synthetische Konversationen, generiert für spezifische Längen ( $N$ ) und pro-Turn Token-Größen ( $L$ ), bis zu 400 Turns.
Kostenmessung: Die Studie modellierte die gesamten abrechenbaren Input-Token über drei Pipeline-Stufen: Ingest (Faktenextraktion/Konsolidierung), Retrieval und Answer.
Kostenmodell: Ein separierbares Log-Log-Regressionsmodell wurde gefittet, um die Kosten ( $C$ ) basierend auf der Nachrichtengröße ( $L$ ) und der Konversationstiefe ( $t$ ) vorherzusagen:
$\log(C+1) = a + p\log(L+1) + q\log(t+1)$
wobei $p$ die Kostensensitivität gegenüber der Nachrichtengröße und $q$ gegenüber der Konversationstiefe darstellt.
Genauigkeits-Benchmark: Parallel zu den Kostenmessungen wurde die Genauigkeit anhand einer stratifizierten Teilmenge des LoCoMo-Benchmarks (665 Fragen über Multi-Session-Dialoge) evaluiert.
Validierung: Die Modelle wurden mittels Leave-One-Cell-Out Cross-Validation (LOOCV) validiert, um die Generalisierbarkeit zu testen.

Kernergebnisse

1. Kostenmodellierung und Vorhersagbarkeit

Referenzstrategien: Das Kostenmodell passt die Referenzstrategien außergewöhnlich gut an ( $R^2 \geq 0,91$ ). Die Full-History-Baseline zeigt $p \approx q \approx 1$ (Kosten skalieren mit dem Gesamtinhalt), während das Rolling Window $p \approx 0,9$ aber $q \approx 0,1$ zeigt (Kosten skalieren mit der Nachrichtengröße, bleiben aber hinsichtlich der Tiefe flach).
Gedächtnissysteme: Das Modell scheitert an der Vorhersage der Kosten der Gedächtnissysteme.
- Mem0: $p \approx 0,17, q \approx 0,08$ (geringe Sensitivität für beides).
- Hindsight: $p \approx 0,15, q \approx 0,42$ (hohe Sensitivität gegenüber der Tiefe).
- Mastra OM: $p \in [0,61, 0,79], q \in [0,23, 0,36]$ .
- Held-out Error: Während Baselines mit einem Fehler von < 6,5 % generalisieren, weisen Gedächtnissysteme in der Held-out-Validierung Fehler von 18–69 % auf. Dies deutet darauf hin, dass die Serving-Kosten von Gedächtnissystemen durch den internen Gedächtniszustand (z. B. Trigger-Schwellenwerte, Konsolidierungsraten) getrieben werden und nicht nur durch die Konversationslänge oder Nachrichtengröße.

2. Break-Even-Analyse

Die Studie berechnete den "Break-Even-Turn" – den Punkt, an dem ein Gedächtnissystem günstiger wird als die Resubmission des vollständigen Transkripts.

Hohe Variabilität: Der Break-Even-Punkt ist hochsensibel gegenüber dem System, dem Backbone und der Workload.
- Mastra OM: Kann sofort (Turn 0) oder innerhalb weniger Zehner-Turns den Break-Even erreichen.
- Mem0: Erreicht den Break-Even innerhalb weniger Zehner-Turns bei größeren Nachrichten, kann aber bei kleineren Nachrichten bis zu 342 Turns benötigen.
- Hindsight: Erreicht oft innerhalb von 400 Turns keinen Break-Even, insbesondere bei kleineren Nachrichtengrößen.
Größenordnung: Sobald ein Gedächtnissystem den Break-Even erreicht, kann es bis zu 12,7-mal günstiger sein als die Full-History-Resubmission. Umgekehrt können Systeme, die den Break-Even nicht erreichen (wie Hindsight bei kleinen Nachrichten), bis zu 3,3-mal teurer sein als das vollständige Transkript.

3. Kosten-Genauigkeits-Trade-offs

Genauigkeitsbereich: Die Genauigkeit auf LoCoMo variierte signifikant (21 %–54 %), abhängig vom System und Backbone.
Kein dominantes System: Kein einzelnes System gewinnt sowohl bei den Kosten als auch bei der Genauigkeit.
- Mastra OM auf gpt-oss-20b (low effort) erreichte die niedrigsten Kosten pro korrekter Antwort ($0,028 bei 100 Turns).
- Mem0 auf Gemma 4 26B A4B war die kosteneffizienteste Option für diesen Backbone.
- Hindsight war generell am teuersten im Serving, erreichte jedoch in einigen Konfigurationen eine höhere Genauigkeit.
Backbone-Einfluss: Die Wahl des Backbone-Modells beeinflusst die Kosten ebenso stark wie die Wahl des Gedächtnissystems. Beispielsweise sank die Kostenrate von Mem0 auf Gemma 4 26B A4B signifikant aufgrund eines geringeren Verbrauchs von Reasoning-Token im Vergleich zu gpt-oss-20b.

Bedeutung und Behauptungen

Das Paper beansprucht, das erste kontrollierte, systemübergreifende Benchmark der Serving-Kosten von agentischem Gedächtnis gepaart mit Genauigkeit zu liefern. Seine primären Beiträge und Erkenntnisse sind:

Kosten sind nicht-linear und zustandsabhängig: Die Serving-Kosten eines Gedächtnissystems können nicht allein durch die Konversationslänge und die Nachrichtengröße vorhergesagt werden. Das interne Verhalten der Gedächtnis-Pipeline (Trigger, Konsolidierung) treibt die Kostenvarianz, was einfache Regressionsmodelle unzureichend macht.
Kontextabhängige wirtschaftliche Rentabilität: Ob ein Gedächtnissystem günstiger ist als die Resubmission des vollständigen Transkripts, ist keine intrinsische Eigenschaft des Systems, sondern eine Funktion der Workload (Konversationslänge, Nachrichtengröße) und des Backbone-Modells. Break-Even-Punkte reichen von unmittelbar bis "niemals" innerhalb von 400 Turns.
Gemeinsame Entscheidungsfindung: Praktiker können nicht isoliert nach Kosten oder Genauigkeit optimieren. Die Wahl des Backbone-Modells und des Gedächtnissystems sind gekoppelt; ein Backbone, der die Kosten für ein Gedächtnissystem senkt, kann sie für ein anderes erhöhen.
Limitierungen aktueller Benchmarks: Die Studie hebt hervor, dass bestehende Benchmarks, die sich rein auf die Genauigkeit konzentrieren, die kritische Produktionsbeschränkung der Serving-Kosten übersehen und dass aktuelle Kostenmodelle für Gedächtnis eher deskriptiv als mechanistisch sind.

Die Autoren kommen zu dem Schluss, dass die Auswahl eines Gedächtnissystems eine spezifische Analyse der erwarteten Konversationslänge und des gewählten Backbones erfordert, da es kein universell "bestes" System über alle Settings hinweg gibt.