🤖 machine learning

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

MemDecay ist eine trainingsfreie, regionsbewusste KV-Cache-Eviction-Policy, die die semantische Struktur von LLM-Agenten-Kontexten nutzt, um verschiedenen Token-Regionen unterschiedliche Retentionsprioritäten und Zerfallsraten zuzuweisen, wodurch sie bestehende rezentien- oder aufmerksamkeitsbasierte Baselines bei der Bewahrung kritischer Informationen und der Aufrechterhaltung der Inferenzgenauigkeit unter Speicherbeschränkungen signifikant übertrifft.

Ursprüngliche Autoren: Venkatesha Matam, Keon Kim

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Venkatesha Matam, Keon Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben einen superintelligenten Roboter-Assistenten (einen LLM-Agenten), der versucht, ein riesiges, mehrstufiges Rätsel zu lösen. Er muss sich die Spielregeln, die gefundenen Hinweise, die verwendeten Werkzeuge und seine eigenen unordentlichen Notizen auf dem Schmierblatt merken. Je länger das Rätsel wird, desto voller wird das „Gehirn“ (den Speicher-Cache) des Roboters. Wenn er keinen Platz schafft, stürzt er ab oder wird langsam.

Das große Problem ist: Die meisten Roboter behandeln jedes einzelne Speicherstück gleich. Sie sagen vielleicht: „Oh, ich habe diesen Hinweis schon eine Weile nicht mehr angeschaut, also werfe ich ihn weg“, oder „Das war das Letzte, was ich gerade gelesen habe, also behalte ich es.“ Aber das ist so, als würde man die Landkarte wegwerfen, weil man sie gestern benutzt hat, aber eine zufällige Kritzeleien behalten, die man gerade eben gemacht hat.

Hier kommt MemDecay ins Spiel, eine neue Strategie, die wie ein kluger, organisierter Bibliothekar für das Gehirn des Roboters fungiert. So funktioniert es, was es herausgefunden hat und was es definitiv nicht gefunden hat.

Die Strategie des klugen Bibliothekars

Anstatt alle Erinnerungen gleich zu behandeln, fragt MemDecay den Manager des Roboters: „Was für eine Art von Erinnerung ist das?“

Ist es eine Systemanweisung? (Die Kernregeln des Roboters, wie „Sei immer höflich.“)
Ist es ein Plan? (Die Schritte zur Lösung des Rätsels.)
Ist es ein Schmierblatt (Scratchpad)? (Temporäre mathematische Berechnungen oder Notizen, an denen der Roboter gerade arbeitet.)
Ist es eine Werkzeug-Ausgabe (Tool Output)? (Daten von einem Taschenrechner oder einer Suchmaschine.)

MemDecay gibt jedem Typ von Erinnerung ein anderes „Ablaufdatum“ und eine andere „Wichtigkeitsskala“.

Systemanweisungen erhalten ein „Pinned“-Abzeichen (festgepinnt). Sie sind fest in das Regal geklebt und werden niemals weggeworfen, egal wie voll die Bibliothek wird.
Schmierblatt-Notizen haben eine sehr kurze Lebensdauer. Wenn der Roboter sie für ein paar Sekunden nicht mehr benutzt, verblassen sie.
Pläne und Werkzeuge erhalten eine mittlere Lebensdauer, aber wenn der Roboter sie erneut betrachtet, setzt sich ihre „Ablauf-Uhr“ zurück, wodurch sie sicher bleiben.

Das System berechnet für jedes Erinnerungs-Token einen Score basierend auf seinem Typ und der Aktualität der Nutzung. Wenn die Bibliothek voll ist, wirft sie zuerst die Seiten mit den niedrigsten Scores heraus.

Was die Experimente tatsächlich gezeigt haben

Die Forscher testeten dies an zwei Roboter-Größen (1,5 Milliarden und 3 Milliarden Parameter) und zwei Speichergrößen (etwa 450 Token und 1.700 Token). Sie platzierten spezifische Fakten an verschiedenen Stellen im Gedächtnis des Roboters und baten ihn dann, sich an sie zu erinnern, nachdem sie ihn gezwungen hatten, die Hälfte seines Speichers zu löschen.

1. Der „Pinned“-Sieg
Der größte Erfolg war für die „System“-Anweisungen. Als der Speicher auf 25 % oder 50 % seiner Größe zusammengedrückt wurde, bewahrte MemDecay die Systemregeln jedes Mal sicher auf (24 von 24 Proben beim kurzen Test, 21 von 24 beim langen Test).

Der Kontrast: Andere Methoden, die einfach nur die „neuesten“ Erinnerungen behalten (wie ein Roboter, der nur die letzten paar Sätze im Kopf behält), scheiterten völlig. Im langen Test konnten sie fast null Systemanweisungen abrufen. Der „nur-neueste-Inhalt“-Ansatz bricht zusammen, sobald die Geschichte länger wird.

2. Der „Scratchpad“-Realitätscheck
Die Experimente maßen exakt, wie lange verschiedene Erinnerungen nützlich blieben.

Systemanweisungen hielten lange durch: etwa 148 bis 189 Dekodierungsschritte (die Zeit, die der Roboter benötigt, um so viele Wörter zu generieren).
Schmierblatt-Notizen verschwanden unglaublich schnell: nur 14 bis 16 Schritte.
Abgerufene Dokumente (wie Suchergebnisse) waren überraschend langlebig und hielten länger durch als Werkzeug-Ausgaben oder Nutzernachrichten, obwohl die Forscher anfangs dachten, dass sie schnell verblassen würden.

3. Das Problem der „alten Fakten“ (Der Verlust)
Hier geriet MemDecay ins Straucheln. Wenn der Roboter eine alte Nutzernachricht oder einen Fakt vom Anfang des Gesprächs erinnern musste, der nicht „gepinnt“ war, versagte MemDecment oft.

Beim kurzen Test erinnerte er sich an 0 von 24 dieser alten Nutzer-Fakten.
Beim langen Test erinnerte er sich nur an 5 bis 7 von 24.
Unterdessen schnitt eine Konkurrenzmethode, die einfach die „meist-beachteten“ Token behält (genannt H2O-Stil), viel besser ab und erinnerte sich an 11 bis 20 dieser Fakten.

Warum es scheiterte? Die Arbeit erklärt, dass der „Wichtigkeits“-Score aus der Aufmerksamkeit des Roboters (wie sehr er auf ein Wort geschaut hat) zu schwach war, um die alten Fakten zu retten. Die „Verfallsrate“ (die Ablauf-Uhr) tickte für diese alten, nicht gepinnten Elemente so schnell, dass das Aufmerksamkeits-Signal die Uhr nicht stoppen konnte. Die Forscher schlagen vor, dass es nicht ausreicht, einfach nur die Lautstärke des Aufmerksamkeits-Signals hochzudrehen; die Mathematik muss angepasst werden, damit das Aufmerksamkeits-Signal stark genug ist, um mit dem Verfall zu konkurrieren.

Was MemDecay NICHT ist

Es ist wichtig zu wissen, was dieses Paper nicht behauptet:

Es ist keine magische Lösung für alles. Es schließt explizit die Idee aus, dass „Rezentheit“ (das Behalten der neuesten Inhalte) bei langen Agenten-Aufgaben funktioniert. Die Daten zeigen, dass das Vertrauen auf „was gerade gesagt wurde“ mit wachsendem Gespräch massiv scheitert.
Es ist kein „Durchbruch“, der das Recall-Problem für alte Fakten löst. Das Paper gibt zu, dass MemDecay für ungepinnte, ältere Fakten in diesen spezifischen Tests tatsächlich schlechter abschnitt als bestehende auf Aufmerksamkeit basierende Methoden.
Es lernt keine neuen Gewichte. Es ist „training-free“, was bedeutet, dass es das Gehirn des Roboters nicht neu trainiert. Es nutzt lediglich ein kluges Set an Regeln und eine kleine Menge an Messungen, um die Ablauf-Uhren zu justieren.

Das Fazate

MemDecay ist ein cleveres, regelbasiertes System, das den Speicher eines Roboters nach Typ statt nur nach Alter organisiert.

Es gewinnt großartig beim Schutz der Kernregeln und Anweisungen des Roboters und stellt sicher, dass diese niemals verloren gehen, selbst wenn der Speicher knapp wird.
Es verliert beim Erinnern an alte, ungepinte Fakten, wo es von Methoden übertroffen wird, die einfach nur der Aufmerksamkeit des Roboters folgen.

Die Forscher haben diese Ergebnisse über tausende Testfälle gemessen und festgestellt, dass der „Typ-basierte“ Ansatz zwar gut für die Struktur ist, aber eine mathematische Anpassung benötigt, um das Vergessen der alten, nützlichen Dinge zu verhindern. Es ist ein solider Schritt nach vorn, um langlaufende Roboter-Agenten zuverlässiger zu machen, aber die Arbeit ist noch nicht getan.

Technisches Resümee: MemDecay

Problemstellung

Large Language Models (LLMs) werden zunehmend als Agenten eingesetzt, die langfristige Workflows mit Multi-Turn-Interaktionen, Werkzeugnutzung und iterativer Planung ausführen. Im Gegensatz zu statischen Langkontext-Aufgaben akkumulieren diese Agenten-Traces heterogene Komponenten: Systeminstruktionen, Sicherheitsbeschränkungen, sich entwickelnde Pläne, Benutzerinteraktionen, abgerufene Dokumente, Tool-Outputs und intermediäre Reasoning-Zustände.

Der für das autoregressive Decoding benötigte Key-Value (KV)-Cache wächst linear mit diesem Trace, was einen erheblichen Speicheroverhead, Bandbreitenanforderungen und Latenzen zur Folge hat. Bestehende KV-Cache-Eviction-Policies (Verdrängungsstrategien) verlassen sich typischerweise auf modellzentrierte Signale (z. B. akkumulierte Aufmerksamkeit, Recency-Fenster oder Attention Sinks) und wenden einheitliche Retention-Regeln auf die gesamte Sequenz an. Dieser Ansatz versäumt es, die inhärente semantische Struktur orchestrierter Agenten-Prompts zu nutzen. In Agenten-Workloads haben verschiedene Komponenten sehr unterschiedliche funktionale Rollen und erwartete Lebensdauern; so müssen beispielsweise Systeminstruktionen während einer gesamten Episode bestehen bleiben, während Scratchpad-Reasoning oder veraltete Tool-Outputs möglicherweise nur für kurze Intervalle relevant sind. Die Behandlung aller Token mit derselben erwarteten Lebensdauer ignoriert diese Struktur, was zu einem suboptimalen Speichermanagement führt.

Methodik: MemDecay

Die Autoren schlagen MemDecay vor, ein trainingsfreies, regionsbewusstes KV-Cache-Eviction-Framework, das für langfristige LLM-Agenten entwickelt wurde. Die Methode arbeitet unter einem festen Cache-Budget und integriert strukturelle Priors aus der Orchestrierungsschicht mit auf Aufmerksamkeit basierender Wichtigkeit.

Kernkomponenten

Region Labels: Die Orchestrierungsschicht liefert Region-Labels für zusammenhängende Prompt-Bereiche (z. B. system, plan, user, tool_in, tool_out, retrieval, scratchpad).
Retention Score: Jedem Token $i$ $i$ wird zum Zeitpunkt $t$ $t$ ein Retention Score $s_i(t)$ $s_{i} (t)$ zugewiesen, berechnet als:
$s_i(t) = b_{r(i)} \exp(-\lambda_{r(i)} \Delta t_i(t)) + \alpha a_i(t)$
- Struktureller Prior: $b_{r(i)}$ ist ein regionsspezifischer Basis-Prior.
- Temporärer Zerfall (Decay): $\lambda_{r(i)}$ ist eine regionsspezifische Zerfallsrate. Der Term $\Delta t_i(t)$ repräsentiert die Zeit seit der letzten „Aktualisierung“ (Refresh) des Tokens.
- Aufmerksamkeitswichtigkeit: $a_i(t)$ ist ein exponentiell gewichteter gleitender Durchschnitt (EWMA) der auf das Token gerichteten Aufmerksamkeitsmasse.
- Refresh-Mechanismus: Wenn die Aufmerksamkeit auf ein Token einen Schwellenwert $\tau$ überschreitet, wird dessen Zerfalls-Uhr zurückgesetzt ( $\Delta t_i$ wird zu 0), was dessen Lebensdauer durch kontinuierliche Nutzung effektiv verlängert.
Pinning (Fixierung): System-Regionen (und optional Plan-Segmente) können „gepinnt“ werden, was bedeutet, dass sie unabhängig vom Score niemals verdrängt werden.
Eviction Policy: Der Cache wird auf Page-Granularität verwaltet (z. B. 16 Token pro Page). Wenn das Budget überschritten wird, werden die Pages anhand des mittleren Retention Scores ihrer konstituierenden Token bewertet. Die Pages mit den niedrigsten Scores werden zuerst verdrängt.

Kalibrierung

MemDecay ist hinsichtlich der Modellgewichte trainingsfrei, verwendet jedoch eine leichte statistische Kalibrierung, um die Zerfallsraten ( $\lambda_r$ ) für jede Region anzupassen. Dieser Prozess schätzt die regionsbedingten Aufmerksamkeits-Lebensdauern aus Agenten-Traces, wodurch das System in der Lage ist, sich an spezifische Workload-Charakteristika anzupassen, ohne das LLM neu trainieren zu müssen.

Wichtigste Beiträge

Formulierung: Das Paper formuliert die regionsbewusste selektive Vergessens-Problematik als Speichermanagement-Problem für LLM-Agenten und begründet die Lösung in der semantischen Struktur orchestrierter Prompts.
Algorithmus: Es führt MemDecay ein, eine Policy, die regionsspezifische Basis-Prioritäten, temporären Zerfall und auf Aufmerksamkeit basierende Aktualisierung in einem einzigen interpretierbaren Retention Score kombiniert. Es operiert auf Page-Granularität, was mit bestehenden Serving-Stacks (z. B. PagedAttention) kompatibel ist.
Messprotokoll: Die Autoren spezifizieren ein Protokoll zur Schätzung der regionsbedingten Aufmerksamkeits-Lebensdauern und zur Kalibrierung der Zerfallsraten. Dies führen sie über zwei Kontextlängen (~450 und ~1.700 Token) und zwei Modellgrößen (Qwen2.5-1.5B und 3B) mit insgesamt 4.320 bewerteten Eviction-Probes durch.

Experimentelle Ergebnisse

Die Studie evaluiert MemDecay gegenüber Baselines wie Random Eviction, Recency-basierter (Streaming) Retention und akkumulierter Aufmerksamkeits-Retention (H2O-Stil).

Zentrale Erkenntnisse

Hierarchie der Region-Lebensdauern: Die gemessenen Aufmerksamkeits-Lebensdauern unterscheiden sich über Größenordnungen hinweg zwischen den Regionen. In allen Einstellungen hatten system-Token Halbwertszeiten von 148–189 Dekodierungsschritten, während scratchpad-Token schnell zerfallen (14–16 Schritte). Retrieval-Token wurden als die am längsten lebende bewegliche Region identifiziert, was der Annahme widerspricht, dass sie schnell zerfallen.
Effektivität des Pinnings: Das Pinnen von System-Regionen garantiert das Überleben der Instruktionen. MemDecay bewahrte 21–24 von 24 System-Probes in allen Einstellungen am Full-Cache-Limit, während Recency-basierte Baselines 0–2 bewahrten.
Recency vs. Struktur: Die Recency-basierte Retention (Streaming) bricht mit zunehmender Kontextlänge ein und schneidet in langen Tiers nahe Null ab. Im Gegensatz dazu bleibt der strukturelle Prior in MemDecay effektiv.
Akkumulierte Aufmerksamkeit: Bei unpinned Inhalten verstärkt sich die akkumulierte Aufmerksamkeit (H2O-Stil) mit der Modellskalierung und übertrifft MemDecay beim unpinned Recall im 3B-Modell-Setting.
Limitation von MemDecay: MemDecay zeigte einen spezifischen Verlust beim unpinned Recall für ältere Fakten (z. B. User-Region-Fakten aus dem ersten Turn) im Vergleich zu auf Aufmerksamkeit basierenden Baselines. Eine Ablationsstudie ergab, dass der Aufmerksamkeits-Term ( $\alpha a_i$ ) in seiner Größenordnung zu klein war, um dem strukturellen Zerfall dieser Token entgegenzuwirken. Die Autoren identifizieren, dass der Aufmerksamkeits-Term eine Magnituden-Normalisierung (z. B. relativ zu uniformen Aufmerksamkeitsniveaus) benötigt, um effektiv zu sein, statt nur eine Gewichtungsanpassung.

Bedeutung und Ansprüche

Das Paper positioniert MemDecay als eine praktische, trainingsfreie Lösung, die die Cache-Retention mit der semantischen Struktur von Agenten-Workflows in Einklang bringt. Die Bedeutung liegt in:

Interpretierbarkeit: Die Policy wird durch explizite Region-Labels und Zerfallsraten gesteuert, was die Retention-Entscheidungen transparent macht.
Kompatibilität: Es operiert auf Page-Granularität ohne die Notwendigkeit eines Modell-Retrainings oder zusätzlicher Module und fügt sich in bestehende Serving-Stacks ein.
Garantierte Stabilität: Durch das Pinnen kritischer Regionen stellt es sicher, dass Systeminstruktionen und Sicherheitsbeschränkungen niemals aufgrund von Speicherproblemen verloren gehen – eine Garantie, die durch Aufmerksamkeits- oder Recency-basierte Methoden nicht gegeben ist.
Adaptivität: Das Kalibrierungsprotokoll zeigt, dass Region-Lebensdauern workloadabhängig sind und gemessen werden können, um Zerfallsraten zu optimieren, was die Verwendung statischer, universeller Eviction-Policies infrage stellt.

Die Autoren kommen zu dem Schluss, dass MemDecay zwar erfolgreich strukturelle Priors und gepinnte Instruktionen bewahrt, zukünftige Arbeiten jedoch die Magnituden-Normalisierung des Aufmerksamkeits-Terms adressieren müssen, um den unpinned Recall zu verbessern, sowie tiered Extensions (z. B. Offloading in den Host-Speicher) untersuchen müssen, um irreversible Eviction zu handhaben.