🤖 AI

Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks

Das Papier stellt Memory-as-Action (MemAct) vor, ein Framework, das das Management des Arbeitsgedächtnisses als lernbare Politikaktionen behandelt, die durch Reinforcement Learning optimiert werden, um eine effiziente, adaptive Kontextkuratierung für langfristige agentische Aufgaben zu ermöglichen und dabei die Genauigkeit deutlich größerer Modelle bei gleichzeitiger erheblicher Reduzierung der Kontextlänge zu erreichen.

Ursprüngliche Autoren: Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, mehrstufiges Puzzle zu lösen, etwa die Planung einer komplexen Reise oder das Debuggen eines riesigen Softwareprogramms. Sie haben eine riesige Whiteboard (den Arbeitsspeicher Ihres Computers), auf das Sie jeden Gedanken, jedes Suchergebnis und jeden Hinweis notieren, den Sie finden.

Das Problem:
Je länger die Aufgabe wird, desto voller wird Ihr Whiteboard. Sie beginnen, alles aufzuschreiben: „Ich habe das Wetter recherchiert", „Ich habe den Fahrplan geprüft", „Ich habe über die Geschichte der Stadt gelesen", „Ich habe das Wetter erneut recherchiert". Schließlich ist das Board so voller Kritzeleien, dass Sie die wichtigen Hinweise nicht mehr finden können. Sie geraten mitten in Ihren eigenen Notizen „auf der Strecke".

Aktuelle KI-Assistenten machen dasselbe. Sie fügen einfach Notizen am Ende der Seite hinzu, löschen nichts, bis die Seite zu unübersichtlich ist, um sie effektiv zu lesen.

Die Lösung: „Gedächtnis als Handlung" (MemAct)
Diese Arbeit stellt eine neue Denkweise für KI vor. Anstatt nur passiv Notizen zu machen, wird die KI darin unterwiesen, aktiv auf ihr eigenes Gedächtnis einzuwirken. Stellen Sie sich vor, man gibt der KI eine Schere und einen Textmarker.

Die Autoren nennen dieses Framework MemAct. Hier ist die Funktionsweise in einfachen Worten:

1. Die „Bearbeiten"-Taste

Auf die alte Weise redet die KI einfach weiter. In MemAct verfügt die KI über ein spezielles Werkzeug namens Prune & Write (Beschneiden und Schreiben).

Prune (Die Schere): Die KI betrachtet ihre Historie und entscheidet: „Ich brauche diese 10 alten Suchergebnisse nicht mehr; ich kenne bereits die Antwort auf diesen Teil." Sie schneidet sie heraus.
Write (Der Textmarker): Bevor sie schneidet, schreibt die KI eine kurze, übersichtliche Zusammenfassung dessen, was sie aus diesen alten Notizen gelernt hat.
Das Ergebnis: Die unordentliche, lange Historie wird durch eine saubere, kurze Zusammenfassung ersetzt. Die KI behält die Bedeutung, verliert aber das Unordnung.

2. Die „intelligente" Entscheidung

Der knifflige Teil ist zu wissen, wann man schneidet. Schneidet man zu früh, verliert man wichtige Fakten. Schneidet man zu spät, ist das Board zu unordentlich.

Alte Methode: Ein menschlicher Programmierer setzt eine Regel fest wie: „Alle 5 Minuten die ältesten Notizen löschen." Dies ist starr und löscht oft die falschen Dinge.
MemAct-Methode: Die KI lernt, selbst zu entscheiden. Es ist wie ein Schüler, der lernt: „Wenn ich den ersten Teil der Matheaufgabe gelöst habe, kann ich die Kritzeln löschen, damit ich Platz für den nächsten Teil habe." Die KI lernt diese Strategie durch Versuch und Irrtum (Reinforcement Learning).

3. Die „Eisenbahn"-Herausforderung (DCPO)

Es gab eine große technische Hürde. Stellen Sie sich einen Zug vor, der sich auf Gleisen vorwärts bewegt. Wenn die KI plötzlich ein Stück des Gleises hinter sich löscht, könnte der Zug (der Denkprozess der KI) entgleisen, da er auf der Annahme aufgebaut war, dass Gleise nur hinzugefügt, nie entfernt werden.

Die Autoren erfanden eine clevere Lösung namens DCPO (Dynamic Context Policy Optimization).

Die Analogie: Stellen Sie sich vor, Sie filmen einen Film. Wenn der Schauspieler eine Zeile vergisst und der Regisseur sagt: „Cut! Lasst uns diese Szene wiederholen", dann filmen Sie nicht einfach weiter über den Fehler hinweg. Sie gehen zurück, drehen die Szene neu und schneiden das neue, korrekte Filmmaterial in die Filmrolle ein.
Die Lösung: DCPO macht dies für das Training der KI. Wenn die KI ihr Gedächtnis bearbeitet, „spult" das System logisch zurück und organisiert die Trainingsdaten in saubere, getrennte Segmente neu. Dies ermöglicht der KI, zu lernen, wie sie ihr Gedächtnis bearbeitet, ohne durch ihre eigenen Änderungen verwirrt zu werden.

Die Ergebnisse: Kleiner, Schneller, Intelligenter

Die Arbeit testete dies mit einem KI-Modell mit 14 Milliarden Parametern (was groß ist, aber nicht das größte).

Der Vergleich: Sie verglichen es mit einem „riesigen" KI-Modell (235 Milliarden Parameter), das einen riesigen Speicher hat, aber nicht weiß, wie man ihn aufräumt.
Das Ergebnis: Das kleinere MemAct-KI-Modell schnitt genauso gut ab wie das riesige Modell, nutzte jedoch 51 % weniger Speicherraum.
Der Vorteil: Weil es sein „Whiteboard" sauber hielt, war es schneller und ließ sich nicht von irrelevanter Information verwirren. Es lernte, ein „chirurgischer" Editor zu sein, der nur das entfernt, was notwendig ist, um seinen Fokus scharf zu halten.

Zusammenfassung

Die Arbeit behauptet, dass KI, indem man ihr beibringt, ihr eigenes Kurzzeitgedächtnis aktiv zu verwalten – zu entscheiden, was zu behalten, was zusammenzufassen und was zu löschen – komplexe, langfristige Probleme viel effizienter lösen kann. Sie verwandelt das Gedächtnismanagement von einem passiven Speicherproblem in eine aktive, erlernte Fähigkeit und ermöglicht kleineren Modellen, über ihre Gewichtsklasse hinaus zu performen.

Technische Zusammenfassung: Gedächtnis als Aktion (MemAct)

1. Problemstellung

Langfristige agentische Aufgaben, wie tiefgehende Recherche und Softwareentwicklung, erfordern von Large Language Models (LLMs), ein umfangreiches Arbeitsgedächtnis zu unterhalten. Obwohl Long-Context-LLMs die Kapazität erweitert haben, leiden sie unter Verdünnung der Aufmerksamkeit und „Lost-in-the-Middle"-Verhalten, wenn die Kontexte mit irrelevanter Information überfüllt sind.

Derzeitige Ansätze zur Verwaltung dieses Kontexts fallen in zwei suboptimale Kategorien:

Passive Komprimierung: Methoden wie Token-Level-Komprimierung oder periodische Zusammenfassung arbeiten ohne Bewusstsein für den spezifischen Denkzustand des Agents und riskieren den Verlust semantisch kritischer Abhängigkeiten.
Externe Controller: Systeme, die heuristische Regeln oder externe Module zur Verwaltung des Gedächtnisses nutzen, entkoppeln die Kontextkuratierung von der Kern-Denkstrategie des Agents. Dies verhindert eine End-to-End-Optimierung der Informationsretention gegenüber der Aufgabenleistung.

Die erkannte Kernherausforderung ist die Kontextkuratierung: die Notwendigkeit, Informationen strategisch auszuwählen, zu integrieren und zu beschneiden, um einen fokussierten, zielrelevanten Denkpfad aufrechtzuerhalten. Bestehende Methoden versagen darin, dies als inhärente, lernbare Fähigkeit des Agents zu behandeln.

2. Methodik: Memory-as-Action (MemAct)

Die Arbeit schlägt MemAct vor, ein Framework, das Kontextmanagement als eine Reihe lernbarer Aktionen innerhalb eines einheitlichen Policy-Raums neu konzeptualisiert, anstatt als externer Mechanismus.

2.1 Kernframework

MemAct integriert die Kontextkuratierung direkt in den Aktionsraum des Agents ( $\mathcal{A} = \mathcal{A}_{task} \cup \mathcal{A}_{mem}$ ).

Einheitliche Policy: Eine einzige Policy $\pi_\theta$ entscheidet sowohl über Aufgabenaktionen (z. B. Suche, Werkzeugnutzung) als auch über Gedächtnisaktionen.
Prune&Write-Operator: Die primäre Gedächtnisaktion ist eine Bearbeitung vor Ort. Wenn ausgelöst, führt der Agent Folgendes aus:
1. Prune (Beschneiden): Entfernt spezifische historische Interaktionsschritte, die durch eindeutige IDs identifiziert werden.
2. Write (Schreiben): Synthetisiert eine neue Gedächtnisnotiz (enthaltend Zusammenfassungen, Fakten oder Planung) und fügt sie an den Kontext an.
Zustandsrepräsentation: Das Arbeitsgedächtnis wird als Sequenz eindeutig adressierbarer Interaktionsaufzeichnungen modelliert $H_t = [z_1, z_2, \dots, z_k]$ , wobei jede Aufzeichnung eine Aktion, eine Beobachtung und eine eindeutige ID enthält.

2.2 Trainingsherausforderung: Dynamische Kontextaktualisierungen

Eine erhebliche Hürde beim Training von MemAct ist die Train-Inference-Mismatch. Kausale LLMs gehen von einem monotonen Kontextwachstum aus. Wenn MemAct Inhalte löscht, werden die kausalen Abhängigkeiten, die im Key-Value (KV)-Cache nachfolgender Token kodiert sind, ungültig (die „gelöschten" Informationen beeinflussen physisch weiterhin die verborgenen Zustände der Token, die vor dem Löschen generiert wurden). Einfaches Attention-Masking ist unzureichend, da es diese kausalen Abhängigkeiten nicht durchtrennt.

2.3 Lösung: Dynamic Context Policy Optimization (DCPO)

Um effizientes Reinforcement Learning (RL) mit dynamischen Kontextaktualisierungen zu ermöglichen, führen die Autoren DCPO ein.

Trajektorien-Segmentierung: DCPO unterteilt die Interaktionstrajektorie des Agents logisch an jedem Punkt einer Gedächtnisbearbeitung.
Unabhängige Segmente: Die Trajektorie wird in $K+1$ unabhängige Segmente $\{\sigma_i\}$ neu organisiert. Innerhalb jedes Segments ist das Kontextpräfix festgelegt, wodurch die für eine stabile Gradientenberechnung erforderliche Standard-autoregressive kausale Struktur wiederhergestellt wird.
Optimierung: Die Policy wird unter Verwendung eines gruppenrelativen Normalisierungsschemas (ähnlich GRPO) über diese rekonstruierten, logisch konsistenten Segmente optimiert, wodurch sichergestellt wird, dass Gradienten gegen die korrekte Kontexthistorie berechnet werden.

3. Hauptbeiträge

Paradigmenwechsel: Einführung von Memory-as-Action, der das Management des Arbeitsgedächtnisses von externen Heuristiken zu einer inhärenten, lernbaren Policy-Fähigkeit verschiebt. Dies ermöglicht es Agents, autonom die Balance zwischen Kontextkuratierung und Aufgabenexecution zu halten.
Technische Innovation:
- Formulierung des Arbeitsgedächtnisses als Markov-Entscheidungsprozess (MDP) mit ID-basiert adressierbaren Sequenzen und dem Prune&Write-Operator für feingranulare Bearbeitung.
- Entwicklung von DCPO, einem Trajektorien-Segmentierungsalgorithmus, der dynamische Kontextaktualisierungen mit effizientem RL-Training auf Standardinfrastruktur ohne maßgeschneiderte Modifikationen in Einklang bringt.
Empirische Validierung: Demonstration, dass erlernte Gedächtnisstrategien effizient, adaptiv und generalisierbar sind.

4. Experimentelle Ergebnisse

Die Autoren bewerteten MemAct auf synthetischen Multi-Objective-QA-Datensätzen (basierend auf HotpotQA) und öffentlichen Benchmarks (2WikiMultihopQA, Bamboogle, Frames, BrowseComp-Plus).

Leistung vs. Effizienz:
- MemAct-RL-14B (14B Parameter) erreichte 59,1% Genauigkeit bei Multi-Objective-Aufgaben und übertraf damit Qwen3-235B (235B Parameter, 53,1%) sowie den spezialisierten Tongyi-DeepResearch (56,0%).
- Trotz der kleineren Größe reduzierte MemAct-RL-14B die durchschnittliche Kontextlänge pro Schritt um 51% im Vergleich zu Qwen3-235B (3.500 Token vs. ~7.000 Token) und reduzierte den gesamten Token-Verbrauch um 51%.
- Es erreichte die Genauigkeit von Modellen, die 16× größer sind, und operierte dabei mit deutlich niedrigeren Rechenkosten.
Generalisierung:
- Das Modell wurde auf Aufgaben mit maximal 3 Zielen trainiert, generalisierte jedoch erfolgreich auf Aufgaben mit 8 Zielen und behielt dabei eine hohe Genauigkeit bei, wo Baselines eine Leistungssättigung zeigten.
- Es zeigte Robustheit über verschiedene Modellskalen (7B und 14B) und neue Werkzeugumgebungen (BrowseComp-Plus).
Erlernte Strategien:
- 7B-Modelle: Lernten, häufiges, aggressives Beschneiden durchzuführen (Entfernung von ~7 Aufzeichnungen pro Aktion), um die begrenzte Kontextkapazität auszugleichen.
- 14B-Modelle: Entwickelten eine bimodale Strategie: feingranulares Beschneiden (~~2 Aufzeichnungen) während des Denkens, um Rauschen zu entfernen, und grobgranulares Beschneiden (~~6 Aufzeichnungen) nach Abschluss von Teilzielen, um Zwischenschritte zu bereinigen.
Latenz: MemAct reduzierte die gesamte Inferenzdauer um 40% im Vergleich zu Search-R1 (ein RL-Baseline ohne Gedächtnisaktionen) aufgrund reduzierter Pre-Fill-Zeiten und höherer Prefix-Cache-Trefferquoten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass autonome Kontextkuratierung als lernbare Fertigkeit internalisiert werden kann und als fundamentaler und skalierbarer architektonischer Baustein für agentisches Verhalten dient.

Inhärente Fähigkeit: Die Ergebnisse deuten darauf hin, dass Agents keine externen Gedächtnismanager benötigen; sie können lernen, ihr eigenes Arbeitsgedächtnis zu „bearbeiten", um den Denkfokus aufrechtzuerhalten.
Skalierbarkeit: Das Framework ermöglicht es kleineren Modellen, mit viel größeren Modellen zu konkurrieren, indem es die Informationsdichte optimiert und nicht nur die Rohkapazität.
Adaptivität: Das System entdeckt autonom Strategien, die auf die spezifische Kapazität des Backbone-Modells zugeschnitten sind, und passt die Intensität der Gedächtnisaktionen basierend auf der Aufgabenkomplexität an.

Die Autoren räumen Einschränkungen ein und stellen fest, dass der Ansatz auf sparse Belohnungen angewiesen ist, was die Kreditvergabe erschweren kann, und dass die verlustbehaftete Natur der Komprimierung bedeutet, dass Originaldaten nach der Zusammenfassung nicht wiederhergestellt werden können. Dennoch gehen sie davon aus, dass dieser Ansatz eine prinzipielle Schnittstelle auf der Entscheidungsebene bietet, die sich zu Systeminfrastrukturen auf höherer Ebene ergänzt.