💬 NLP

Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

Dieses Paper führt einen proaktiven Gedächtnisagenten ein, der entscheidungserhebliche Informationen aktiv verwaltet und injiziert, um den „Verhaltenszustandszerfall“ (behavioral state decay) bei langfristigen Aufgaben zu verhindern, wodurch die Leistung durch selektive Intervention und Open-Weight-Policy-Training über verschiedene Benchmarks hinweg signifikant verbessert wird.

Ursprüngliche Autoren: Yifan Wu, Lizhu Zhang, Yuhang Zhou, Mingyi Wang, Bo Peng, Serena Li, Xiangjun Fan, Zhuokai Zhao

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yifan Wu, Lizhu Zhang, Yuhang Zhou, Mingyi Wang, Bo Peng, Serena Li, Xiangjun Fan, Zhuokai Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein superkomplexes Videospiel, das Stunden dauert. Sie beginnen mit einer klaren Mission: „Baue eine Burg, aber verwende keine roten Ziegel und stelle sicher, dass der Burggraben mit Wasser gefüllt ist.“ In der ersten Stunde sammeln Sie blaue Ziegel und graben den Graben. Dann werden Sie von einem coolen Drachen abgelenkt, der auftaucht. Sie verbringen die nächste Stunde damit, den Drachen zu bekämpfen und vergessen dabei die Burg. Plötzlich erinnern Sie sich an die Burg, aber Ihr Gehirn ist so voll mit Details vom Drachenkampf, dass Sie versehentlich einen roten Ziegel greifen und anfangen zu bauen. Sie haben die Regeln vergessen, die Sie noch vor einer Stunde perfekt kannten.

Genau das passiert KI-Agenten, wenn sie versuchen, lange, komplizierte Aufgaben zu lösen. Die Forscher bei Meta AI nennen dies „Behavioral State Decay“ (Verfall des Verhaltenszustands). Es ist nicht so, dass die KI die Information völlig vergisst; die Daten sind noch in ihrem „Gedächtnis“ (dem Chatverlauf) vorhanden, aber sie hören auf, für die Entscheidungen, die sie als Nächstes trifft, eine Bedeutung zu haben. Die KI verliert sich im Rauschen ihres eigenen langen Gesprächs.

Die Lösung: Der „Proaktive Sidekick“

Um dies zu beheben, haben die Autoren der KI nicht einfach ein größeres Notizbuch gegeben. Stattdessen haben sie einen Proaktiven Memory Agent eingeführt. Stellen Sie sich das wie einen hyperorganisierten, leicht herrischen Sidekick vor, der neben dem Haupt-KI-Spieler steht.

So funktioniert dieser Sidekick:

Der Beobachter: Während die Haupt-KI mit dem Spiel beschäftigt ist (oder Code schreibt oder debuggt), beobachtet der Sidekick die gesamte Szene ganz ruhig.
Der Organisator: Alle paar Schritte hält der Sidekick inne und organisiert ein „Spickzettel“. Er kopiert nicht einfach alles per Copy-Paste; er sortiert Fakten in drei Kategorien:
- Status: „Wir versuchen gerade, den Motor zu reparieren.“ (Private Informationen, die dem Hauptspieler niemals gezeigt werden).
- Wissen: „Die Burg darf keine roten Ziegel haben.“ (Harte Regeln).
- Verfahren: „Wir haben versucht, einen Hammer zu benutzen, und er hat die Wand beschädigt. Mach das nicht noch einmal.“ (Was funktioniert hat und was nicht).
Der Entscheider: Das ist der magische Teil. Der Sidekick muss entscheiden: Soll ich den Hauptspieler genau jetzt unterbrechen?
- Wenn der Hauptspieler gut in seinem Flow ist und alles richtig macht, bleibt der Sidekick still.
- Wenn der Hauptspieler kurz davor ist, einen Fehler zu machen (wie zum Beispiel einen roten Ziegel zu greifen), ruft der Sidekick: „Hey! Denk an die Regel: Keine roten Ziegel!“ und injiziert diese Erinnerung in den Geist des Hauptspielers.

Was sie ausgeschlossen haben (Die „Don'ts“)

Die Forscher testeten einige andere Ideen und fanden heraus, dass diese nicht so gut funktionierten:

Einfach das ganze Notizbuch auszuge-geben: Sie versuchten, der Haupt-KI jedes Mal den gesamten Spickzettel zu zeigen. Das funktionierte nicht, weil es zu viele Informationen waren, so als würde man versuchen, ein ganzes Lexikon zu lesen, während man Auto fährt. Die KI wurde abgelenkt.
Immer Erinnerungen zurufen: Sie versuchten, den Sidekick den Hauptspieler bei jedem Schritt zu unterbrechen, selbst wenn es nicht notwendig war. Das verlangsamte die Abläufe und nervte den Hauptspieler, was zu schlechteren Ergebnissen führte.
Nur ein „weiser Berater“ zu sein: Sie testeten ein System, bei dem eine zweite KI nur allgemeine Ratschläge gab, ohne eine strukturierte Liste von Fakten zu führen. Dies war weniger zuverlässig, da der Rat nicht auf der spezifischen Historie dessen basierte, was tatsächlich passiert war.

Das Paper legt nahe, dass die Geheimzutat selektive Intervention ist. Der Sidekick muss schlau genug sein zu wissen, wann er sprechen sollte und was er sagen soll, anstatt nur ein passiver Speicher oder ein ständiger Plauderer zu sein.

Die Ergebnisse: Hilft es tatsächlich?

Das Team testete diesen „Sidekick“ auf zwei sehr anspruchsvollen Testsets: Terminal-Bench 2.0 (wo die KI Computer-Code reparieren und Befehlszeilen nutzen muss) und τ 2-Bench (wo die KI mit Nutzern kommunizieren und Tools wie ein Fluggesellschafts-Agent oder ein Einzelhandelshelfer nutzen muss).

Die Ergebnisse waren recht eindeutig:

Für die „schwächere“ KI (Claude Sonnet 4.5): Der Sidekick half ihr, 8,3 % mehr Aufgaben auf Terminal-Bench zu lösen und 6,8 % mehr im Durchschnitt der τ 2-Bench-Tests. Das ist ein riesiger Sprung!
Für die „stärkere“ KI (Claude Opus 4.6): Selbst die super-intelligente KI wurde besser und löste 2,4 % mehr Aufgaben auf Terminal-Bench und 2,5 % mehr auf τ 2-Bench. Dies beweist, dass der Sidekick nicht nur eine Krücke für schwache KIs ist; er hilft selbst den Profis, nicht abgelenkt zu werden.

Können wir eine günstigere KI lehren, der Sidekick zu sein?

Die Forscher wollten auch sehen, ob sie eine kleinere, Open-Source-KI (Qwen3.5-27B) trainieren könnten, um der Sidekick zu sein, anstatt eine riesige, teure KI zu verwenden.

Zuer Sie war die ungetrainierte kleine KI tatsächlich schlechter.
Aber nachdem sie sie mittels einer Methode namens SFT (Supervised Fine-Tuning) und anschließend GRPO (eine Art Reinforcement Learning) trainiert hatten, begann sie, es richtig zu machen.
Auf einem Testset, das sie noch nie gesehen hatte, half dieser trainierte kleine Sidekick der Haupt-KI, ihre Erfolgsquote von 37,6 % auf 41,1 % zu steigern.

Das Fazit

Das Paper legt nahe, dass eine KI, um bei langen, komplexen Aufgaben wirklich gut zu werden, sich nicht nur auf ihr eigenes Gedächtnis verlassen kann. Sie braucht ein separates, proaktives System, das wie ein wachsamer Coach agiert. Dieser Coach hält die Regeln und vergangenen Fehler organisiert und spricht genau in dem Moment ein, in dem der Spieler kurz davor ist, sie zu vergessen. Es geht nicht darum, sich an mehr zu erinnern; es geht darum, sich zur richtigen Zeit zu erinnern.

Technisches Resümee: Remember When It Matters: Proaktive Gedächtnis-Agenten für Langzeit-Agenten

Problem: Verfall des Verhaltenszustands (Behavioral State Decay)

Langzeitaufgaben, wie die autonome Ausführung von Befehlszeilen oder die mehrstufige Werkzeugnutzung, erfordern, dass Agenten einen entscheidungsrelevanten Zustand über ausgedehnte Trajektorien hinweg aufrechterhalten. Die Autoren identifizieren einen kritischen Fehlermodus, den sie als Verfall des Verhaltenszustands bezeichnen. In diesem Modus wird Information, die für zukünftige Entscheidungen essenziell ist – wie etwa ursprüngliche Aufgabenanforderungen, Umgebungsfakten, frühere Fehlversuche, Fehlerdiagnosen und offene Subziele – im Entscheidungsprozess des Agenten inaktiv.

Dieser Verfall tritt auch dann auf, wenn die Information innerhalb des Kontextfensters oder des Transkripts des Modells verbleibt. Das Problem ist nicht bloß die Unfähigkeit, Daten zu speichern oder abzurufen, sondern das Versagen bei der Bestimmung, wann eine erinnerte Information den nächsten Schritt aktiv beeinflussen sollte. Bestehende Gedächtnissysteme konzentrieren sich oft auf passiven Abruf oder Zusammenfassungen, was dazu führen kann, dass Agenten Fehler wiederholen, zuvor entdeckte Informationen ignorieren oder von Einschränkungen abweichen. Das Paper argumentiert, dass effektives Gedächtnis für Langzeit-Agenten ein aktiver Interventionsmechanismus sein muss, der nicht nur entscheidet, was erinnert werden soll, sondern auch, ob und wann interveniert werden muss.

Methodik: Proaktive Gedächtnis-Intervention

Das Paper schlägt eine zweiphasige Gedächtnis-Interventionsarchitektur vor, die die Gedächtnispflege von der Aktionsauswahl entkoppelt. Das System besteht aus einem unveränderten Aktions-Agenten (Action Agent) und einem separaten Gedächtnis-Agenten (Memory Agent), der parallel zu ihm läuft.

Architekturkomponenten

Strukturierte Gedächtnisbank ( $B_t$ ): Eine kompakte, strukturierte Repräsentation des Ausführungszustands, bestehend aus drei Komponenten:
- Status ( $s_t$ ): Ein privates Feld zur Verfolgung von Fortschritt, offenen Problemen und Risiken, das nur dem Gedächtnis-Agenten sichtbar ist.
- Wissen ( $K_t$ ): Stabile Fakten (z. B. Aufgabenanforderungen, Umgebungseigenschaften, Dateipfade).
- Prozedural ( $P_t$ ): Dynamische Aufzeichnungen von Versuchen, Ergebnissen, fehlgeschlagenen Befehlen, erfolgreichen Korrekturen und Diagnose-Signalen.
Zweiphasiger Workflow des Gedächtnis-Agenten:
- Phase 1 (Gedächtnisverwaltung): Der Gedächtnis-Agent beobachtet ein gleitendes Fenster der jüngsten Trajektorie sowie die aktuelle Bank. Er nutzt Tool-Aufrufe, um die Bank zu aktualisieren (z. B. memory_save_knowledge, memory_save_procedural, memory_update_status, memory_delete). Diese Phase externalisiert den Ausführungszustand in ein strukturiertes Format, ohne die Trajektorie neu zu schreiben.
- Phase 2 (Interventionsauswahl): Basierend auf der aktualisierten Bank und der jüngsten Trajektorie entscheidet der Agent, ob er eine prägnante, gedächtnisgestützte Erinnerung in den nächsten Aufruf des Aktions-Agenten injiziert oder ob er schweigt (<no_intervention/>).
  - Intervention: Eine gezielte Erinnerung (z. B. eine vergessene Anforderung, ein relevanter Umgebungsfakt oder eine Diagnose), die als transienter Kontext injiziert wird.
  - Schweigen: Eine explizite Entscheidung, das Gedächtnis zurückzuhalten, wenn der aktuelle Zustand ausreichend ist, um Token-Overhead und Ablenkung zu vermeiden.
Triggerung: Der Gedächtnis-Agent wird in festen Intervallen aufgerufen (z. B. alle $N$ Schritte), um die Bank zu aktualisieren und über eine Intervention zu entscheiden, wobei die Autoren anmerken, dass selektivere Trigger (z. B. bei Fehlern) möglich sind.

Erlernen der Policy

Obwohl die Architektur mit einem geprompteten Frontier-Modell implementiert werden kann, untersuchen die Autoren das Training eines Open-Weight-Modells, um die Interventions-Policy zu erlernen:

Supervised Fine-Tuning (SFT): Destilliert Trajektorien von einem geprompten Gedächtnis-Agenten, um die Schnittstelle und die grundlegende Disziplin des Gedächtnismanagements zu lehren.
Reinforcement Learning (GRPO): Optimiert die Interventions-Policy, um den Erfolg der nachgelagerten Aufgabe zu maximieren, insbesondere um zu kalibrieren, wann interveniert werden sollte versus wann Schweigen angemessen ist.

Zentrale Beiträge

Identifizierung des Verfalls des Verhaltenszustands: Das Paper formalisiert den Fehlermodus, bei dem der entscheidungsrelevante Zustand mit der Zeit an Einfluss verliert, und unterscheidet dies von einfachen Einschränkungen des Kontextfensters.
Proaktive Interventionsarchitektur: Ein neuartiges Zweiphasen-System, das Gedächtnis als selektive Interventions-Policy behandelt. Es entkoppelt die Zustandsverwaltung von der Aktionsauswahl, wodurch ein separater Agent entscheiden kann, ob und wie er den Ausführungszustand reaktiviert.
Empirische Validierung: Zeigt, dass selektive Intervention eine passive Gedächtnisexposition, eine permanente Injektion und allgemeine Berater-Anleitungen übertrifft.
Lernbarkeit von Interventions-Policies: Liefert vorläufige Belege dafür, dass die Interventions-Policy mittels SFT und GRPO in ein Open-Weight-Modell (Qwen3.5-27B) destilliert werden kann, wobei eine teilweise Übertragung auf gehaltene Benchmarks erreicht wird.

Experimentelle Ergebnisse

Das System wurde auf Terminal-Bench 2.0 (autonome Befehlszeilen-Ausführung) und $\tau^2$ -Bench (interaktive Werkzeugnutzung in den Bereichen Airline, Einzelhandel und Telekommunikation) evaluiert.

Leistungssteigerungen:
- Terminal-Bench 2.0: Die Verwendung von Claude Opus 4.6 als Gedächtnis-Agent verbesserte das pass@1 für den schwächeren Claude Sonnet 4.5 von 37,6 % auf 45,9 % (+8,3 pp) und für den stärkeren Opus 4.6 von 43,5 % auf 45,9 % (+2,4 pp).
- $\tau^2$ -Bench: Für Sonnet 4.5 verbesserte sich der gewichtete Durchschnitt der Aufgaben von 55,0 % auf 61,8 % (+6,8 pp). Für Opus 4.6 verbesserte er sich von 66,2 % auf 68,7 % (+2,5 pp).
- Die Gewinne waren konsistent über verschiedene Domänen hinweg, wobei die größten Verbesserungen in den Bereichen Airline und Einzelhandel erzielt wurden, in denen die Einhaltung von Richtlinien (Policy Adherence) entscheidend ist.
Ablationsstudien:
- Volles System vs. Passive Exposition: Die bloße Exposition der vollständigen Gedächtnisbank gegenüber dem Aktions-Agenten (ohne selektive Intervention) lieferte geringere Gewinne, was bestätigt, dass die Selektion entscheidend ist.
- Immer-Injektion vs. Selektives Schweigen: Das Erzwingen einer Erinnerung bei jedem Schritt war konkurrenzfähig, aber weniger ausgewogen als der selektive Ansatz, insbesondere in Domänen, die Schweigen erfordern, um Ablenkung zu vermeiden.
- Nur-Berater-Modell vs. Gedächtnis-Gestützt: Ein Berater-Modell ohne persistente Gedächtnisbank war weniger stabil und konnte die Anleitung nicht erfolgreich auf den langfristigen Ausführungszustand stützen.
- Vergleich mit Mem0: Eine allgemeine persistente Gedächtnisschicht (Mem0) verbesserte die Durchschnittswerte, konnte aber nicht die Leistung des vollen Systems erreichen, was den Unterschied zwischen dem Abrufen von Datensätzen und der Entscheidung, wann man interveniert, verdeutlicht.
Open-Weight-Training: Das Training eines Qwen3.5-27B Gedächtnis-Agenten auf dem SETA-Benchmark verbesserte die Validierungsbelohnungen. Beim Transfer auf Terminal-Bench 2.0 verbesserte der trainierte Agent das pass@1 des eingefrorenen Aktions-Agenten von 37,6 % auf 41,1 %, was zeigt, dass die Interventions-Policy lernbar ist.

Bedeutung und Behauptungen

Das Paper positioniert Gedächtnis nicht als passive Speicherschicht, sondern als einen aktiven Kontrollmechanismus. Die Autoren behaupten, dass die zentrale Herausforderung für Langzeit-Agenten nicht nur darin besteht, Informationen zu behalten, sondern die Zeitplanung und Notwendigkeit ihrer Reaktivierung zu kalibrieren.

Bescheidene Ansprüche auf das Training: Die Autoren beschreiben das Training des Open-Weight-Gedächtnis-Agenten als einen „frühen Schritt“ und als „vorläufigen Beleg“. Sie räumen ein, dass das aktuelle Training auf der Destillation von einem geprompten Frontier-Modell basiert und dass die Kalibrierung der Intervention (zu wissen, wann man schweigt) noch unvollkommen ist und oft Reinforcement Learning erfordert, um zu verfeinern.
Generalisierbarkeit: Die Architektur wird als „Plug-and-Play“ mit bestehenden Agent-Harnesses und unveränderten Aktions-Agenten präsentiert.
Zukünftige Richtungen: Das Paper schlägt vor, in Zukunft Gedächtnis- und Aktions-Agenten gemeinsam zu trainieren, dynamische Aufrufpläne zu lernen und zwischen wortgetreuen Erinnerungen und aufgabenspezifischen Abstraktionen zu unterscheiden.

Zusammenfassend lässt sich sagen, dass das Paper argumentiert, dass selektive Intervention der Schlüssel zur Milderung des Verfalls des Verhaltenszustands ist und eine robuste, modulare Lösung bietet, welche die Leistung von Langzeitaufgaben über verschiedene Benchmarks und Agenten-Fähigkeiten hinweg verbessert.