💬 NLP

MemPro: Agentic Memory Systems as Evolvable Programs

MemPro ist ein System-Evolutions-Framework, das die gesamte Konstruktions- und Abruf-Pipeline des Gedächtnisses als ein evolvierbares Programm behandelt und es autonomen Agenten ermöglicht, durch iterative Diagnose von Fehlern und die Verfeinerung ihrer Gedächtnissysteme statische sowie auf Prompt-Ebene basierende Benchmarks bei Aufgaben mit langem Zeithorizont zu übertreffen.

Ursprüngliche Autoren: Qingshan Liu, Guoqing Wang, Wen Wu, Jingqi Huang, Xinqi Tao, Dejia Song, Jie Zhou, Liang He

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qingshan Liu, Guoqing Wang, Wen Wu, Jingqi Huang, Xinqi Tao, Dejia Song, Jie Zhou, Liang He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen brillanten, aber vergesslichen Forschungsassistenten ein, der Ihnen helfen soll, ein riesiges, jahrelanges Rätsel zu lösen. Sie geben ihm ein Notizbuch (das „Gedächtnis“) und weisen ihn an, jede gefundene Spur darin aufzuschreiben.

Das Problem mit aktuellen Assistenten
Im Moment arbeiten die meisten KI-Assistenten so: Sie sagen ihnen: „Schreibe die Hinweise in dein Notizbuch“, und später: „Schau in dein Notizbuch, um die Antwort zu finden.“

Der Fehler: Sobald Sie sie eingestellt haben, ist die Art und Weise, wie sie schreiben und lesen, fest vorgegeben. Wenn sich das Rätsel ändert (z. B. vom Verfolgen eines Aufenthaltsortes zu einem komplexen Stammbaum), behält der Assistent dieselben alten Gewohnheiten beim Führen des Notizbuchs bei. Er schreibt vielleicht zu viel, vergisst die Reihenfolge der Ereignisse oder sucht im falschen Abschnitt des Notizbuchs.
Die aktuelle Lösung: Forscher versuchen meist, dies zu beheben, indem sie dem Assistenten einfach sagen: „Versuche, die Hinweise anders aufzuschreiben“ oder „Versuche, die Hinweise anders zu lesen“. Das ist so, als würde man dem Assistenten nur einen neuen Klebezettel mit Anweisungen geben, aber die Gehirnstruktur des Assistenten und seine eigentlichen Gewohnheiten der Notizbuchführung bleiben starr.

Die MemPro-Lösung: Der „selbstverbessernde Lehrling“
Das Paper stellt MemPro vor, ein System, das den gesamten Arbeitsablauf des Assistenten nicht nur als eine Reihe von Anweisungen betrachtet, sondern als ein lebendiges, editierbares Programm.

Betrachten Sie MemPro als einen Meistertrainer, der dem Assistenten nicht nur einen neuen Klebezettel gibt. Stattdessen beobachtet der Trainer, warum der Assistent gescheitert ist, diagnostiziert die Ursache und schreibt dann die eigentliche Stellenbeschreibung und die Werkzeuge des Assistenten um.

So funktioniert MemPro, Schritt für Schritt:

1. Der „Versionsbaum“ (Der Stammbaum der Ideen)

Anstatt nur einen neuen Weg der Arbeitsweise auszuprobieren und zu hoffen, dass er Bestand hat, erstellt MemPro einen Stammbaum verschiedener Versionen des Assistenten.

Die Wurzel: Beginnt mit dem ursprünglichen Assistenten.
Die Zweige: Wenn der Assient bei einer bestimmten Art von Aufgabe scheitert, repariert MemPro nicht nur diesen einen Fehler. Es erschafft eine „Kind-Version“ des Assistenten, die einen völlig anderen Ansatz versucht.
Der Vorteil: Wenn ein Zweig des Stammbaums eine großartige Methode für den Umgang mit „zeitbasierten“ Hinweisen entdeckt, ein anderer Zweig jedoch eine hervorragende Methode für „beziehungsbasierte“ Hinweise, behält MemPro beide. Es zwingt den Assistenten nicht, sich für nur einen Pfad zu entscheiden; es lässt die besten Ideen auszweigen und überleben.

2. Der „Evolving Agent“ (Der Detektiv-Coach)

MemPro nutzt eine spezielle KI (den „Evolving Agent“), die wie ein Detektiv-Coach fungiert.

Diagnose: Er analysiert, wo der Assistent versagt hat. Hat er die Reihenfolge der Ereignisse vergessen? Hat er zwei verschiedene Personen verwechselt?
Die Edit-Debug-Schleife: Dies ist der magische Teil. Der Coach sagt nicht einfach: „Sei vorsichtiger.“ Er ändert tatsächlich den Code, den der Assistent verwendet.
- Analogie: Wenn der Assistent eine Lupe benutzt hat, um winzige Schrift zu lesen, und dabei gescheitert ist, würde eine reine Prompt-Korrektur sagen: „Versuche es genauer“. MemPros Coach hingegen sagt: „Lass uns die Lupe gegen ein Mikroskop austauschen und die Anleitung dazu umschreiben, wie man es hält.“
- Er „debuggt“ diesen neuen Code dann an einigen Testfällen, um sicherzustellen, dass er funktioniert, bevor er ihn offiziell macht.

3. Das Ergebnis: Ein System, das wächst

Das Paper testete dies an vier verschiedenen „Rätseln“ (Datensätzen wie LongMemEval, LoCoMo, HotpotQA und NarrativeQA).

Schnelle Verbesserung: Innerhalb nur weniger Runden dieses „Coach“-Editierens wurde MemPro besser als die besten existierenden Assistenten, selbst jene, die sehr teuer oder komplex sind.
Kontinuierliches Wachstum: Im Gegensatz zu anderen Systemen, die an eine Obergrenze stoßen und aufhören, sich zu verbessern, verbesserte sich MemPro kontinuierlich. Je mehr es evolvierte, desto klüger wurde es, weil es ständig sein eigenes „Gehirn“ und seine „Notizbuch-Gewohnheiten“ umschrieb, um sie an die spezifische Art des Rätsels anzupassen, das es gerade löste.

Warum das wichtig ist (laut dem Paper)

Die Autoren argumentieren, dass wir für die Bewältigung langer, komplexer Aufgaben nicht nur den „Prompt“ (die Anweisung) anpassen können. Wir müssen das gesamte System – wie es sein Gedächtnis aufbaut und wie es es nutzt – als ein Stück Software betrachten, das sich entwickeln kann.

Kurz gesagt: MemPro ist ein System, das sein eigenes besseres Selbst erschafft. Es lernt nicht nur aus Fehlern; es schreibt sein eigenes Regelwerk und seine eigenen Werkzeuge um, um sicherzustellen, dass es denselben Fehler nie wieder macht, und schafft so ein „lebendiges“ Gedächtnissystem, das mit jedem Gebrauch klüger wird.

Technisches Resümee: MemPro – Agentische Gedächtnissysteme als evolvierbare Programme

1. Problemstellung

Langfristig agierende autonome Agenten benötigen Gedächtnissysteme, um historische Informationen zu bewahren und sich entwickelnde Zustände über die endlichen Kontextfenster von Large Language Models (LLMs) hinaus zu verfolgen. Während bestehende agentische Gedächtnissysteme typischerweise einer Memory Construction–Retrieval (MCR)-Pipeline folgen, leiden sie unter zwei kritischen Einschränkungen aufgrund ihres festgelegten Pipeline-Designs:

Aufgabenheterogenität: Unterschiedliche Aufgaben im Bereich des langfristigen Gedächtnisses weisen unterschiedliche Fehlermodi auf (z. B. zeitliche Argumentation vs. verknüpfende Beweisführung über mehrere Sitzungen hinweg), was unterschiedliche Strategien erfordert. Eine feste Pipeline erzwingt eine einzige Strategie für alle Aufgaben, was zu suboptimaler Leistung führt.
Fehlausrichtung zwischen Gedächtnis und Pipeline: Da sich die Gedächtnisbank im Laufe der Zeit in Skalierung und Struktur entwickelt, passt eine statische Pipeline möglicherweise nicht mehr dazu, wie Erinnerungen organisiert oder abgerufen werden, was zu unvollständiger Abfrage oder verrauschten Belegen führt.

Aktuelle Optimierungsmethoden, wie etwa die Evolution auf Prompt-Ebene, können zwar textuelle Anweisungen verfeinern, aber nicht die ausführbare Pipeline-Logik (z. B. den Code für die Konstruktion von Gedächtnisbanken oder Abrufstrategien) modifizieren. Dieses Paper argumentiert, dass die Selbst-Evolution des Gedächtnisses auf der Systemebene operieren muss, indem die gesamte MCR-Pipeline als ein evolvierbares Programm behandelt wird und nicht bloß als das Aktualisieren gespeicherter Erinnerungen oder Prompt-Texte.

2. Methodik: MemPro-Framework

MemPro ist ein System-Evolution-Framework, das die MCR-Pipeline als ein evolvierbares Programm behandelt. Es unterhält einen Versionsbaum von ausführbaren Gedächtnissystem-Implementierungen, wobei jeder Knoten sowohl Prompts als auch ausführbaren Code enthält. Das System wird durch einen Evolving Agent gesteuert, der Pipeline-Versionen durch einen Prozess der fehlermodusgesteuerten Edit–Debug-Verfeinerung iterativ auswählt, erweitert und evaluiert.

Kernkomponenten

MCR-Versionsbaum ( $T$ ): Eine Baumstruktur, in der jeder Knoten $v$ eine ausführbare Pipeline-Implementierung $F_v$ und deren Evaluationsprotokoll $L_v$ repräsentiert. Der Wurzelknoten $v_0$ ist die initiale Pipeline.
Evaluationsprotokoll ( $L_v$ ): Zeichnet den Gesamtscore ( $S_v$ ), die kategoriespezifischen Scores ( $C_v$ ), den Elternknoten ($pa(v)$) und eine allgemeine Bewertung ( $A_v$ ) auf, die Fehlermodi und Verbesserungsrichtungen zusammenfasst.
Evolving Agent ( $A_{evo}$ ): Die zentrale Engine, die den Evolutionsprozess durch drei iterative Schritte steuert:
1. Selektion: Der Agent analysiert die Protokolle des gesamten Versionsbaums, um den vielversprechendsten Elternknoten für eine Erweiterung basierend auf hohen Scores, generalisierbaren Verbesserungen und häufigen Fehlermodi auszuwählen. Er generiert zudem eine diagnostische Analyse ( $R_\ell$ ).
2. Expansion: Ausgehend vom ausgewählten Knoten führt der Agent eine interne iterative Schleife durch, um eine Kind-Version zu erstellen. In jedem Schritt wählt er eine Aktion:
  - EDIT: Überarbeitet den Pipeline-Code oder die Prompts basierend auf der akkumulierten diagnostischen Analyse.
  - DEBUG: Wählt ein spezifisches diagnostisches Beispiel aus, führt die aktuelle Pipeline darauf aus, um einen vollständigen Trace zu generieren, und aktualisiert die diagnostische Analyse, ohne den gesamten Datensatz neu zu evaluieren.
  - TERMINATE: Stoppt die Expansion und finalisiert die neue Version.
3. Evaluation: Die neue Pipeline-Version wird auf dem vollständigen Trainingsdatensatz ausgeführt, um Ausführungs-Traces zu sammeln. Der Agent fasst diese Traces in einem neuen Evaluationsprotokoll zusammen und fügt den neuen Knoten zum Versionsbaum hinzu.

Diese Baumstruktur ermöglicht es MemPro, von starken historischen Versionen abzubiegen und alternative Richtungen zu explorieren, anstatt nur einem linearen Pfad zu folgen.

3. Zentrale Beiträge

Identifikation von Limitationen: Das Paper identifiziert Aufgabenheterogenität und Fehlausrichtung zwischen Gedächtnis und Pipeline als fundamentale Schwachstellen fester Pipeline-Gedächtnissysteme und plädiert für eine Evolution auf Systemebene statt isolierter Updates von Gedächtnis oder Prompts.
MemPro-Framework: Der Vorschlag eines System-Evolution-Frameworks, das die MCR-Pipeline als evolvierbares Programm behandelt. Es optimiert einzigartig sowohl Prompts als auch ausführbaren Code mittels eines Versionsbaums und einer fehlermodusgesteuerten Edit–Debug-Verfeinerung.
Empirische Validierung: Umfangreiche Experimente über vier Benchmarks (LongMemEval, LoCoMo, HotpotQA, NarrativeQA) zeigen, dass MemPro starke statische und prompt-basierte Evolutions-Baselines innerhalb weniger Iterationen konsistent übertrifft, mit wachsendem Versionsbaum weiter an Leistung gewinnt und ein günstiges Performance–Kosten-Verhältnis erreicht.

4. Experimentelle Ergebnisse

Die Experimente wurden auf zwei Langzeitgedächtnis-Benchmarks (LongMemEval, LoCoMo) und zwei Long-Context-QA-Benchmarks (HotpotQA, NarrativeQA) unter Verwendung von GPT-4o-mini und Qwen3-30B-A3B Backbones durchgeführt.

Leistungssteigerungen: MemPro übertraf konsistent starke statische Baselines (z. B. LangMem, Mem0, GAM) sowie Prompt-Level-Evolutions-Baselines (GEPA, MetaMem).
- Auf LoCoMo erreichte MemPro-5 (nach 5 Iterationen) eine Genauigkeit von 81,94 % und übertraf damit die beste Baseline (GAM mit 80,45 %).
- Auf LongMemEval erreichte MemPro-15 79,00 % und übertraf damit die beste Baseline (GEPA mit 75,60 %).
- Auf HotpotQA und NarrativeQA erreichte MemPro State-of-the-Art F1-Scores und übertraf alle Nicht-MemPro-Baselines bereits bei der 5. Iteration.
Kontinuierliche Verbesserung: Im Gegensatz zu statischen Systemen zeigte MemPro stetige Leistungssteigerungen, während die Evolution von 5 auf 15 Iterationen fortschritt, was auf eine hohe Obergrenze für die Optimierung auf Systemebene hindeutet.
Ablationsstudien: Das Entfernen zentraler Komponenten (Code-Editing, Versionsbaum, iterative Expansion oder Multi-Round-Evolution) führte zu signifikanten Leistungseinbußen. Insbesondere die Variante „w/o Code“ (Reduktion auf Prompt-Level-Evolution) schnitt schlechter ab als das volle System, was die Notwendigkeit der Bearbeitung der ausführbaren Logik validiert.
Effizienz: MemPro erzielte die höchste Gesamtgenauigkeit bei einem vertretbaren Token-Aufwand, übertraf „Full Text“-Methoden deutlich und war bei vergleichbarem Budget leistungsfähiger als starke Gedächtnis-Baselines.

5. Bedeutung und Thesen

Das Paper behauptet, dass agentisches Gedächtnis als ein ausführbares, selbst-evoluierendes System optimiert werden sollte. Durch die Behandlung der MCR-Pipeline als ein evolvierbares Programm adressiert MemPro die Limitationen fester Pipeline-Designs, die mit Aufgabenvielfalt und sich entwickelnden Gedächtnisstrukturen Schwierigkeiten haben.

Die Autoren betonen:

Die Evolution der ausführbaren Pipeline-Logik bringt Vorteile, die über die bloße Anpassung von Gedächtnisbanken oder Prompts hinausgehen.
Eine Versionsbaum-Struktur ist einer linearen Evolution überlegen, da sie es ermöglicht, von starken historischen Versionen abzuzweigen.
Eine fehlermodusgesteuerte Verfeinerung (Kombination aus Editing und gezieltem Debugging) ist effektiv für die iterative Systemverbesserung.

Die Arbeit legt nahe, dass zukünftige agentische Gedächtnissysteme sich von statischen Architekturen hin zu dynamischen, selbstverbessernden Programmen entwickeln sollten, die ihre eigenen Konstruktions- und Abrufstrategien an spezifische Aufgabenanforderungen und sich ändernde Datenmaßstäbe anpassen können.

6. Limitationen und ethische Erwägungen

Kosten: MemPro führt eine Offline-Evolutionsphase ein. Obwohl die Kosten über viele Abfragen hinweg amortisiert werden können, ist die Effizienz des Evolutionsprozesses selbst ein Ziel für zukünftige Verbesserungen.
Agenten-Fähigkeit: Die aktuelle Implementierung setzt einen fähigen Evolving Agent voraus (Codex Harness mit GPT-5.4-medium), um Code zu editieren und zu debuggen.
Topologie: Das aktuelle Framework nutzt eine Baumstruktur, in der neue Versionen von einem einzelnen Elternknoten abgeleitet werden. Die Autoren merken an, dass allgemeinere Topologien (z. B. graphstrukturierte Evolution mit Merges) noch unerforscht sind.
Sicherheit: Da MemPro ausführbare Komponenten editiert, müssen die evolvierten Versionen vor dem Einsatz in sicherheitskritischen Umgebungen in einer Sandbox betrieben, protokolliert und überprüft werden. Die Autoren stellen sicher, dass während der Experimente weder die Evaluationsdaten noch die Gold-Antworten dem Evolving Agent zugänglich gemacht wurden.