Memex(RL): Scaling Long-Horizon LLM Agents via Indexed Experience Memory

Die Arbeit stellt Memex vor, ein durch Reinforcement Learning (MemexRL) optimiertes, indiziertes Erfahrungsspeichersystem, das die Begrenzung von Kontextfenstern bei langen LLM-Agenten-Aufgaben überwindet, indem es vollständige Interaktionen extern speichert und nur strukturierte Zusammenfassungen sowie stabile Indizes im Arbeitskontext behält, um so den Informationsverlust herkömmlicher Zusammenfassungsmethoden zu vermeiden und die Aufgabenleistung zu steigern.

Das Wesentliche

Stell dir vor, du bist ein genialer Detektiv, der einen riesigen, komplexen Fall lösen muss. Du hast einen Notizblock (das ist das Gedächtnis des KI-Modells), aber er hat eine sehr seltsame Eigenschaft: Er wird immer größer, je mehr du hineinschreibst, aber er hat eine feste Größe. Wenn er voll ist, musst du entweder alte Seiten zerreißen (und wichtige Beweise verlieren) oder den Fall abbrechen, weil der Block zu schwer wird.

Das ist das Problem, mit dem aktuelle KI-Agenten kämpfen: Sie können lange Aufgaben nicht lösen, weil ihr "Notizblock" (der Kontext) zu voll wird.

Die Forscher von Accenture haben eine Lösung namens Memex entwickelt. Hier ist die Idee, einfach erklärt:

1. Das Problem: Der überfüllte Rucksack

Stell dir vor, du wandertest durch einen Dschungel (eine lange Aufgabe). Du sammelst ständig Gegenstände: einen verrosteten Schlüssel, eine Karte, ein altes Foto, einen Zettel mit einer Telefonnummer.

• Die alte Methode: Du wirfst alles in deinen Rucksack. Irgendwann ist er so voll, dass du nichts mehr bewegen kannst. Oder du musst Dinge wegwerfen, um Platz zu schaffen. Aber wenn du später den Schlüssel brauchst, hast du ihn vielleicht schon weggeworfen, weil du dachte, er sei nur ein "alter Zettel".
• Das Ergebnis: Du verlierst den Überblick und scheiterst an der Aufgabe.

2. Die Lösung: Memex (Der intelligente Archiv-Schrank)

Memex ändert das Spiel komplett. Anstatt alles in den Rucksack zu werfen, hast du jetzt zwei Dinge:

1. Deinen kleinen, handlichen Notizblock (das ist das, was die KI gerade im Kopf hat).
2. Ein riesiges, geordnetes Archiv (eine externe Datenbank), das unendlich groß ist.

Wie funktioniert das?
Wenn du einen neuen Gegenstand findest (z. B. einen Beweis), tust du folgendes:

• Du schreibst nicht den ganzen Gegenstand in deinen Notizblock.
• Stattdessen schreibst du nur eine kurze, präzise Beschreibung und einen Code (einen Index) in deinen Notizblock.
• Den eigentlichen Gegenstand (das Foto, den Zettel) legst du in das Archiv und hängst den Code daran.

Beispiel:

• Alt: Du schreibst 5 Seiten lang ab, wie der Schlüssel aussieht, wo er lag und was draufsteht. (Platzverschwendung!)
• Neu (Memex): Du schreibst nur: "Schlüssel: Code #A123". Der Code #A123 verweist auf das Archiv, wo der Schlüssel perfekt gespeichert ist.

Dein Notizblock bleibt immer klein und übersichtlich. Aber wenn du später den Schlüssel brauchst, schaust du auf deinen Code (#A123), gehst zum Archiv, holst den Schlüssel und legst ihn kurz wieder auf deinen Tisch, um ihn zu benutzen.

3. Der Trainer: MemexRL (Das Lernen durch Belohnung)

Die KI weiß am Anfang nicht, wie sie das gut machen soll. Sie könnte zu viel schreiben oder die falschen Codes vergeben. Deshalb haben die Forscher einen Trainer namens MemexRL entwickelt.

Stell dir vor, du spielst ein Videospiel, bei dem du Punkte verlierst, wenn dein Rucksack zu schwer wird, und Punkte bekommst, wenn du den Fall löst.

• Der Trainer bestraft die KI, wenn sie zu viel Platz im Notizblock verbraucht.
• Er belohnt sie, wenn sie den Fall löst, indem sie klug archiviert und zur rechten Zeit aus dem Archiv holt.

Durch dieses Training lernt die KI:

• Was muss ich aufschreiben? (Nur das Wichtige).
• Wie nenne ich den Code? (Damit ich ihn später wiederfinde).
• Wann soll ich etwas aus dem Archiv holen? (Nur wenn es wirklich nötig ist).

4. Warum ist das so cool?

• Kein Verlust: Bei alten Methoden wurden alte Beweise oft zusammengefasst (wie eine schlechte Zusammenfassung eines Buches), wobei Details verloren gingen. Bei Memex ist der Beweis im Archiv 100% originalgetreu.
• Unendliche Länge: Da der Notizblock immer klein bleibt, kann die KI Aufgaben lösen, die tausende Schritte dauern, ohne "verwirrt" zu werden.
• Präzision: Die KI muss nicht raten, was gemeint war. Sie ruft den genauen Code auf und hat sofort das exakte Dokument vor sich.

Zusammenfassung in einem Satz

Memex ist wie ein genialer Assistent, der statt alles im Kopf zu behalten, eine perfekte Aktenordnung im Keller hat und sich nur eine kurze Liste mit "Aktennummern" auf den Schreibtisch legt – und wenn er etwas braucht, holt er die exakte Akte sofort aus dem Keller, ohne den Schreibtisch zu überfluten.

Dank dieser Methode können KI-Agenten jetzt viel längere und schwierigere Aufgaben lösen, ohne den Überblick zu verlieren.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) als Agenten stoßen bei langfristigen Aufgaben (Long-Horizon Tasks) an fundamentale Grenzen, die durch die endliche Kontextgröße der Modelle verursacht werden.

• Kontext-Engpass: Bei Aufgaben, die Dutzende oder Hunderte von Schritten umfassen (z. B. Tool-Nutzung, Code-Entwicklung, komplexe Analysen), wächst der Verlauf von Beobachtungen, Tool-Ausgaben und Zwischenschlussfolgerungen schnell an.
• Ineffizienz bestehender Lösungen: Herkömmliche Ansätze versuchen, den Kontext durch Truncation (Abschneiden) oder zusammenfassende Zusammenfassungen (Rolling Summaries) zu verkleinern. Diese Methoden sind jedoch verlustbehaftet (lossy): Wichtige Details, genaue Fehlermeldungen oder spezifische API-Antworten gehen verloren oder werden so stark komprimiert, dass sie später nicht mehr zuverlässig genutzt werden können.
• Schwächen semantischer Suche: Der alternative Ansatz, alles in einer externen Datenbank zu speichern und per semantischer Ähnlichkeit abzurufen, ist oft unzuverlässig. Bei großen, verrauschten Datenpools wird die Suche mehrdeutig, und das Modell muss lose strukturierte Historien wiederholt neu parsen, ohne präzise Referenzen zu haben.

Das Ziel ist es, einen Mechanismus zu schaffen, der den Kontext komprimiert, ohne Beweise (Evidence) zu verwerfen.

2. Methodik: Memex und MemexRL

Das Paper stellt Memex vor, ein System, das auf Indexierter Erfahrungsspeicherung (Indexed Experience Memory) basiert, sowie MemexRL, ein Reinforcement-Learning-Framework zur Optimierung dieses Systems.

A. Indexed Experience Memory (Memex)

Der Kern von Memex ist die Trennung zwischen einem kompakten Arbeitskontext und einem externen, vollständigen Erfahrungsspeicher.

• Struktur:
  • Externer Speicher ($D$): Eine Key-Value-Datenbank, die vollständige, hochauflösende Artefakte (Tool-Ausgaben, Logs, Code-Snippets) unter stabilen Indizes speichert.
  • In-Context-Zusammenfassung ($\sigma$): Ein kompakter, strukturierter Index im Arbeitskontext des LLM. Er enthält einen handlungsfähigen Status (z. B. „Nächster Schritt: Patchen") und eine Index-Map, die semantische Beschreibungen mit den stabilen Indizes im externen Speicher verknüpft.
• Operationen:
  • CompressExperience: Der Agent wandelt einen langen Verlauf in eine kurze Index-Zusammenfassung um und archiviert die Details im externen Speicher.
  • ReadExperience: Der Agent kann einen spezifischen Index explizit dereferenzieren, um den exakten ursprünglichen Inhalt (z. B. eine spezifische Codezeile oder einen Fehlerlog) zurück in den Kontext zu laden, wenn er für das aktuelle Teilziel relevant ist.
• Vorteil: Dies ermöglicht einen präzisen, auditierbaren Zugriff auf Beweise, ähnlich wie ein Mensch Notizen und Lesezeichen nutzt, ohne alles im Arbeitsgedächtnis behalten zu müssen.

B. MemexRL (Reinforcement Learning Framework)

Da die Entscheidungen, was zu komprimieren, wie zu indizieren und wann abzurufen ist, komplex und langfristig vorteilhaft sein können, wird ein RL-Ansatz verwendet.

• Reward-Shaping: Die Belohnungsfunktion ($R$) kombiniert den Erfolg der Aufgabe mit Strafen für:
  • Kontext-Überlauf: Strafe, wenn der Arbeitskontext einen Schwellenwert überschreitet.
  • Redundante Tool-Aufrufe: Strafe für wiederholte identische Aktionen, die durch Abruf aus dem Speicher hätten vermieden werden können.
  • Formatfehler: Strafe für syntaktisch falsche Tool-Aufrufe.
• Segmented Trajectory Processing: Da Kompression den Konditionierungsprefix für das Modell ändert, wird der Trainingsverlauf an den Kompressionsgrenzen segmentiert. Alle Segmente eines Durchlaufs teilen sich denselben terminalen Reward, was es dem Modell ermöglicht, durch Group-Relative Advantage Estimation (GRPO) zu lernen, ob eine frühere Kompressionsentscheidung den späteren Erfolg begünstigt hat.
• Soft Triggering: Statt einer harten Systemgrenze erhält der Agent einen „Context Status"-Indikator, der ihn dazu anregt, den Kompressionszeitpunkt selbstständig und semantisch sinnvoll zu wählen.

3. Theoretische Analyse

Das Paper liefert eine theoretische Analyse, die zeigt, dass der Memex-Loop zwei wünschenswerte Eigenschaften gleichzeitig unterstützen kann:

1. Erhaltung der Entscheidungsqualität: Es wird gezeigt, dass eine kompakte Index-Zusammenfassung in Kombination mit einer begrenzten Anzahl von Dereferenzierungen ($B$) ausreicht, um die optimale Policy eines Agenten zu erreichen, der den gesamten Verlauf kennt (unter der Annahme, dass die Zusammenfassung „entscheidungsreichend" ist).
2. Begrenzung des Arbeitskontexts: Selbst wenn der vollständige Verlauf unendlich wächst, bleibt der effektive Arbeitskontext des Agents begrenzt ($C_{work} \le \tau_\sigma + B \cdot L$), da nur die Zusammenfassung und die aktuell benötigten Blöcke geladen werden.

4. Ergebnisse (Empirische Evaluation)

Die Methode wurde auf einer modifizierten, schwierigeren Version des ALFWorld-Benchmarks getestet, die explizit auf langfristige Gedächtnisabhängigkeiten ausgelegt ist (z. B. versteckte Objekt-IDs, die nur durch Abruf aus dem Speicher wiederhergestellt werden können).

• Modell: Qwen3-30B-A3B-Thinking (MoE-Architektur).
• Leistungssteigerung:
  • Die Aufgabenerfolgsrate stieg von 24,2 % (ohne RL) auf 85,6 % (mit MemexRL).
  • Die Spitzenlänge des Arbeitskontexts reduzierte sich von ca. 16.934 Token auf 9.634 Token (nahe dem Strafschwellenwert von 8.000).
• Verhaltensänderung:
  • Die Anzahl der Kompressionsaktionen (CompressExperience) pro Episode sank von 6,5 auf 3 (selektivere Kompression).
  • Die Anzahl der Abrufaktionen (ReadExperience) stieg von 1 auf 6–7.
  • Interpretation: Der Agent lernte nicht nur, häufiger zu komprimieren, sondern entwickelte eine Strategie, bei der er gezielt Details im externen Speicher ablegt und diese bei Bedarf präzise wiederholt abruft, anstatt den Kontext ständig neu zu generieren oder zu verlieren.

5. Bedeutung und Fazit

Memex(RL) stellt einen Paradigmenwechsel in der Architektur von LLM-Agenten dar:

• Von Verlust zu Präzision: Statt verlustbehafteter Zusammenfassungen bietet Memex eine verlustfreie, indexbasierte Speicherung, die die Genauigkeit bei langen Aufgaben erhält.
• Skalierbarkeit: Es ermöglicht Agenten, Aufgaben zu lösen, die weit über die native Kontextgröße des Modells hinausgehen, indem der effektive Kontext begrenzt bleibt, während die gesamte Erfahrung extern gespeichert wird.
• Lernfähiges Gedächtnis: Durch RL lernt der Agent nicht nur die Aufgabe, sondern auch die Strategie des Gedächtnismanagements (Wann komprimieren? Wie indizieren? Wann abrufen?).

Zusammenfassend zeigt das Paper, dass das Erlernen von Zusammenfassung, Indexierung und Dereferenzierung eine komplementäre Skalierungsachse für die Entwicklung robuster, langlebiger LLM-Agenten ist.