🤖 AI

AdaMEM: Test-Time Adaptive Memory for Language Agents

Das Paper stellt AdaMEM vor, ein Framework für adaptive Speicherung zur Testzeit, das die langfristige Trajektorienspeicherung mit dynamisch generierten kurzfristigen Strategien kombiniert, um Sprachagenten eine kontinuierliche Anpassung an dynamische Umgebungen ohne Aktualisierung der Modellparameter zu ermöglichen und dabei signifikante Leistungssteigerungen bei Benchmarks wie ALFWorld und WebShop zu erzielen.

Ursprüngliche Autoren: Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr langes, kompliziertes Rätsel zu lösen, wie etwa die Navigation durch ein riesiges Labyrinth oder das Einkaufen eines bestimmten Artikels auf einer massiven Website. Sie haben einen intelligenten Assistenten (einen KI-Agenten), der Ihnen hilft.

Das Problem: Der „Einmal-und-fertig“-Guide
Die meisten aktuellen KI-Assistenten arbeiten wie ein Tourist, der zu Beginn seiner Reise eine einzige, statische Karte erhält. Er liest die Karte, lernt sie auswendig und beginnt dann zu laufen.

Das Problem: Wenn der Tourist auf eine Sackgasse stößt oder wenn die Karte sagt „biege links ab“, dort aber eine Wand steht, steckt er fest. Er kann die Karte nicht ändern, da die Karte zu Beginn der Reise einmalig gedruckt wurde. Er versucht immer wieder, links in die Wand zu biegen, wird frustriert und gibt schließlich auf.
Der Fachbegriff des Papers: Dies wird als „statisches Retrieval“ bezeichnet. Die KI ruft einmal einen Plan ab und hält an diesem fest, selbst wenn sich die Situation ändert.

Die Lösung: ADAMEM (Der adaptive Reisende)
Die Autoren schlagen ein neues System namens ADAMEM vor. Anstatt einer statischen Karte verfügt Ihr Assistent über zwei spezielle Werkzeuge:

Die riesige Bibliothek (Langzeitgedächtnis): Dies ist ein gewaltiges Archiv all der erfolgreichen Reisen, die jemals jemand anderes unternommen hat. Es ist voll von rohen Geschichten: „Ich bin hierhin gegangen, ich habe dies getan und ich war erfolgreich.“
Der kluge Coach (Kurzzeitgedächtnis): Das ist der magische Teil. Anstatt die ganze Bibliothek zu lesen, hält der Assistent bei jedem einzelnen Schritt der Reise inne. Er prüft, wo er sich gerade jetzt befindet, gleicht dies mit der Bibliothek ab und fragt den klugen Coach: „Basierend auf dem, was für andere an genau diesem Ort funktioniert hat, was soll ich als Nächstes tun?“

Der Coach schreibt eine winzige, frische Notiz (eine „Strategie“), die speziell für diesen Moment bestimmt ist. Sie könnte sagen: „Okay, die Karte sagte links abbiegen, aber alle anderen, die hier waren, haben den Gegenstand auf der Arbeitsplatte gefunden, nicht im Schrank. Lass uns die Arbeitsplatte prüfen.“

Wie es im echten Leben funktioniert

Schritt 1: Der Agent befindet sich an einem Kreuzungspunkt.
Schritt 2: Er fragt die Bibliothek: „War schon mal jemand hier?“
Schritt 3: Die Bibliothek findet Erfolgsgeschichten.
Schritt 4: Das Gehirn des Agenten (das LLM) liest diese Geschichten und schreibt sofort eine neue, maßgeschneiderte Anweisung für den nächsten Schritt.
Schritt 5: Der Agent folgt dieser neuen Anweisung.

Wenn der Plan später scheitert, gerät der Agent nicht in Panik. Er wiederholt einfach den Prozess: die Bibliothek prüfen, eine neue Notiz vom Coach erhalten und einen anderen Weg versuchen. Es ist wie ein GPS, das die Route jedes Mal neu berechnet, wenn man eine Abzweigung verpasst hat, anstatt nur zu sagen: „Fahren Sie weiter“, bis man kracht.

Der „Training“-Trick (STEP-MFT)
Das Paper führt auch eine Methode ein, um den Agenten zu einem besseren Coach zu machen.

Das Problem: Manchmal schreibt der Coach vage Ratschläge wie „Sei vorsichtig!“, die eigentlich nicht helfen.
Die Lösung: Die Autoren entwickelten eine Technik namens STEP-MFT. Sie haben den Agenten darauf trainiert, nur aus Momenten zu lernen, in denen der Rat das Ergebnis tatsächlich verändert hat.
Die Analogie: Stellen Sie sich einen Schüler vor, der für eine Prüfung lernt. Wenn er ein Kapitel lernt und unabhängig davon, was er gelesen hat, die gleiche Antwort richtig oder falsch gibt, war dieses Kapitel nicht hilfreich. Aber wenn er einen spezifischen Tipp liest, seine Antwort ändert und sie dadurch richtig hat, dann ist das die wertvolle Lektion. STEP-MFT filtert den langweiligen Stoff heraus und trainiert den Agenten nur auf den „verändernden“ Rat.

Die Ergebnisse
Das Paper testete dies auf drei verschiedenen „Spielen“:

ALFWorld: Ein virtuelles Haus, in dem der Agent Objekte finden und bewegen muss (wie z. B. ein Stück Seife in einen Mülleimer zu legen).
WebShop: Ein fiktiver Online-Shop, in dem der Agent bestimmte Produkte finden muss.
HotpotQA: Ein Trivia-Spiel, bei dem der Agent durch viele Dokumente suchen muss, um eine schwierige Frage zu beantworten.

Was sie herausfanden:

Besserer Erfolg: Der ADAMEM-Agent löste deutlich mehr Aufgaben als die „statische Karten“-Agenten (in einigen Fällen bis zu 13 % besser).
Kein Re-Training nötig: Der Agent wird während des Spiels intelligenter, ohne dass er von Grund auf neu trainiert werden muss. Er nutzt sein Gedächtnis einfach besser.
Effizienz: Durch das Zusammenfassen langer Geschichten in kurze, kluge Notizen wird der Agent nicht von zu vielen Informationen überwältigt (was andere Agenten verlangsamt).

Zusammenfassend
ADAMEM verwandelt einen starren, eigensinnigen KI-Agenten in einen flexiblen, lernenden Reisenden. Anstatt blind einem Plan zu folgen, der zu Beginn erstellt wurde, prüft er ständig seine Geschichte, lernt aus vergangenen Erfolgen und schreibt einen neuen, besseren Plan für den nächsten Schritt. Es ist der Unterschied zwischen einem Touristen, der sich verirrt, weil er die Schilder ignoriert hat, und einem einheimischen Führer, der genau weiß, wohin er gehen muss, basierend auf dem aktuellen Verkehr.

Technisches Resümee: ADAMEM – Test-Time Adaptive Memory für Sprachagenten

1. Problemstellung

Sprachagenten stehen vor der zentralen Herausforderung, vergangene Erfahrungen zu nutzen, um sich an dynamische, langfristige Aufgaben anzupassen. Während jüngste Fortschritte in den Gedächtnismechanismen von Agenten vielversprechend sind, beschränken bestehende Systeme die Abfrage des Gedächtnisses typischerweise auf die Phase der Episodeninitiierung. Dies erzeugt einen „Rigiditäts-Engpass“: Agenten verlassen sich auf statische Anleitung (z. B. eine einzige abgerufene Trajektorie oder eine destillierte Strategie), die sich nicht an Zwischenfehler, sich verschiebende Teilziele oder Verteilungsverschiebungen anpassen kann, die später im Task auftreten.

Traditionelle Ansätze zur Anpassung zur Testzeit, wie etwa die Online-Aktualisierung von Modellparametern, sind für langfristige Szenarien prohibitiv teuer. Umgekehrt leiden trainingsfreie Methoden zur Prompt-Anpassung oft unter der Einschränkung, dass ihr abgerufener Kontext deplatziert wird, während sich die Aufgabe entfaltet. Das Paper identifiziert zwei primäre Forschungsfragen:

Wie kann das Gedächtnis eines Agenten die Starrheit der statischen Abfrage überwinden, um eine kontinuierliche Anpassung während der Inferenz zu ermöglichen?
Wie können Agenten effizient darauf trainiert werden, Strategien zu synthetisieren, die diese Anpassung zur Testzeit explizit optimieren?

2. Methodik

Die Autoren schlagen ADAMEM (Adaptive Memory Agent) vor, ein hybrides Gedächtnis-Framework, das die Speicherung des Gedächtnisses von der Abstraktion entkoppelt, um eine schrittweise Anpassung zur Testzeit ohne Aktualisierung der Modellparameter zu ermöglichen.

2.1 Hybride Gedächtnisarchitektur

ADAMEM operiert über zwei distinkte Gedächtniskomponenten:

Langfristiges Trajektorien-Gedächtnis ( $M$ ): Ein skalierbares, Offline-Repository für Roherfahrungen. Es speichert erfolgreiche Trajektorien $\tau = \{(s_t, a_t, r_t)\}$ , die durch Zustands-Embeddings indiziert sind. Im Gegensatz zu Systemen, die destillierte Erkenntnisse speichern, bewahrt $M$ die vollständige Interaktionshistorie, um eine zuverlässige Kontextabfrage zu gewährleisten.
Kurzfristiges Strategie-Gedächtnis ( $z_t$ ): Eine dynamische, zustandsspezifische Strategie, die während der Inferenz on-the-fly generiert wird. Anstatt Rohprotokolle direkt abzurufen, synthetisiert der Agent eine prägnante Strategie in natürlicher Sprache, die auf den aktuellen Zustand $s_t$ und die abgerufenen Erfahrungen $E_{ret}$ konditioniert ist. Diese Strategie dient als konkrete Anleitung für die nächste Aktion.

2.2 Inferenzmodi

Um ein Gleichgewicht zwischen Token-Effizienz und Anpassungsfähigkeit zu finden, führt ADAMEM zwei Inferenzmodi ein:

ADAMEM-HIGH (Hoher Anpassungsaufwand): Priorisiert Robustheit durch die Regeneration einer frischen Strategie $z_t$ bei jedem kritischen Entscheidungsschritt, sofern der Agent entscheidet, dass eine Abfrage notwendig ist. Die Strategie ist transient und wird nach der Verwendung verworfen, wodurch sichergestellt wird, dass der Agent niemals auf veraltete Anleitung angewiesen ist.
ADAMEM-LOW (Niedriger Anpassungsaufwand): Priorisiert Effizienz durch die Aufrechterhaltung einer persistenten Strategie $z_{curr}$ im Kontext. Der Agent sagt voraus, ob er die Strategie „auffrischen“ muss, basierend auf dem aktuellen Zustand. Wenn keine Auffrischung erforderlich ist, leitet die bestehende Strategie mehrere Schritte; wenn eine Auffrischung ausgelöst wird, wird eine neue Strategie synthetisiert und die persistente ersetzt.

2.3 STEP-MFT: Schrittweise Gedächtnis-Feinabstimmung

Obwohl ADAMEM via Zero-Shot-Prompting operieren kann, führen die Autoren STEP-MFT ein, um die Policy darauf zu trainieren, hochgradig nützliche Strategien zu generieren.

Herausforderung: Standardmäßige ergebnisbasierte Überwachung ist verrauscht, da sie alle Schritte in einer erfolgreichen Trajektorie gleichermaßen belohnt, selbst wenn eine spezifische Strategie redundant oder irreführend war.
Lösung: STEP-MFT nutzt einen Rejection-Sampling-Ansatz mit einem dualen Filtermechanismus, um Trainingsdaten zu kuratieren:
1. Erfolg des Ergebnisses: Die Trajektorie muss erfolgreich sein.
2. Aktionsänderung: Die generierte Strategie muss die Aktion des Agenten im Vergleich zu einer Baseline-Policy, die ohne Gedächtnis agiert, kausal verändern ( $a_t \neq a'_t$ ).
Theoretische Rechtfertigung: Die Autoren beweisen, dass eine Strategie einen strikt positiven Vorteil gegenüber der Baseline haben muss, wenn sie die Aktion des Agenten verändert. Dieser Filter stellt sicher, dass das Modell lernt, Strategien zu generieren, die die Entscheidungsfindung aktiv vorantreiben, anstatt lediglich den Kontext zu spiegeln.
Training: Der gefilterte Datensatz wird für das Supervised Fine-Tuning (SFT) mittels Cross-Entropy-Loss verwendet, um die Policy zu optimieren, damit sie „Silver“-Strategien synthetisiert, welche die Erfolgsraten verbessern.

3. Zentrale Beiträge

ADAMEM-Framework: Ein neuartiges hybrides Gedächtnissystem, das eine kontinuierliche Anpassung zur Testzeit ermöglicht, indem es kontextsensitive Strategien dynamisch synthetisiert, anstatt statische Artefakte abzurufen.
STEP-MFT-Technik: Eine Trainingsmethode, die prozessbasierte Belohnungen (speziell Aktionsänderungen) nutzt, um Agenten beizubringen, hochgradig nützliche Strategien zu generieren, und so das Rauschen einer rein ergebnisbasierten Überwachung vermeidet.
Neue Skalierungsdimension: Die Arbeit etabliert, dass die dynamische Gedächtniskuration eine kritische Skalierungsdimension für agentisches Denken ist und eine überlegene Pareto-Front zwischen Inferenzkosten und Aufgabenleistung bietet.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ADAMEM auf drei Benchmarks: ALFWorld (embodied navigation), WebShop (Web-Shopping) und HotpotQA (Multi-Hop-Suche).

Leistungssteigerungen:
- ALFWorld: ADAMEM-LOW erreichte einen relativen Gewinn von 13 % gegenüber statischen Gedächtnis-Baselines im ungesehenen Split (58,2 % vs. 52,2 % für Synapse).
- WebShop: ADAMEM-LOW erzielte einen relativen Gewinn von 11 % (74,2 % vs. 65,4 % für Synapse). Bemerkenswerterweise litten statische Baselines auf WebShop unter negativem Transfer und performten schlechter als die Gedächtnis-freie Baseline, während ADAMEM diesen Trend umkehrte.
- HotpotQA: ADAMEM zeigte eine konsistent führende Performance (41,1 % Erfolgsrate) in einem iterativen Cross-Episode-Search-Setup.
STEP-MFT-Impact: Das Training mit STEP-MFT lieferte weitere Verbesserungen. Auf ALFWorld erreichte die MFT-Variante einen relativen Gewinn von 17 % gegenüber statischen Baselines (65,5 % Erfolgsrate) und übertraf damit sowohl das trainingsfreie ADAMEM als auch die ergebnisbasierte MFT-Variante signifikant.
Effizienz vs. Anpassungsfähigkeit:
- ADAMEM skaliert monoton mit dem Retrieval-Budget ( $k$ ), während statische Baselines wie Synapse aufgrund von Kontext-Überlauf durch die Injektion roher Trajektorien degradieren.
- ADAMEM reduziert die Inferenzlatenz im Vergleich zu Synapse um 16 %, indem es prägnante Strategien synthetisiert, anstatt umfangreiche Rohprotokolle zu verarbeiten.
Modellübergreifende Generalisierung: In Off-Policy-Settings (Verwendung von Gemma-27b-it mit Qwen-generiertem Gedächtnis) behielt ADAMEM-LOW robuste Verbesserungen bei, was zeigt, dass das Framework die Speicherung effektiv von dem Policy-Modell entkoppelt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass ADAMEM die fundamentale Starrheit aktueller Gedächtnissysteme für Agenten adressiert. Durch die Entkopplung von langfristiger Speicherung und kurzfristiger Abstraktion ermöglicht ADAMEM es Agenten:

Sich nach dem Deployment selbst zu entwickeln: Agenten können sich an dynamische Umgebungen anpassen und Korrekturen für veraltete Priors vornehmen, ohne teure Online-Parameter-Updates durchzuführen.
Rechenaufwände zu optimieren: Das Framework unterstützt flexible Inferenzmodi (LOW/HIGH) und Trainingsvarianten (STEP-MFT), die es Praktikern ermöglichen, das Gleichgewicht zwischen Token-Effizienz und Anpassungsfähigkeit abzustimmen.
Kontinuierliches Denken zu ermöglichen: Die Arbeit legt nahe, dass die dynamische Gedächtniskuration eine notwendige Skalierungsdimension für Agenten ist, die in offenen, realen Umgebungen operieren, und sich somit von statischer Abfrage hin zu kontinuierlichem, zustandsbewusstem Denken bewegt.

Die Autoren räumen Einschränkungen ein, wie etwa die „Strategie-Trägheit“ in ADAMEM-LOW (wo Agenten möglicherweise versäumen, eine Auffrischung zu triggern, wenn dies notwendig wäre), und geben an, dass die ausschließliche Nutzung erfolgreicher Trajektorien für die Besetzung des Gedächtnisses eine Richtung für zukünftige Arbeiten darstellt.