🤖 AI

SAM: State-Adaptive Memory for Long-Horizon Reasoning Agent

Das Papier schlägt State-Adaptive Memory (SAM) vor, ein eigenständiges Framework, das die langfristige agentenbasierte Reasoning-Fähigkeit verbessert, indem es Interaktionsverläufe zu kompakten, absichtsgetriebenen Memory-Hinweisen konsolidiert, die es Agenten ermöglichen, entfernte Informationen dynamisch wiederherzustellen, ohne das zugrundeliegende Modell neu zu trainieren, und damit auf diversen Benchmarks überlegene Leistung erzielt.

Ursprüngliche Autoren: Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „zu lang zum Lesen"-Notizbuch

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein sehr komplexes Rätsel zu lösen, das Tage dauert, bis es gelöst ist. Jedes Mal, wenn Sie einen Hinweis finden, mit einem Zeugen sprechen oder ein Dokument prüfen, schreiben Sie es in ein riesiges Notizbuch.

Im Laufe der Tage wird Ihr Notizbuch riesig – hunderte Seiten lang. Wenn Sie heute eine Entscheidung treffen müssen, müssen Sie all diese Seiten durchblättern, um den einen winzigen Hinweis zu finden, den Sie vor drei Tagen gefunden haben.

Das aktuelle Problem: Die meisten KI-Agenten (Computerprogramme, die wie Menschen handeln) versuchen dies zu lösen, indem sie entweder:

Alte Seiten wegwerfen: Sie löschen den Anfang des Notizbuchs, um Platz für neue Seiten zu schaffen. Aber manchmal lag die Antwort genau in dem Teil, den sie weggeworfen haben!
Eine Zusammenfassung schreiben: Sie versuchen, die gesamte Geschichte in einen kurzen Absatz zu komprimieren. Aber Zusammenfassungen verpassen oft die winzigen, spezifischen Details, die später benötigt werden, um das Rätsel zu lösen.

Die Lösung: SAM (State-Adaptive Memory)

Die Autoren schlagen ein neues System namens SAM vor. Denken Sie an SAM nicht als Notizbuch, sondern als einen intelligenten Aktenschrank mit einem magischen Indexkartensystem.

So funktioniert es, aufgeteilt in drei einfache Schritte:

1. Das „Ablage" (Konsolidierung)

Anstatt die rohen, unordentlichen Seiten Ihres Gesprächs in Ihrem unmittelbaren Arbeitsbereich zu behalten, nimmt SAM einen Abschnitt Ihrer jüngsten Geschichte (sagen wir, die letzten 50 Seiten) und legt ihn in einen Archivschrank ab.

Die Rohseiten: Die tatsächlichen Details werden sicher im Schrank aufbewahrt, unberührt.
Die Indexkarte: SAM schreibt eine winzige, hochwertige „Indexkarte" (genannt Gedächtnisimpuls), die zusammenfasst, was in diesen 50 Seiten passiert ist. Sie hebt die wichtigen Dinge hervor: „Wir haben einen Verdächtigen gefunden", „Wir haben den Butler ausgeschlossen" oder „Wir stecken bei diesem Hinweis fest".
Das Ergebnis: Ihr unmittelbarer Arbeitsbereich bleibt sauber und leicht, aber Sie haben immer noch eine Liste von Indexkarten, die Ihnen sagen, was im Schrank zu finden ist.

2. Die „Suche" (Intentionsgesteuertes Abrufen)

Das ist der magische Teil. In alten Systemen würden Sie, wenn Sie Informationen benötigten, vielleicht einfach die neuesten Seiten greifen oder die gesamte Zusammenfassung lesen.
Mit SAM fragt sich der Agent selbst: „Was brauche ich jetzt gerade, um dieses spezifische Problem zu lösen?"

Wenn der Agent bei einem Hinweis über ein „rotes Auto" feststeckt, schaut er sich seine Indexkarten an.
Er wählt die spezifische Karte aus, die das rote Auto erwähnt.
Er fragt den Aktenschrank: „Bring mir die exakten Seiten, die mit diesem roten Auto zu tun haben."
Das System ruft nur diese spezifischen Seiten ab, liest sie erneut und gibt dem Agenten eine frische, fokussierte Zusammenfassung nur dieser Informationen.

Die Analogie: Stellen Sie sich vor, Sie kochen ein komplexes Gericht. Anstatt jedes Mal, wenn Sie wissen müssen, wie man eine Zwiebel schneidet, das gesamte 500-seitige Kochbuch zu lesen, haben Sie ein Set von Indexkarten. Wenn Sie eine Zwiebel schneiden müssen, ziehen Sie die „Zwiebel"-Karte hervor, die Ihnen genau sagt, welche Seiten im großen Buch umzublättern sind, um das Rezept zu erhalten. Sie lesen nicht das ganze Buch; Sie lesen nur, was Sie brauchen.

3. Das „Training" (Lernen, ein besserer Bibliothekar zu sein)

Das Paper erklärt auch, wie sie dieses System intelligent gemacht haben. Sie haben der KI nicht einfach nur gesagt, sie solle „zusammenfassen". Sie haben sie auf zwei Arten trainiert:

Der Experte-Lehrer: Sie haben superintelligente KI-Modelle verwendet, um dem System zu zeigen, wie man die bestmöglichen Indexkarten schreibt und wie man die richtigen Seiten findet.
Das „Versuchen und Lernen"-Spiel: Sie ließen das System das Detektivspiel tausende Male spielen. Wenn das System die falsche Karte wählte oder einen Hinweis verpasste, bekam es eine „schlechte Punktzahl". Wenn es die richtige Karte wählte und das Rätsel löste, bekam es eine „gute Punktzahl". Im Laufe der Zeit lernte es genau, wie es sein Gedächtnis verwalten muss, um das Spiel zu gewinnen.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten SAM an vier schwierigen „Long-Horizon"-Aufgaben (wie das Durchsuchen des Webs nach komplexen Fakten oder das Lösen wissenschaftlicher Rätsel).

Das Ergebnis: SAM schlug andere Methoden konsequent.
Der Grund: Es warf nicht einfach alte Informationen weg und fasste sie auch nicht nur zusammen. Es bewahrte die Rohdaten sicher auf und schuf einen intelligenten Weg, genau das abzurufen, was benötigt wurde, basierend auf der aktuellen Situation.
Die Analogie: Es ist wie der Unterschied zwischen einem Schüler, der ein Lehrbuch auswendig lernt (und Details vergisst), und einem Schüler, der ein perfektes Bibliothekssystem hat, in dem er sofort den exakten Absatz finden kann, den er braucht, um eine spezifische Frage zu beantworten.

Zusammenfassung

SAM ist eine neue Art für KI, lange Gespräche zu bewältigen. Anstatt zu versuchen, alles auf einmal zu merken oder die Vergangenheit zu vergessen, organisiert es die Geschichte in einem Ablagesystem. Es bewahrt die Rohdetails sicher auf und verwendet intelligente Indexkarten, um nur die spezifischen Informationen abzurufen, die für die aktuelle Entscheidung benötigt werden. Dies ermöglicht es der KI, viel schwierigere, längere Probleme zu lösen, ohne verwirrt zu werden oder die Hinweise aus den Augen zu verlieren.

Technische Zusammenfassung: State-Adaptive Memory (SAM) für Agenten mit langfristiger Reasoning-Fähigkeit

Problemstellung

Langfristiges agentisches Reasoning erfordert, dass Large Language Models (LLMs) über ausgedehnte Interaktionshistorien operieren, die verflochtene Gedanken, Tool-Aufrufe, Beobachtungen und teilweise Schlussfolgerungen enthalten. Die primäre Herausforderung besteht nicht lediglich in der zunehmenden Länge dieser Historien, sondern darin, dass Informationen, die für eine aktuelle Entscheidung kritisch sind, über weit entfernte Schritte verteilt sein können und erst später im Verlauf relevant werden.

Bestehende Strategien zum Kontextmanagement – wie das Abschneiden der Historie, das Komprimieren zu Zusammenfassungen oder das Abrufen ausgewählter Teile – versagen in diesen Szenarien häufig. Diese Methoden stützen sich typischerweise auf Aktualität oder feste Fenstergrößen, was unzureichend ist, wenn nützliche Informationen über nicht-adjazente Schritte verteilt sind und ihre Bedeutung erst im Verlauf der Aufgabe offensichtlich wird. Die Arbeit argumentiert, dass die Kernschwierigkeit darin liegt, vergangene Verläufe so zu organisieren, dass die richtigen Informationen für den aktuellen Entscheidungsstatus des Agenten zugänglich bleiben, anstatt einfach die gesamte Vergangenheit im Blick zu behalten oder sie basierend auf einem statischen Budget zu verwerfen.

Methodik: State-Adaptive Memory (SAM)

Die Autoren schlagen State-Adaptive Memory (SAM) vor, ein eigenständiges Framework, das langfristiges Reasoning als Problem eines zustandsadaptiven Speichers behandelt. SAM entkoppelt die Reasoning-Komponente des Agenten von seinem Speichermanagement, sodass das Speichermodul unabhängig optimiert werden kann, ohne den zugrundeliegenden Agenten neu zu trainieren.

Kernarchitektur

SAM unterhält zwei gekoppelte Ansichten der Interaktionshistorie:

Kompakte Memory-Cues: Leichte Zusammenfassungen, die im aktiven Kontext des Agenten sichtbar bleiben. Diese fungieren als persistente Handles oder Einstiegspunkte in den vergangenen Fortschritt.
Roh-Trajektorien-Seiten: Detaillierte Interaktionsaufzeichnungen, die extern gespeichert sind und die volle Fidelity der ursprünglichen Trajektorie bewahren.

Das Framework arbeitet durch einen seitenbasierten episodischen Konsolidierungs- und einen intentionsgesteuerten episodischen Abrufprozess:

Konsolidierung (Schreibpfad): Wenn der Live-Kontext des Agenten ein vordefiniertes Token-Budget erreicht, wird der aktuelle Verlauf in zusammenhängende „Seiten" partitioniert. Ein Speichermodell generiert für jede Seite eine kompakte Cue ( $m_k$ ), die für die Fortsetzung relevante Beiträge erfasst (z. B. was etabliert wurde, was ausgeschlossen wurde, was offen bleibt). Die rohe Seite wird dann aus dem aktiven Kontext entfernt und extern gespeichert, während die Cue in einer Memory-Bank verbleibt.
Abruf (Lesepfad): Wenn der Agent die Vergangenheit erneut besuchen muss, sendet er eine Abrufanfrage mit einer spezifischen Intention ( $q_t$ ). Der Agent wählt eine Teilmenge relevanter Cues basierend auf seinem aktuellen Zustand aus. Das Speichermodell rekonstruiert dann die entscheidungsrelevanten Informationen aus den entsprechenden rohen Seiten, konditioniert auf die Abrufintention. Dies ermöglicht dem Agenten, zeitlich weit entfernte Informationen bei Bedarf abzurufen, ohne die gesamte Historie wortwörtlich wiederzugeben.

Optimierungsstrategie

SAM wird als eigenständige Fähigkeit durch einen zweistufigen Prozess optimiert, wobei das Agenten-Backbone eingefroren bleibt:

Experten-gesteuertes Supervised Fine-Tuning (SFT): Das Speichermodell (initialisiert als Qwen3.5-9B) wird auf Spuren führender LLMs (z. B. Claude-4.5-Opus, GPT-5.4) trainiert, die Aufgaben erfolgreich gelöst haben. Dies liefert gepaarte Ziele sowohl für die Konsolidierung (Generieren von Cues) als auch für den intentionsgesteuerten Abruf (Rekonstruieren von Informationen).
OAT-GRPO (Oracle-Anchored Tree GRPO): Um das Speichermodell mit dem Nutzen auf Trajektorien-Ebene abzugleichen, führen die Autoren ein spezialisiertes Reinforcement-Learning-Ziel ein.
- Baumstrukturierte Outcome-Reward: Im Gegensatz zum Standard-GRPO, das einem gesamten Rollout eine einzige Reward zuweist, strukturiert OAT-GRPO Rollouts als Memory-Call-Baum. Es verzweigt sich bei jeder Speicheraktion, sodass die Kreditvergabe spezifischen Speicheroutputs basierend auf dem finalen Task-Ergebnis zugeordnet werden kann.
- Oracle-Anchored Recoverability-Reward: Um die Spärlichkeit von Outcome-Signalen zu adressieren, wird eine „Oracle"-Reward unter Verwendung eines Komitees von Frontier-Modellen berechnet. Diese Reward bewertet, wie gut eine abgerufene Zusammenfassung den Zielraum nützlicher Informationen (Relevanz, Abdeckung, Konsistenz) im Vergleich zu Expertenreferenzen abdeckt, wodurch das Lernsignal verdichtet wird.

Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

Formulierung: Sie stellt das Management langfristiger Kontexte als Problem eines zustandsadaptiven Speichers neu dar und priorisiert den nachfragegesteuerten Zugriff auf zeitlich entfernte Informationen gegenüber einer einfachen aktualitätsbasierten Komprimierung.
Architektur: Sie führt eine Cue-Seiten-Speicherarchitektur ein, die leichte Konsolidierung zur Schreibzeit von intention-konditionierter Rekonstruktion zur Lesezeit über bewahrte rohe Trajektorien-Seiten entkoppelt.
Optimierungsrezept: Sie entwickelt eine Trainingspipeline für eigenständige Speichermodelle, die Experten-gesteuerte Überwachung mit OAT-GRPO kombiniert, einem RL-Ziel auf Memory-Action-Ebene, das Kreditvergabe durch Memory-Call-Bäume und Oracle-verankerte Recoverability-Rewards vornimmt.

Experimentelle Ergebnisse

SAM wurde an vier Benchmarks für langfristige Agenten evaluiert: BrowseComp, BrowseComp-ZH, WideSearch und HLE. Die Experimente nutzten diverse Agenten-Backbones, einschließlich proprietärer (GLM-4.7) und quelloffener (Qwen3.5-35B-A3B) Modelle.

Leistung: SAM übertraf konsistent starke Baselines, einschließlich heuristischer Kontextmanagement-Strategien (Verwerfen von Tools, Beibehalten der letzten $k$ Schritte, rollierende Zusammenfassungen) und bestehender quelloffener Agentensysteme (WebThinker, WebSailor, ReSum, etc.).
Generalisierung: Ein einzelnes, einmal trainiertes Qwen3.5-9B-Speichermodell erzielte die besten Scores über alle Backbone-Benchmark-Kombinationen hinweg, was zeigt, dass der Speichermechanismus robust und generalisierbar ist und nicht von spezifischen Backbone-Benchmark-Kopplungen abhängt.
Ablationsstudien:
- Sowohl die SFT- als auch die OAT-GRPO-Phasen erwiesen sich als komplementär; das Entfernen einer der beiden führte zu Leistungseinbußen.
- Die Gewinne wurden primär dem intentionsgesteuerten Abruf zugeschrieben und nicht allein der Konsolidierung. Varianten, die nur Zusammenfassungen oder aktualitätsbasierten Abruf verwendeten, schnitten signifikant schlechter ab.
- SAM behielt seinen Vorteil auch bei steigender Anzahl von Interaktionsrunden (z. B. über 80 Runden hinaus), wo zusammenfassungsbasierte Methoden begannen, nützlichen Zustand zu verlieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass explizites Speichermodellieren eine einfache und effektive Grundlage für langfristiges agentisches Reasoning bietet. Indem SAM den Speicher als externe, wiederverwendbare Fähigkeit behandelt, die Interaktionen in navigierbare Einträge konsolidiert und gleichzeitig Rohdaten zur Rekonstruktion bewahrt, ermöglicht es Agenten, Informationen aus beliebigen Stadien ihrer Trajektorie wiederzugewinnen, ohne das zugrundeliegende Backbone neu zu trainieren.

Die Autoren positionieren SAM nicht als Ersatz für die Reasoning-Policy des Agenten, sondern als modulare Komponente, die die langfristige Historie von einer passiven Last in einen navigierbaren Speicherbereich verwandelt. Die Ergebnisse deuten darauf hin, dass die Fähigkeit, die richtigen vergangenen Informationen für den aktuellen Entscheidungsstatus abzurufen, ein kritischer, jedoch oft übersehener Faktor beim Skalieren agentischen Reasonings ist. Die Arbeit wird als Schritt hin zu modularen Speichersystemen für zunehmend leistungsfähige Agenten präsentiert, wobei der Code für weitere Forschung verfügbar gemacht wurde.