🤖 machine learning

Remember, Don't Re-read: Stateful ReAct Agents for Token-Efficient Autonomous Experimentation

Dieses Paper stellt eine zustandsbehaftete ReAct-Agentenarchitektur unter Verwendung von LangGraph vor, die das tokenineffiziente, zustandslose Autoresearch-Muster durch einen persistenten Zustandsmechanismus ersetzt und dabei eine signifikante Reduktion des Token-Verbrauchs (bis zu 90 %) bei Hyperparameter-Tuning- und Code-Optimierungsaufgaben erreicht, während eine vergleichbare Leistung beibehalten wird.

Ursprüngliche Autoren: Faramarz Jabbarvaziri

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Faramarz Jabbarvaziri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wissenschaftler, der versucht, das perfekte Rezept für einen Kuchen zu finden. Jedes Mal, wenn Sie eine Charge backen, probieren Sie sie, schreiben auf, was passiert ist, und entscheiden dann, was Sie für die nächste Charge ändern werden.

Der alte Weg (Stateless Agent): Der „amnesische Koch“
In der traditionellen Methode, die in dem Paper beschrieben wird, hat der KI-Koch ein schreckliches Gedächtnis. Jedes Mal, wenn er eine neue Charge backt, schaut er sich nicht nur den letzten Kuchen an. Er zieht ein riesiges Notizbuch heraus, das die Geschichte jedes einzelnen Kuchens enthält, den er jemals gebacken hat, vom allerersten bis zum aktuellen.

Er liest das gesamte Notizbuch Wort für Wort erneut, nur um sich zu erinnern, was er zuvor getan hat.

Das Problem: Wenn Sie 10 Kuchen backen, ist das Notizbuch klein. Aber wenn Sie 100 Kuchen backen, ist das Notizbuch riesig. Der Koch verbringt die meiste Zeit und Energie damit, die alten Notizen zu lesen, anstatt über den neuen Kuchen nachzudenken. Das Paper nennt dies ein O(n²)-Problem: Wenn die Anzahl der Experimente wächst, wächst auch der Arbeitsaufwand exponentiell. Es ist, als würde man versuchen, eine bestimmte Seite in einem Buch zu finden, indem man das ganze Buch jedes Mal von der ersten Seite an liest.

Der neue Weg (Stateful Agent): Der „organisierte Bibliothekar“
Die Autoren dieses Papers haben ein intelligenteres System unter Verwendung eines Werkzeugs namens LangGraph entwickelt. Anstatt eines Kochs mit Amnesie stellen Sie sich eine KI mit einem persönlichen Bibliothekar vor.

Der Bibliothekar führt die Historie: Der Bibliothekar (der „State“) hält die gesamte Historie jedes gebackenen Kuchens, jeder vorgenommenen Anpassung und jedes beobachteten Ergebnisses bereit. Die KI muss dieses schwere Buch nicht ständig mit sich herumtragen.
Die Zusammenfassungs-Notiz: Wenn die KI entscheiden muss, was als Nächstes zu tun ist, händigt der Bibliothekar nicht die ganze Bibliothek aus. Stattdessen schreibt der Bibliothekar eine winzige, dreisätzige Haftnotiz: „Sie haben 25 Chargen probiert. Die beste war 1,9-mal schneller. Hier sind die letzten 5 Versuche, die Sie gemacht haben. Vergessen Sie nicht, den Fehler zu vermeiden, der bei Charge #7 aufgetreten ist.“
Das Ergebnis: Die KI liest nur diese kurze Notiz. Es spielt keine Rolle, ob die KI 10 Kuchen oder 1.000 Kuchen gebacken hat; die Notiz ist immer gleich kurz. Der Arbeitsaufwand bleibt konstant (O(1)).

Was sie getestet haben
Die Forscher haben dieses „Bibliothekar“-System gegen den „amnesischen Koch“ bei zwei spezifischen Aufgaben getestet:

Ein Radio abstimmen (Hyperparameter-Tuning): Sie versuchten, die perfekten Einstellungen für ein Machine-Learning-Modell zu finden.
- Das Ergebnis: Das Bibliothekar-System verwendete 90 % weniger Wörter (Tokens), um das gleiche Ergebnis zu erzielen. Es war, als hätte der Koch aufgehört, die gesamte Geschichtsschreibung zu lesen, und statiezen nur noch einen Spickzettel zu nutzen.
Ein langsames Computerprogramm reparieren (Code-Optimierung): Sie versuchten, ein langsames Stück Code schneller laufen zu lassen, indem sie es umschrieben.
- Das Ergebnis: Obwohl die „Notizen“ hier länger waren (da sie den eigentlichen Code enthalten mussten), verwendete der Bibliothekar dennoch halb so viele Wörter wie der amnesische Koch. Der amnesische Koch las ständig die gesamte Historie der Code-Änderungen erneut, während der Bibliothekar einfach die aktuelle beste Version und die letzten paar Versuche zeigte.

Die wichtigste Erkenntnis
In diesem Paper geht es nicht darum, die KI „schlauer“ darin zu machen, den besten Kuchen oder Code zu finden. Beide Methoden fanden Lösungen von ähnlicher Qualität.

Der Durchbruch ist die Effizienz.

Der alte Weg: Wenn man mehr Experimente durchführt, explodieren die Kosten (an Computerzeit und Geld), weil die KI jedes Mal alles erneut lesen muss.
Der neue Weg: Die Kosten bleiben flach. Man kann hunderte von Experimenten durchführen, ohne dass die KI durch ihre eigene Historie ausgebremst wird.

Kurz gesagt:
Das Paper zeigt, dass man, indem man einer KI eine persistente „Gedächtnisbank“ (State) und einen Weg gibt, dieses Gedächtnis zusammenzufassen (ReAct Agent), verhindert, dass sie Energie verschwendet, indem sie ihr eigenes Tagebuch immer wieder neu liest. Dies ermöglicht es der KI, lange, komplexe Experimente durchzuführen, ohne von der schieren Größe ihrer eigenen Historie überwältigt zu werden.

Technisches Resümee: Stateful ReAct-Agenten für token-effiziente autonome Experimentation

Problemstellung

Das „Autoresearch“-Muster ermöglicht autonome Experimentation, indem ein Large Language Model (LLM) iterativ Code modifiziert, um eine Zielmetrik zu optimieren. Während dies effektiv ist, ist die Standardimplementierung zustandslos (stateless): Bei jeder Iteration muss der Agent den gesamten experimentellen Kontext rekonstruieren, indem er die vollständige Historie der Ergebnisse und Code-Modifikationen neu liest, die in einer Forschungsdirektive (z. B. program.md) akkumuliert wurden.

Dieses Design führt zu einer strukturellen Ineffizienz:

Token-Kosten: Die Prompt-Größe wächst linear ( $O(n)$ ) mit der Anzahl der Iterationen, was zu einem gesamten Token-Kostenaufwand von $O(n^2)$ führt.
Redundanz: Der Agent übermittelt Informationen, die er in vorangegangenen Schritten bereits verarbeitet hat.
Skalierbarkeit: Da sich die Prompts mit zunehmender Anzahl an Experimenten den Kontextfenster-Limits nähern, ist eine Kürzung oder Zusammenfassung erforderlich, was das Risiko birgt, kritische experimentelle Nuancen zu verlieren.

Das Paper postuliert, dass, da LLMs keine transienten Zustände über Interaktionen hinweg aufrechterhalten können (Huang et al. [10]), ein externes Zustandsmanagement eine architektonische Notwendigkeit ist, um diese quadratische Kostenkurve zu durchbrechen.

Methodik

Die Autoren formulieren das Autoresearch-Muster als einen stateful ReAct-Agenten unter Verwendung von LangGraph um. Anstatt monolithischer Prompts, die die vollständige Historie enthalten, interagiert der Agent via Tool-Aufrufen mit dem ML-System, während die experimentelle Historie, die Reasoning-Spuren und Konvergenzmetriken in einem typisierten, persistenten Zustandsgraphen fortbestehen.

Architektur

Der Agent operiert als Zustandsgraph mit drei primären Knoten:

REASON: Ruft das LLM (Claude Haiku 4.5) mit dem aktuellen Zustandskontext auf. Das Modell generiert Reasoning-Spuren und Tool-Aufrufe.
TOOLS: Führt Tool-Aufrufe deterministisch aus (z. B. Experimente ausführen, Ergebnisse abfragen) und gibt Beobachtungen zurück.
CHECK: Evaluiert Konvergenzkriterien (Zielmetrik-Schwellenwert, Iterationsbudget oder LLM-Konklusion) ohne LLM-Beteiligung.

Bedingte Kanten steuern den Fluss: Wenn das LLM Tool-Aufrufe produziert, geht die Kontrolle an TOOLS über; andernfalls geht sie zu CHECK über. Wenn nicht konvergiert, kehrt die Schleife zu REASON zurück.

Zustandsverwaltung

Die Kerninnovation ist der AgentState (ein typisierter Dictionary), der über Iterationen hinweg persistiert. Er umfasst:

messages: Ein gleitendes Fenster der letzten 20 Nachrichten, um die Input-Kosten zu begrenzen.
experiment_history: Eine Liste aller vergangenen Ergebnisse.
current_best: Das bisher beste gefundene Ergebnis.
train_py_content: Der aktuelle Codestatus.

Entscheidend ist, dass der Agent eine Hilfsklasse (ExperimentState oder CodeState) verwendet, um bei jedem Schritt eine kompakte Zusammenfassung für das LLM zu generieren. Diese Zusammenfassung enthält:

Aktuelle Iterationsanzahl und beste aggregierte Metriken.
Die letzten 5 Experimente (oder jüngste Ergebnisse).
Strategie-Notizen und fehlgeschlagene Ansätze.

Dies stellt sicher, dass das LLM pro Schritt nur $O(1)$ Input-Token erhält, unabhängig von der Gesamtzahl der durchgeführten Experimente. Die vollständige Historie bleibt im Zustand zugänglich, wird aber aus dem Prompt ausgeschlossen, sofern sie nicht explizit über Tools abgefragt wird.

Tooling

Der Agent interagiert über spezifische Tools mit dem ML-System:

Hyperparameter-Tuning: get_experiment_history und run_experiment.
Code-Optimierung: get_current_train_py, modify_train_py (mit Guardrails zur Bewahrung der Evaluationslogik), submit_training_job und query_results.

Wichtigste Beiträge

Architektonische Umformulierung: Transformation des zustandslosen Autoresearch-Musters in einen stateful ReAct-Agenten mittels LangGraph, wodurch das Arbeitsgedächtnis des Agenten von seinem Prompt-Kontext entkoppelt wird.
Token-Effizienz: Demonstration einer strukturellen Reduktion der Token-Kosten vom $O(n^2)$ (zustandslos) zum $O(n)$ (stateful) Gesamtaufwand, mit $O(1)$ Kosten pro Iteration.
Implementierungs-Blueprint: Bereitstellung einer detaillierten, reproduzierbaren Architektur (einschließlich Zustands-Schemas, Graph-Logik und Tool-Definitionen) für Praktiker zur Implementierung stateful Agenten.

Experimentelle Ergebnisse

Die Autoren evaluierten den stateful Agenten gegen einen stateless Baseline-Agenten anhand zweier Benchmark-Aufgaben unter Verwendung von 3 Random Seeds.

Aufgabe 1: Hyperparameter-Tuning (Kleine Beobachtungen)

Setup: 15 Iterationen zur Optimierung von XGBoost auf dem UCI Covertype Datensatz. Beobachtungen waren klein (~200 Token: JSON-Konfiguration + Metriken).
Ergebnisse:
- Token-Reduktion: Der stateful Agent verbrauchte 90 % weniger Token (2.492 vs. 24.465), was einer 9,8-fachen Reduktion entspricht.
- Performance: Beide Agenten erreichten vergleichbare F1-Scores (0,779 vs. 0,764), wobei Unterschiede auf die Seed-Varianz und nicht auf die architektonische Überlegenheit zurückzuführen sind.
- Kostenkurve: Die stateless Input-Kosten wuchsen linear von ~700 auf ~1.900 Token pro Iteration; die stateful Kosten blieben konstant bei ~100 Token.

Aufgabe 2: Code-Performance-Optimierung (Große Beobachtungen)

Setup: 40 Iterationen zur Optimierung einer Python-Datenverarbeitungsfunktion. Beobachtungen waren groß (~1.500–3.000 Token: vollständiger Quellcode + Benchmarks).
Ergebnisse:
- Token-Reduktion: Der stateful Agent verbrauchte 52 % weniger Token (627K vs. 1.275K), eine 2,0-fache Reduktion.
- Performance: Beide Agenten erreichten vergleichbare Beschleunigungen (~1,9× über Baseline).
- Kostenkurve: Obwohl der stateful Agent bei jedem Schritt einen festen Aufwand hatte, um den „aktuellen besten Code“ zu senden (~1.500 Token), flachte die Gesamtkostenkurve ab. Im Gegensatz dazu stiegen die stateless Kosten linear weiter an und akkumulierten bis zur 40. Iteration über 80.000 Token an Historie.

Vergleichende Analyse

Das Token-Reduktionsverhältnis ist umgekehrt proportional zur Größe der Beobachtung im Verhältnis zur Zustandszusammenfassung.

Kleine Beobachtungen: Die fixierte Zusammenfassung ist drastisch kleiner als die akkumulierte Historie, was hohe Reduktionsraten liefert (9,8×).
Große Beobachtungen: Der stateful Agent muss dennoch das aktuelle Code-Artefakt übertragen, was das Verhältnis begrenzt (2,0×). Das Paper stellt jedoch fest, dass mit zunehmender Iterationszahl (z. B. auf 100 oder 200) die Divergenz zwischen $O(n^2)$ und $O(n)$ das Verhältnis signifikant verbreitern wird (projektiert 4× bis 7×).

Bedeutung und Ansprüche

Das Paper behauptet, dass der primäre Beitrag die strukturelle Effizienz ist, nicht notwendigerweise eine verbesserte Optimierungsqualität. Der stateful Agent erreicht eine vergleichbare Optimierungsqualität zur stateless Baseline bei drastisch reduziertem Token-Verbrauch.

Skalierbarkeit: Die $O(1)$ Kosten pro Iteration ermöglichen beliebig lange Experimentsequenzen ohne Prompt-Kürzung oder Verlust der Entscheidungsfähigkeit.
Ökonomische Auswirkungen: Während die Einsparungen bei kurzen Durchläufen moderat sind, werden sie bei groß angelegter Forschung (Hunderte von Experimenten täglich) materiell, wo die quadratischen Kosten der stateless Ausführung zu einem dominierenden Engpass werden.
Zukunftsausblick: Die Autoren deuten an, dass mit zunehmenden Experiment-Horizonten die quadratischen Token-Kosten der stateless Ausführung zum primären Constraint werden, was stateful Architekturen für nachhaltige autonome Experimentation essenziell macht.

Die Autoren bleiben hinsichtlich der Optimierungsqualität bescheiden und stellen explizit klar, dass beobachtete Unterschiede in den Metriken innerhalb des Rauschens liegen und nicht als Qualitätsvorteil des stateful Ansatzes interpretiert werden sollten. Der Fokus liegt strikt auf den Effizienzgewinnen durch den architektonischen Wechsel.