💬 NLP

In-the-Flow Agentic System Optimization for Effective Planning and Tool Use

Das Paper stellt AgentFlow vor, ein trainierbares In-the-Flow-Agenten-Framework, das einen neuartigen Flow-GRPO-Algorithmus verwendet, um einen spezialisierten Planer innerhalb einer Multi-Turn-Schleife zu optimieren und dabei signifikante Leistungssteigerungen gegenüber bestehenden Baselines und größeren proprietären Modellen über diverse Reasoning- und Tool-Use-Benchmarks hinweg zu erzielen.

Ursprüngliche Autoren: Zhuofeng Li, Haoxiang Zhang, Seungju Han, Sheng Liu, Jianwen Xie, Yu Zhang, Yejin Choi, James Zou, Pan Lu

Veröffentlicht 2026-07-23

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhuofeng Li, Haoxiang Zhang, Seungju Han, Sheng Liu, Jianwen Xie, Yu Zhang, Yejin Choi, James Zou, Pan Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, ein Rätsel zu lösen. Sie wollen nicht, dass er nur rät; Sie wollen, dass er eine Karte, eine Lupe und einen Taschenrechner benutzt, um die Wahrheit zu finden. Dies ist die Welt der Large Language Models (LLMs), die wie riesige, belesene Gehirne sind, die sprechen und schlussfolgern können. Kürzlich haben Wissenschaftler einen Weg entdeckt, diese Gehirne noch schärfer zu machen, indem sie sie üben lassen: Sie versuchen, ein Problem zu lösen, erhalten am Ende ein „Gut gemacht“ oder ein „Versuch es noch einmal“-Signal und lernen aus diesem Ergebnis. Dies wird als Reinforcement Learning bezeichnet.

Es gibt jedoch einen Haken. Wenn die Aufgaben wirklich lang und kompliziert werden – wie eine Detektivgeschichte mit zwanzig Hinweisen und fünf verschiedenen Werkzeugen (einer Suchmaschine, einem Code-Schreiber, einem Faktencheck) – wird das Lehren des Roboters auf einmal sehr unübersichtlich. Es ist, als würde man versuchen, gleichzeitig ein Auto zu fahren, ein Flugzeug zu steuern und ein Boot zu segeln, während man die Augen verbunden hat. Der Roboter wird verwirrt, macht frühzeitig Fehler und kann nicht herausfinden, welcher spezifische Schritt zum Absturz geführt hat. Die meisten aktuellen Systeme versuchen entweder, alles in einem einzigen riesigen Gehirn zu vereinen (was bei langen Aufgaben Schwierigkeiten hat), oder sie nutzen ein Team von Robotern, die nicht voneinander lernen (welche in ihren ursprünglichen, unveränderlichen Gewohnheiten feststecken).

Dieses Paper stellt eine neue Methode vor, um diese KI-Teams zu trainieren, genannt AGENTFLOW. Denken Sie an eine dynamische, lebendige Werkstatt, in der ein Team spezialisierter Roboter in Echtzeit zusammenarbeitet. Anstatt eines einzelnen riesigen Gehirns, das versucht, alles zu erledigen, teilt AGENTFLOW die Arbeit auf: Ein Planner entscheidet über den nächsten Schritt, ein Executor führt die Aktion aus (wie etwa eine Websuche), ein Verifier prüft, ob das Ergebnis Sinn ergibt, und ein Generator schreibt die endgültige Antwort. Sie alle teilen sich eine „Gedächtnistafel“, die nach jedem einzelnen Schritt aktualisiert wird. Die Magie geschieht, weil der Planner lernt, während das Team arbeitet, und nicht erst im Nachhinein.

Die Forscher entwickelten eine spezielle Trainingsmethode namens Flow-GRPO. Stellen Sie sich ein Spiel wie „Heiße Kartoffel“ vor, bei dem das Team bei jedem Zug ein einzelnes „Erfolg“- oder „Misserfolg“-Token an jeden Spieler zurückgibt. Wenn das Team das Rätsel am Ende löst, erhält jeder einzelne Schritt, den sie gemacht haben, ein „Gut gemacht!“-Signal. Wenn sie scheitern, erhält jeder Schritt ein „Versuch es noch einmal“. Dies hilft dem Planner zu verstehen, dass selbst die kleinen Entscheidungen, die frühzeitig getroffen wurden, für das Endergebnis entscheidend sind. Durch dieses Training lernt das System, sich sofort anzupassen, seine eigenen Fehler zu korrigieren und das richtige Werkzeug für die Aufgabe auszuwählen.

Die Ergebnisse sind beeindruckend. Das Team testete dieses System bei zehn verschiedenen Arten von schwierigen Rätseln, die von der Suche nach obskuren Fakten bis hin zur Lösung komplexer mathematischer und wissenschaftlicher Fragen reichten. Obwohl sie ein relativ kleines „Gehirn“ verwendeten (ein Modell mit 7 Milliarden Parametern), schlug AGENTFLOW viel größere, berühmte Modelle wie GPT-4o (das etwa 200 Milliarden Parameter besitzt) und andere spezialisierte KI-Systeme. Beispielsweise verbesserte es bei suchintensiven Aufgaben die Genauigkeit um fast 15 % und bei mathematischen Problemen um über 14 %. Die Studie zeigt, dass sie durch das gemeinsame Lernen im Fluss des Gesprächs – anstatt in Isolation – viel besser darin werden, zu planen, Werkzeuge zu benutzen und Probleme zu lösen, die viele Schritte erfordern. Es geht nicht nur darum, ein größeres Gehirn zu haben; es geht darum, dem Team beizubringen, wie es effektiv zusammenarbeitet.

Technisches Resümee: Optimierung von In-the-Flow-Agentic-Systemen für effektive Planung und Werkzeugnutzung

Problemstellung

Obwohl ergebnisorientiertes Reinforcement Learning (RL) das Schlussfolgern in Large Language Models (LLMs) signifikant vorangebracht hat, stehen gängige werkzeugunterstützte Ansätze vor kritischen Einschränkungen. Die meisten bestehenden Methoden trainieren eine einzelne, monolithische Policy, die Schlussfolgerungsprozesse und Werkzeugaufrufe unter einem vollständigen Kontext verzahnt. Diese Architektur skaliert schlecht bei langen Reasoning-Horizonten und diversen Werkzeugsets, was häufig zu Trainingsinstabilität und einer schwachen Generalisierung auf ungesehene Szenarien führt.

Im Gegensatz dazu bieten agentische Systeme eine vielversprechende Alternative, indem sie Aufgaben über spezialisierte Module (z. B. Planer, Exekutoren, Kritiker) zerlegen. Die meisten aktuellen agentischen Systeme sind jedoch trainingsfrei und verlassen sich auf handgefertigte Logik oder statische Prompting-Heuristiken. Jene, die dennoch Training einsetzen, nutzen typischerweise Offline-Supervised Fine-Tuning (SFT) oder Präferenzoptimierung auf statischen Datensätzen. Diese Off-Policy-Ansätze sind von der Live-Dynamik Multi-Turn-Interaktionen entkoppelt und versäumen es zu erfassen, wie sich Module an evolvierende Werkzeugausgaben anpassen oder aus frühen Fehlern regenerieren sollten. Infolgedessen kämpfen agentische Systeme mit spärlichen Belohnungen (sparse rewards), brüchiger Adaption und ineffizienter Orchestrierung in dynamischen Umgebungen.

Methodik: AGENTFLOW und Flow-GRPO

Die Autoren führen AGENTFLOW ein, ein trainierbares, „In-the-Flow“-agentisches Framework, das darauf ausgelegt ist, Planung und Werkzeugnutzung direkt innerhalb der Multi-Turn-Interaktionsschleife zu optimieren.

1. Die AGENTFLOW-Architektur

AGENTFLOW koordiniert vier spezialisierte Module durch ein gemeinsames, evolvierendes Gedächtnis ( $M$ ) und einen Werkzeugsatz ( $K$ ):

Planner ( $P$ ): Eine trainierbare Policy ( $\pi_\theta$ ), die Sub-Ziele formuliert, Werkzeuge auswählt und Kontext aus dem Gedächtnis abruft.
Executor ( $E$ ): Ruft das ausgewählte Werkzeug auf und gibt die Ausführungsergebnisse ( $e_t$ ) zurück.
Verifier ( $V$ ): Bewertet die Validität der Ausführung und ob das akkumulierte Gedächtnis ausreicht, um die Anfrage zu lösen, und erzeugt ein binäres Signal ( $v_t$ ).
Generator ( $G$ ): Erzeugt die endgültige Lösung nach Beendigung des Prozesses.

Im Gegensatz zu latenten Denkprozessen in monolithischen Modellen pflegt AGENTFLOW ein explizites, deterministisches und strukturiertes Gedächtnis, das den Reasoning-Prozess aufzeichnet. Dies gewährleistet Transparenz, kontrollierbares Verhalten und ein begrenztes Kontextwachstum. Das System operiert als ein Multi-Turn Markov Decision Process (MDP), wobei der Planner innerhalb der Live-Schleife On-Policy optimiert wird.

2. Flow-basierte Group Refined Policy Optimization (Flow-GRPO)

Um das Problem der Credit Assignment über lange Horizonte zu adressieren, das in der Zusammenhang mit spärlichen, Trajektorien-basierten Belohnungen inhärent ist, schlagen die Autoren Flow-GRPO vor. Dieser On-Policy-Algorithmus transformiert die komplexe Multi-Turn-RL-Herausforderung in eine Sequenz von handhabbaren Single-Turn-Updates:

Trajektorien-basierte Belohnungs-Broadcasting: Anstatt fragile Zwischenbelohnungen zuzuweisen, weist das System eine einzige, verifizierbare Endresultat-Belohnung ( $R(\tau)$ ) der gesamten Trajektorie zu. Diese Belohnung wird an jeden Turn ( $t$ ) innerhalb des Rollouts übertragen (Broadcast).
Single-Turn-Dekomposition: Durch das Broadcasting des globalen Erfolgs-Signals an jeden Turn wird die Multi-Turn-Optimierung effektiv in unabhängige Single-Turn-Policy-Updates dekomponiert. In jedem Turn hat der Planner Zugriff auf den vollständigen historischen Kontext (via Gedächtnis) und erhält ein konsistentes Belohnungssignal, das auf den globalen Erfolg ausgerichtet ist.
Gruppen-normalisierte Advantages: Um das Training zu stabilisieren und die Varianz zu reduzieren, verwendet der Algorithmus gruppen-normalisierte Advantages. Für eine Gruppe von $G$ parallelen Rollouts wird der Advantage für eine spezifische Trajektorie berechnet, indem deren Belohnung gegen den Mittelwert und die Standardabweichung der Gruppe normalisiert wird.

Die Zielfunktion maximiert den erwarteten Ertrag über parallele Rollouts unter Verwendung einer geklippten Surrogate-Objective (ähnlich wie PPO) mit einer KL-Divergenz-Strafe gegenüber einer Referenz-Policy.

Zentrale Beiträge

AGENTFLOW-Framework: Ein trainierbares agentisches System, das seinen Planner direkt innerhalb der Multi-Turn-Schleife optimiert. Durch die Koordination spezialisierter Module via eines evolvierenden Gedächtnisses ermöglicht es adaptive Langzeitplanung und robuste Werkzeug-Orchestrierung, wodurch die Lücke zwischen monolithischen Reasoning-Modellen und statischen agentischen Systemen geschlossen wird.
Flow-GRPO-Algorithmus: Ein On-Policy, ergebnisorientierter Algorithmus, der Multi-Turn-RL in eine Sequenz von Single-Turn-Updates umwandelt. Er löst das Problem der Credit Assignment, indem er eine verifizierbare Trajektorien-Ergebnisbelohnung an jeden Turn überträgt und das Lernen durch Gruppen-Normalisierung stabilisiert.
Umfassende empirische Validierung: Umfangreiche Experimente über zehn diverse Benchmarks hinweg zeigen, dass AGENTFLOW mit einem 7B-Parameter-Backbone spezialisierte Baselines und sogar größere proprietäre Modelle übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten AGENTFLOW auf zehn Benchmarks, die wissensintensive Suche, agentisches Reasoning, mathematisches Reasoning und wissenschaftliches Reasoning abdecken.

Leistungssteigerungen: AGENTFLOW (7B Backbone) erzielte durchschnittliche Genauigkeitsgewinne von 14,9 % bei Suchaufgaben, 14,0 % bei agentischen Aufgaben, 14,5 % bei mathematischen Aufgaben und 4,1 % bei wissenschaftlichen Aufgaben im Vergleich zu den leistungsstärksten Baselines.
Vergleich zu proprietären Modellen: Bemerkenswerterweise übertraf das 7B-Skala AGENTFLOW-System das ca. 200B-Parameter starke GPT-4o in allen Domänen mit Gewinnen zwischen 8,2 % und 18,0 %.
Ablationsstudien:
- Trainingsstrategie: Der Ersatz des eingefrorenen Planners durch ein stärkeres Modell (GPT-4o) brachte nur moderate Gewinne. Im Gegensatz dazu verursachte Offline-SFT auf GPT-4o-Trajektorien einen katastrophalen Leistungsabfall (19,0 % Rückgang), während das In-the-Flow Flow-GRPO-Training einen 17,2 % höheren Gewinn gegenüber der eingefrorenen Baseline lieferte.
- Skalierung: Die Leistungsverbesserungen waren konsistent, wenn das Backbone von 3B auf 7B Parameter skaliert wurde. Zudem verbesserte die Erhöhung der maximal erlaubten Turns ( $T_{max}$ ) von 3 auf 10 die Ergebnisse konsistent, was die Fähigkeit des Systems validiert, die Turn-Allokation an die Komplexität des Problems anzupassen.
Qualitative Analyse: Fallstudien zeigten, dass Flow-GRPO den Planner dazu befähigt:
- Die Werkzeugwahl zu optimieren (z. B. Wechsel von allgemeiner Suche zu spezifischer Websuche für domänenspezifische Aufgaben).
- Aus Fehlern zu regenerieren (z. B. Korrektur von Variablenbenennungsfehlern in Code-Execution-Loops).
- Neue Lösungswege zu entdecken (z. B. strategischer Wechsel der Werkzeuge nach anfänglichem Scheitern).

Signifikanz und Behauptungen

Das Paper behauptet, dass eine In-the-Flow-Optimierung entscheidend für effektive agentische Systeme ist. Durch das direkte Training des Planners innerhalb der Live-Multi-Turn-Schleife mittels Flow-GRPO lernt das System, langwierige Workflows zu handhaben, sich an dynamisches Werkzeug-Feedback anzupassen und kumulative Fehler zu korrigieren – Fähigkeiten, die herkömmliche Offline-Trainingsmethoden nicht erfassen können.

Die Autoren behaupten, dass ihr Ansatz zeigt, dass ein sorgfältig konzipiertes agentisches System selbst mit einem relativ kleinen 7B-Parameter-Backbone eine überlegene und effizientere Leistung im Vergleich zu wesentlich größeren monolithischen LLMs erbringen kann. Dies deutet darauf hin, dass die Architektur und die Trainingsmethodik (speziell die Kombination aus modularer Dekomposition und On-Policy Flow-Optimierung) entscheidendere Faktoren für komplexen Reasoning-Erfolg sind als die reine Modellgröße allein. Die Arbeit etabliert einen neuen Stand der Technik für agentische Systeme und beweist, dass trainierbare, In-the-Flow-Optimierung zu verbessertem Planning, erhöhter Zuverlässigkeit beim Werkzeugaufruf und positiven Skalierungstrends führt.