🤖 AI

FlowSteer: Towards Agents Designing Agentic Workflows via Reinforced Progressive Canvas Editing

FlowSteer ist ein neuartiges Framework, das einem einzelnen Agenten ermöglicht, ausführbare agentische Workflows von Anfang bis Ende durch ein verstärktes, progressives Canvas-Editing-Paradigma zu entwerfen, wobei Echtzeit-Feedback auf Graphenebene genutzt wird, um Herausforderungen bei der menschlich abhängigen Konstruktion und der Fehlerbehebung im Schleifenprozess zu überwinden.

Ursprüngliche Autoren: Mingda Zhang, Wenjin Liu, Tiesunlong Shen, Qika Lin, Rui Mao, Erik Cambria, Xiaoying Tang, Haoran Luo

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mingda Zhang, Wenjin Liu, Tiesunlong Shen, Qika Lin, Rui Mao, Erik Cambria, Xiaoying Tang, Haoran Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine komplexe Maschine zu bauen, wie eine Rube-Goldberg-Maschine, um ein spezifisches Problem zu lösen (wie das Berechnen einer mathematischen Antwort oder das Schreiben eines Code-Stücks).

In der Vergangenheit mussten Menschen sich hinsetzen und jeden einzelnen Teil dieser Maschine manuell per Drag-and-Drop platzieren, wobei sie Zahnräder und Hebel einzeln miteinander verbanden. Wenn sie einen Fehler machten, mussten sie oft das ganze Ding zerlegen und von vorne beginnen. Dies war langsam, teuer und schwer an neue Probleme anzupassen.

FlowSteer ist ein neues System, das das Spiel verändert. Anstatt dass ein Mensch die Maschine baut, verwendet es einen intelligenten „Architekten-Agenten", der die Maschine selbst schrittweise aufbaut, während ein „Bau-Roboter" sie in Echtzeit testet.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Leinwand" (Der interaktive Arbeitstisch)

Stellen Sie sich die Workflow-Leinwand als einen magischen, lebendigen Arbeitstisch vor.

Alte Methode: Sie schreiben einen Plan auf ein Stück Papier, geben ihn einem Bauarbeiter und hoffen, dass er ihn richtig umsetzt. Wenn er kaputtgeht, merken Sie das erst am allerEnde.
FlowSteer-Methode: Der Architekten-Agent platziert ein winziges Zahnrad (ein „Operator") auf den Arbeitstisch. Sofort prüft der Arbeitstisch es: „Ist dieses Zahnrad die richtige Form? Passt es?" Es gibt sofortiges Feedback. Wenn das Zahnrad falsch ist, kann der Agent es sofort austauschen. Dies geschieht für jedes einzelne hinzugefügte Teil.

2. Der „Architekt" vs. der „Bauer" (Das Team)

Das System teilt die Arbeit in zwei unterschiedliche Rollen auf, um es intelligenter zu machen:

Der Architekt (Flow-Director): Dies ist eine kleinere, leichtgewichtige KI. Ihre einzige Aufgabe ist es zu entscheiden, welche Teile in die Maschine kommen und wie sie verbunden werden. Sie leistet keine schwere Arbeit; sie entwirft lediglich den Bauplan.
Der Bauer (Der Ausführer): Dies ist eine leistungsstarke, schwere KI (wie GPT-4o oder ähnlich). Sie nimmt den vom Architekten erstellten Bauplan und führt tatsächlich die Mathematik durch, schreibt den Code oder beantwortet die Frage.
Warum das wichtig ist: Der Architekt lernt, ein großartiger Designer zu sein, indem er beobachtet, wie der Bauer Erfolg hat oder scheitert. Wenn der Bauer Schwierigkeiten hat, lernt der Architekt, den Bauplan für das nächste Mal zu ändern. Sie müssen nicht die gleiche Größe haben; ein kleiner Architekt kann einen riesigen Bauern leiten.

3. „Verstärkte progressive Bearbeitung" (Lernen durch Versuch und Irrtum)

Dies ist das „Geheimnis" von FlowSteer.

Stellen Sie sich vor, Sie lernen, ein komplexes Gericht zu kochen. Anstatt das ganze Rezept auf einmal zu raten, fügen Sie eine Zutat hinzu, probieren es und passen es an.
FlowSteer macht dies mit Logik. Der Architekt fügt einen Schritt hinzu (z. B. „Berechne diese Zahl"), die Leinwand testet ihn und sagt dem Architekten: „Dieser Schritt fehlt eine Prüfung." Der Architekt fügt dann einen „Prüf"-Schritt hinzu.
Es macht dies weiter, eine kleine Änderung nach der anderen, unter Verwendung von Verstärktem Lernen. Stellen Sie sich dies wie ein Videospiel vor, bei dem der Architekt nur dann eine „Punktzahl" erhält, wenn die endgültige Maschine perfekt funktioniert. Über Tausende von Versuchen lernt der Architekt genau, welche Abfolge von Schritten zu einer hohen Punktzahl führt.

4. Die Ergebnisse (Was die Studie fand)

Die Forscher testeten dieses System an 12 verschiedenen „Herausforderungen", die von kniffligen mathematischen Problemen (wie denen im MATH-Datensatz) bis zum Schreiben von Computercode und dem Beantworten komplexer Fragen reichten.

Besser als die Konkurrenz: FlowSteer schlug andere Methoden, die versuchen, diese Maschinen auf einmal zu bauen oder sich darauf verlassen, dass Menschen sie einrichten.
Fehler auf der Fliege beheben: Da es jeden Schritt überprüft, kann es Fehler frühzeitig erkennen. Wenn ein mathematisches Problem einen spezifischen Verifikationsschritt benötigt, lernt FlowSteer, diesen automatisch hinzuzufügen.
Flexibel: Es funktioniert mit verschiedenen „Bauern" (verschiedenen KI-Modellen). Sie können den schweren Bauarbeiter gegen einen anderen austauschen, und der Architekt weiß immer noch, wie er die Maschine dafür entwerfen muss, ohne neu trainiert werden zu müssen.

Zusammenfassung

FlowSteer ist wie das Unterrichten eines Meisterarchitekten, komplexe Maschinen zu entwerfen, indem man sie erlaubt, sie Teil für Teil auf einem intelligenten Arbeitstisch zu bauen, der nach jedem einzelnen Zug „Falsch!" oder „Gut!" schreit. Anstatt das ganze Plan auf einmal zu raten, lernt es durch eine lange Reihe kleiner, korrigierbarer Schritte, was zu einem System führt, das bei der Lösung schwieriger, mehrstufiger Probleme viel besser ist als frühere Methoden.

Technische Zusammenfassung: FlowSteer

Problemstellung

Der Aufbau agenter Workflows – ausführbarer Graphen, die Operatoren orchestrieren, um komplexe menschliche Aufgaben zu lösen – stößt derzeit auf drei kritische Einschränkungen:

Menschabhängiger Aufbau: Bestehende Workflows sind stark auf manuelles Drag-and-Drop, regelbasierte Vorlagen oder One-Shot-Prompting mit Large Language Models (LLM) angewiesen. Dieser Ansatz ist wartungsintensiv und fehlt es an Skalierbarkeit bei der Übertragung auf neue Aufgaben, Operator-Bibliotheken oder Modell-Backends.
Fehlendes Feedback auf Graphenebene: Aktuelle Agent-Umgebungen operieren typischerweise auf der Ebene der Textgenerierung oder externer Tool-Aufrufe. Es fehlt eine ausführbare Abstraktion, die strukturiertes, syntaxgeprüftes Feedback zum Workflow-Graphen selbst liefert, was es Agenten unmöglich macht, strukturelle Fehler während des Aufbaus zu diagnostizieren oder zu beheben.
Unfähigkeit, Fehler im Loop zu reparieren: One-Shot-Generierung oder externe suchbasierte Methoden können Fehler, die über mehrere Bearbeitungsschritte hinweg entstehen, nicht iterativ beheben. Dies führt zu spärlichen Lernsignalen, Abkürzungsverhalten (z. B. vorzeitige Beendigung) und instabiler Kreditvergabe über lange Zeiträume.

Methodik: FlowSteer

FlowSteer schlägt ein neues Paradigma vor: Agenten entwerfen agentische Workflows, bei denen ein einzelner Agent den Workflow von Anfang bis Ende entwirft, den ein nachgelagerter Executor ausführt. Das Framework besteht aus drei Kernkomponenten:

1. Workflow-Canvas

Eine neuartige ausführbare Graph-Zustands-Umgebung, die den Workflow-Graphen ( $G_t$ ) verwaltet und für jeden atomaren Bearbeitungsschritt syntaxgeprüftes Ausführungsfeedback zurückgibt.

Zustandsraum: Der Agent interagiert mit einer Canvas, die den aktuellen Graphen, eine Operator-Bibliothek ( $O$ ), einen einsetzbaren LLM-Backend ( $M_{exec}$ ) und Operator-Beschreibungen enthält.
Interaktionsloop: Der Agent gibt eine Reflexion ( $a^{think}_t$ ) gefolgt von einer atomaren Bearbeitungshandlung ( $a_t$ ) aus. Die Canvas führt die Bearbeitung aus, führt Syntax-Parsing und Constraints-Prüfung durch und gibt Feedback ( $o^{exec}_t$ ) zurück, das den Erfolgsstatus, Fehlerursachen und Reparaturvorschläge enthält.
Operatoren & Aktionen: Das System unterstützt 12 funktionale Operatoren (z. B. Planen, Zerlegen, Programmieren, Verifizieren, Formatieren) und 8 Aktionstypen (hinzufügen, löschen, ändern, set_prompt, parallel, bedingt, Schleife, beenden). Entscheidend ist, dass die Interaktion einem Zwei-Schritt-Mechanismus folgt: Strukturelle Entscheidungen (Hinzufügen eines Operators) werden von Inhaltsentscheidungen (Festlegen des Prompts) getrennt, was die kognitive Last reduziert.

2. Entkopplung von Designer und Executor

FlowSteer trennt Workflow-Design und -Ausführung explizit:

Flow-Director (Designer): Ein leichtgewichtiges Policy-Modell ( $\pi_\theta$ ), das ausschließlich für das Design des Workflow-Trajektorie ( $\tau$ ) verantwortlich ist. Es lernt Orchestrierungsstrategien (Operator-Komposition und Kontrollfluss) anstatt die Aufgabe direkt zu lösen.
Executor (Backend): Ein separates, einsetzbares LLM ( $M_{exec}$ ), das den finalen Workflow-Graphen ( $G_\tau$ ) ausführt, um die Antwort ( $y_q$ ) zu erzeugen.
Übertragbarkeit: Da die Policy die Trajektorienverteilung $P(\tau|q)$ optimiert und nicht die Ausführung selbst, kann sie ohne Neutrainieren über verschiedene Operator-Bibliotheken und LLM-Backends hinweg generalisieren.

3. Verstärktes progressives Canvas-Editing

Das Framework setzt Bestärkendes Lernen (RL) ein, um den Flow-Director durch einen Multi-Turn-Interaktionsloop zu trainieren:

Progressiver Aufbau: Der Workflow wird schrittweise aufgebaut, wobei pro Turn eine atomare Bearbeitung erfolgt. Dies zerlegt den Aufbau über lange Zeiträume in überprüfbare, reparierbare lokale Entscheidungen.
Reward-Design: Der Reward auf Trajektorienebene $R(\tau)$ $R (τ)$ kombiniert einen strukturellen Reward und einen Antwort-Reward.
- Struktureller Reward: Prüft auf Vielfalt (Vorhandensein von Verifizierung, Formatierung und Kontrollstrukturen).
- Bedingte Freigabe: Der Antwort-Reward wird nur freigegeben, wenn der strukturelle Reward einen Schwellenwert (1,0) erreicht. Dies verhindert Abkürzungsverhalten, bei dem der Agent den Workflow-Aufbau überspringt, um direkt eine Antwort auszugeben.
Optimierung: Die Policy wird end-to-end mit einem modifizierten Group Relative Policy Optimization (GRPO)-Ziel trainiert. Eine wichtige Anpassung ist eine Token-Level-Maske, die Gradienten-Updates auf Tokens beschränkt, die vom Flow-Director generiert wurden, und Feedback-Tokens der Umgebung ausschließt, um Varianz und Verzerrung zu reduzieren.

Hauptbeiträge

Workflow-Canvas: Eine ausführbare Graph-Zustands-Umgebung, die die Interaktion zwischen Agent und Umgebung vom Prompt-Rewriting auf Graphenoperationen hebt und Echtzeit-Feedback in strukturierter Form liefert.
Verstärktes progressives Canvas-Editing: Ein Trainingsparadigma, das einem Agenten ermöglicht, Workflows im Loop iterativ zu entwerfen und zu reparieren, wodurch die Herausforderungen der Kreditvergabe über lange Zeiträume und der Fehlerwiederherstellung angegangen werden.
Plug-and-Play-Framework: Ein System, das diverse Operator-Bibliotheken und austauschbare LLM-Backends unterstützt und zeigt, dass Orchestrierungsstrategien unabhängig von spezifischen Ausführungs-Engines erlernt werden können.

Experimentelle Ergebnisse

FlowSteer wurde an zwölf Datensätzen evaluiert, die mathematisches Schlussfolgern (GSM8K, MATH, AIME), Fragenbeantwortung (HotPotQA, SQuAD, TriviaQA) und Code-Generierung (MBPP, HumanEval, APPS, DS-1000) abdecken, unter Verwendung von sechs modernen LLM-Backends.

Leistung: FlowSteer übertrifft Baselines signifikant, darunter statische Workflow-Auswahl, Offline-Generierung (SFT, GRPO), suchbasierte Methoden (AFlow) und andere Agent-RL-Ansätze. Es erzielt konsistente Gewinne bei der Aufgabenkorrektheit (z. B. durchschnittlich +22,65 % EM für In-Distribution-Benchmarks) und der Orchestrierungseffizienz (Token-Verbrauch und Interaktions-Turns).
Generalisierung: Die Methode zeigt robuste Out-of-Distribution (OOD)-Generalisierung und behält ihre Überlegenheit bei unsichteten Aufgabenfamilien (z. B. AIME 2025, DS-1000) ohne Backend-Feinabstimmung bei.
Übertragbarkeit: Die Flow-Director-Policy überträgt erfolgreich auf verschiedene LLM-Backends (von Qwen3-8B bis GPT-4o-mini und andere) und bestätigt damit die Entkopplung der Orchestrierungsstrategie von der Ausführungsfähigkeit.
Ablationsstudien: Das Entfernen einer Kernkomponente (des Agenten, der Multi-Turn-Interaktion, der Canvas oder des RL) verschlechtert die Leistung. Insbesondere ist das Canvas-Feedback für QA-Aufgaben kritisch, während RL für Mathematik- und Code-Aufgaben unverzichtbar ist. Die Token-Level-Maske und die bedingte Reward-Freigabe erweisen sich als entscheidend für stabiles Training und zur Vermeidung von Abkürzungen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FlowSteer die Grundlage für die nächste Generation von „Agent-entwirft-Agent"-Systemen legt. Durch den Ersatz manueller Design-Loops durch ein end-to-end erlerntes Paradigma ermöglicht FlowSteer:

Autonomen Workflow-Aufbau: Systeme, die sich ohne menschliches Eingreifen an neue Aufgaben und Domänen anpassen können.
Robustheit: Die Fähigkeit, strukturelle Fehler während des Aufbaus zu diagnostizieren und zu reparieren, was zu einer höheren Zuverlässigkeit bei Aufgaben über lange Zeiträume führt.
Skalierbarkeit: Eine modulare Architektur, bei der Orchestrierungs-Policies einmal trainiert und über diverse Operator-Bibliotheken und Backend-Modelle hinweg eingesetzt werden können.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu vollständig autonomen agentischen Systemen, die ihre eigenen Ausführungs-Pipelines konstruieren können, und bewegen sich damit über statische Vorlagen und One-Shot-Generierung hinaus hin zu dynamischer, feedbackgesteuerter Orchestrierung.