💬 NLP

FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients

Dieser Beitrag stellt FlowBot vor, ein datengesteuertes Framework, das LLM-Workflows automatisch induziert und optimiert, indem es den Prozess als ein durch modulare textuelle Gradienten gelöstes Bilevel-Optimierungsproblem formuliert und dabei eine Leistung erzielt, die mit handgefertigten Baselines konkurrieren kann.

Ursprüngliche Autoren: Hongyeon Yu, Young-Bum Kim, Yoon Kim

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongyeon Yu, Young-Bum Kim, Yoon Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Team spezialisierter Roboter beizubringen, ein sehr schwieriges Puzzle zu lösen. In der Vergangenheit mussten Menschen sich hinsetzen und für jeden einzelnen Roboter ein strenges Handbuch manuell verfassen, wobei sie genau festlegten, in welcher Reihenfolge sie arbeiten sollten und welche spezifischen Worte sie zu jedem einzelnen sagen sollten. Dies ist langsam, teuer und schwer skalierbar.

Die Arbeit stellt FLOWBOT vor, eine neue Methode, die es den Robotern ermöglicht, sich selbst beizubringen, wie sie sich organisieren und miteinander kommunizieren, ohne dass ein Mensch zuvor ein Handbuch schreiben muss.

So funktioniert es, anhand einer einfachen Analogie:

Das zweistufige Coaching-System

Denken Sie an FLOWBOT als ein Coaching-System mit zwei Ebenen: einem Haupttrainer und einem Positionstrainer.

1. Der Haupttrainer (Die äußere Schleife): „Den Spielplan korrigieren"
Der Haupttrainer betrachtet das große Ganze. Er macht sich keine Sorgen um die spezifischen Worte, die ein Spieler sagt; er sorgt sich um die Struktur des Spiels.

Das Problem: Vielleicht versucht das Team, ein Matheproblem zu lösen, indem es zuerst versucht, ein Bild zu zeichnen, was die falsche Reihenfolge ist. Oder vielleicht fehlt ihnen ein Schritt ganz, wie etwa „die Punktzahl überprüfen".
Die Lösung: Der Haupttrainer betrachtet, wo das Team gescheitert ist, und sagt: „Okay, wir müssen einen Schritt hinzufügen, um die Punktzahl vor dem Versuch zu prüfen, ein Bild zu zeichnen", oder „Lassen Sie uns den Schritt des Zeichnens ganz entfernen."
In der Arbeit: Dies ist die äußere Schleife. Sie optimiert die „Workflow-Skizze". Sie entscheidet, wie viele Schritte es gibt, in welcher Reihenfolge sie stattfinden und ob Werkzeuge (wie Suchmaschinen) hinzugefügt oder entfernt werden sollen.

2. Der Positionstrainer (Die innere Schleife): „Das Spielbuch verfeinern"
Sobald der Haupttrainer den Spielplan festgelegt hat, arbeitet der Positionstrainer mit einzelnen Spielern (den spezifischen LLM-Aufrufen) zusammen, um deren spezifische Anweisungen zu perfektionieren.

Das Problem: Der Spieler weiß, was zu tun ist (z. B. „nach Fakten suchen"), aber er führt es schlecht aus. Vielleicht halluziniert er (erfindet Dinge) oder übersieht ein wichtiges Detail.
Die Lösung: Anstatt nur zu sagen „machen Sie es besser", nutzt der Positionstrainer einen speziellen Trick namens Textuelle Gradienten.
- Stellen Sie sich vor, die endgültige Antwort ist falsch. Der Positionstrainer fragt einen KI-Richter: „Warum ist das passiert?"
- Der Richter gibt einen Textkommentar ab: „Sie haben einen Fehler gemacht, weil Sie Ihre Quelle nicht überprüft haben."
- Dieser Kommentar wird rückwärts an den vorherigen Spieler weitergegeben, der sagt: „Oh, ich muss sicherstellen, dass meine Quelle für die nächste Person klar ist."
- Dies setzt sich bis zum ersten Spieler fort.
In der Arbeit: Dies ist die innere Schleife. Sie verwendet „Textuelle Backpropagation". Genau wie ein neuronales Netzwerk Mathematik verwendet, um Zahlen anzupassen, nutzt FLOWBOT natürlichsprachliches Feedback, um die Text-Prompts jedes Schritts anzupassen.

Die Magie der „Textuellen Gradienten"

In der traditionellen Informatik verwendet der Computer, wenn eine Berechnung falsch ist, Mathematik, um genau herauszufinden, wie stark die Zahlen angepasst werden müssen, um sie zu korrigieren. Dies wird „Backpropagation" genannt.

LLMs (Large Language Models) verstehen Mathematik nicht auf die gleiche Weise; sie verstehen Sprache. Daher hat FLOWBOT Textuelle Gradienten erfunden.

Anstatt einer Zahl wie +0,5 erhält das System einen Satz wie: „Ihre Antwort war falsch, weil Sie X angenommen haben, aber die Beweise zeigen Y. Bitte prüfen Sie Ihre Quellen beim nächsten Mal."
Das System gibt diesen Satz rückwärts durch die Kette der Roboter weiter. Jeder Roboter liest das Feedback, versteht, was in den Schritten nach ihm schiefgelaufen ist, und schreibt seine eigenen Anweisungen um, um diesen Fehler in Zukunft zu verhindern.

Was haben sie herausgefunden?

Die Forscher haben FLOWBOT an vielen verschiedenen Aufgaben getestet, wie zum Beispiel das Beantworten komplexer Quizfragen, das Schreiben von Code und das Befolgen strenger Anweisungen.

Es funktioniert von Grund auf: Im Gegensatz zu anderen Methoden, die einen Menschen benötigen, um ihnen einen guten Startplan zu geben, kann FLOWBOT mit einem leeren Blatt beginnen und den besten Workflow selbstständig herausfinden.
Es schlägt die Konkurrenz: Es schnitt genauso gut ab (oder besser) als Systeme, bei denen Menschen viel Zeit damit verbracht haben, den perfekten Workflow von Hand zu gestalten.
Es spart Geld: Da es so effizient lernt, benötigt es weniger „API-Aufrufe" (die Geld kosten), um die richtige Lösung im Vergleich zu anderen automatisierten Methoden zu finden.

Das Fazit

FLOWBOT ist wie eine sich selbst verbessernde Fertigungsstraße. Es passt nicht nur die Anweisungen an den Maschinen an; es stellt auch die Maschinen selbst neu an. Indem es natürlichsprachliches Feedback verwendet, um Fehler zu „backpropagieren", entdeckt es automatisch den besten Weg, ein Team von KI-Modellen zu organisieren, um komplexe Probleme zu lösen, und macht es überflüssig, dass Menschen die Architekten jedes einzelnen Workflows sind.

1. Problemstellung

Large Language Models (LLMs) werden zunehmend in „compound AI systems" eingesetzt – strukturierte Workflows, die mehrere LLM-Aufrufe, Tools und Zwischenschritte des logischen Schlussfolgerns umfassen, um komplexe Aufgaben zu lösen. Allerdings stoßen aktuelle Ansätze beim Aufbau dieser Workflows auf zwei wesentliche Engpässe:

Abhängigkeit von Menschen: Die meisten Workflows werden von Menschen manuell erstellt, was nicht auf diverse Aufgaben und Domänen skalierbar ist.
Grenzen bestehender Automatisierung: Jüngste automatisierte Ansätze (z. B. AFlow, ADAS) optimieren oft Prompts innerhalb einer festen Workflow-Struktur oder suchen nach Workflow-Strukturen mittels codebasierter Darstellungen, ohne eine feinkörnige, schichtweise Optimierung. Ihnen fehlt ein Mechanismus, um sowohl die hochrangige Workflow-Architektur als auch die spezifischen Anweisungen (Prompts) für jede Komponente gleichzeitig zu optimieren.

Die zentrale Forschungsfrage lautet: Wie können wir Struktur und einzelne Komponenten eines LLM-Workflows automatisch und datengesteuert induzieren und optimieren?

2. Methodik: FLOWBOT

Die Autoren schlagen FLOWBOT vor, ein Framework, das die Workflow-Induktion als bilevel-Optimierungsproblem formuliert, das mittels textueller Gradienten gelöst wird.

A. Problemformulierung

Ein LLM-Workflow $W$ wird als Kette von $K$ LLM-Aufrufen definiert: $W = [a_1, \dots, a_K]$ .

Äußere Schleife (Struktur): Optimiert den hochrangigen Entwurf $W$ (die Sequenz, den Typ und die Zusammensetzung der Aufrufe).
Innere Schleife (Parameter): Optimiert das detaillierte Prompt $\theta_i$ für jeden spezifischen Aufruf $a_i$ .
Ziel: Minimierung des erwarteten Verlusts $L(f_W(x), y)$ über einen Datensatz $D$ .

B. Textuelle Gradienten

Da LLM-Parameter diskrete Textstrings sind, ist eine traditionelle Backpropagation unmöglich. FLOWBOT verwendet textuelle Gradienten, bei denen ein LLM naturlingualen Feedback generiert, der beschreibt, wie ein Input oder Prompt geändert werden muss, um den Verlust zu verringern.

C. Der Optimierungsprozess

Das Framework arbeitet in zwei verschachtelten Schleifen:

1. Innere Schleife: Schichtweise textuelle Backpropagation
Gegeben eine feste Workflow-Struktur $W$ , optimiert das System die Prompts $\{\theta_i\}$ :

Vorwärtspass: Der Workflow verarbeitet den Input $x$ , um den Output $x_K$ zu erzeugen.
Verlustgradient ( $g_K$ ): Ein LLM analysiert den finalen Output, die Ground Truth und den Verlust, um einen textuellen Gradienten $g_K$ zu generieren (Feedback darüber, was schiefgelaufen ist).
Kettenregel-Propagation: Gradienten werden schichtweise rückwärts propagiert. Für Schicht $k$ nimmt ein LLM den aktuellen Input $x_k$ , den Output der nächsten Schicht $x_{k+1}$ und den nachgelagerten Gradienten $g_{k+1}$ , um $g_k$ zu berechnen. Dies beantwortet die Frage: "Wie sollte sich der Output von Schritt $k$ ändern, um Schritt $k+1$ zu helfen, besser zu performen?"
Prompt-Aktualisierung: Ein Optimierer-LLM aggregiert Gradienten aus einem Batch von Stichproben und aktualisiert das Prompt $\theta_i$ , um die identifizierten Fehler zu beheben, während erfolgreiche Muster erhalten bleiben.

2. Äußere Schleife: Workflow-Entwurfs-Optimierung
Sobald die innere Schleife konvergiert ist (oder periodisch), optimiert das System die Struktur $W$ selbst:

Der aktuelle Workflow-Entwurf, Ausführungsspuren und der aggregierte Verlust werden an ein LLM übergeben.
Das LLM generiert einen Workflow-Gradienten ( $g_W$ ), der strukturelle Änderungen vorschlägt: Hinzufügen von Schritten (z. B. „Entitätsdisambiguierung hinzufügen"), Entfernen redundanter Schritte, Zusammenführen von Schritten oder Neuordnen.
Der Workflow-Entwurf wird basierend auf diesen Vorschlägen aktualisiert.

D. Initialisierung

Der Prozess beginnt mit einem „Zero-Shot"-Workflow (ein einzelner LLM-Aufruf). Die äußere Schleife wird sofort ausgelöst, um einen initialen mehrstufigen Entwurf zu generieren, gefolgt von der Generierung initialer Prompts für jeden Schritt.

3. Hauptbeiträge

Bilevel-Optimierung für Workflows: Das erste Framework, das die Topologie (Struktur) und Parameter (Prompts) von LLM-Workflows unter Verwendung eines Bilevel-Ansatzes gemeinsam optimiert, inspiriert von der Neural Architecture Search (NAS).
Textuelle Backpropagation: Erweitert das Konzept der textuellen Gradienten (bisher für einzelne Prompts verwendet) auf tiefe, mehrschichtige Workflows und ermöglicht eine modulare, schichtweise Fehlerzurechnung und -korrektur.
Datengesteuerte Induktion: Zeigt, dass komplexe, mehrstufige Workflows (einschließlich Tool-Nutzung) von Grund auf ohne menschliche Priors bezüglich der Struktur entdeckt werden können.

4. Experimentelle Ergebnisse

Die Autoren bewerteten FLOWBOT an 10 diversen Benchmarks (QA, Reasoning, Code-Generierung, Privatsphäre usw.) gegen starke Baselines.

vs. Prompt-Optimierung (Feste Struktur): FLOWBOT übertraf GEPA (ein State-of-the-Art Prompt-Optimierer) bei retrieval-lastigen Aufgaben wie HotpotQA (72,80 vs 69,00) und HoVer (63,20 vs 51,67), was beweist, dass die Optimierung der Struktur für komplexe Aufgaben entscheidend ist.
vs. Automatisierte Workflow-Generierung: FLOWBOT übertraf AFlow (das Monte-Carlo-Baumsuche auf Code-Graphen verwendet) bei 4 von 6 Benchmarks (z. B. HumanEval: 93,74 vs 94,70; GSM8K: 96,01 vs 86,16).
Effizienz: FLOWBOT benötigte deutlich weniger API-Aufrufe und geringere Kosten als AFlow, um die Spitzenleistung zu erreichen (z. B. 54,7K Aufrufe vs 338K Aufrufe für HotpotQA).
Qualitative Analyse: Die induzierten Workflows erwiesen sich als sinnvoll und spiegelten oft menschengestaltete Muster wider (z. B. Trennung von Retrieval, Entitätsdisambiguierung und Verifikation).
Ablationsstudien:
- Das Entfernen der Bilevel-Struktur (Behandlung als einzelne Schicht) führte zu signifikanten Leistungseinbußen.
- Das Entfernen der schichtweisen Backpropagation (gleichzeitige Aktualisierung aller Prompts) verschlechterte ebenfalls die Leistung, was die Bedeutung von modularer, kettenregelbasierter Rückmeldung unterstreicht.

5. Bedeutung und Auswirkung

Paradigmenwechsel: Verschiebt das Design von LLM-Systemen von „manuell erstellten Pipelines" zu „automatisch induzierten Systemen" und reduziert den Engineering-Aufwand für den Einsatz komplexer KI-Agenten.
Generalisierbarkeit: Der Ansatz ist modellagnostisch und funktioniert mit verschiedenen Open-Weight- und proprietären LLMs.
Interpretierbarkeit: Die textuellen Gradienten bieten einen für Menschen lesbaren Prüfpfad darüber, warum ein Workflow versagt hat und wie er verbessert wurde, und geben Einblicke in den Schlussfolgerungsprozess des Systems.
Zukunftsrichtung: Das Papier demonstriert einen Proof-of-Concept für die Induktion eines einheitlichen Workflows, der mehrere Aufgabentypen (Routing von Mathematik vs. Code vs. Leseverständnis) innerhalb einer einzigen dynamischen Struktur handhaben kann und den Weg für allgemeine autonome Agenten ebnet.

Zusammenfassend schließt FLOWBOT die Lücke zwischen Neural Architecture Search und LLM-Prompting und bietet eine robuste, datengesteuerte Methode zum automatischen Aufbau und zur Verfeinerung ausgefeilter KI-Workflows.