🤖 AI

FlowSteer: Towards Agents Designing Agentic Workflows via Reinforced Progressive Canvas Editing

FlowSteer is een nieuw kader dat een enkele agent in staat stelt om uitvoerbare agentische workflows end-to-end te ontwerpen via een versterkt progressief canvasbewerkingsparadigma, waarbij gebruik wordt gemaakt van real-time feedback op graf-niveau om uitdagingen in mensafhankelijke constructie en foutreparatie in de lus te overwinnen.

Oorspronkelijke auteurs: Mingda Zhang, Wenjin Liu, Tiesunlong Shen, Qika Lin, Rui Mao, Erik Cambria, Xiaoying Tang, Haoran Luo

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mingda Zhang, Wenjin Liu, Tiesunlong Shen, Qika Lin, Rui Mao, Erik Cambria, Xiaoying Tang, Haoran Luo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complexe machine probeert te bouwen, zoals een Rube Goldberg-toestel, om een specifiek probleem op te lossen (zoals het berekenen van een wiskundig antwoord of het schrijven van een stuk code).

In het verleden moesten mensen zitten en handmatig elk enkel onderdeel van deze machine slepen en neerzetten, tandwielen en hefbomen één voor één verbinden. Als ze een fout maakten, moesten ze het hele ding vaak afbreken en opnieuw beginnen. Dit was traag, duur en moeilijk aan te passen aan nieuwe problemen.

FlowSteer is een nieuw systeem dat het spel verandert. In plaats van dat een mens de machine bouwt, gebruikt het een slimme "Architect Agent" die de machine zelf bouwt, stap voor stap, terwijl een "Builder Robot" het in real-time test.

Zo werkt het, met eenvoudige analogieën:

1. Het "Canvas" (De interactieve werkbank)

Stel je het Workflow Canvas voor als een magische, levende werkbank.

Oude manier: Je schrijft een plan op een stuk papier, geeft het aan een bouwer en hoopt dat ze het goed bouwen. Als het kapot gaat, weet je dat pas op het allerlaatste moment.
FlowSteer-methode: De Architect Agent plaatst één klein tandwiel (een "operator") op de werkbank. Onmiddellijk controleert de werkbank het: "Is dit tandwiel de juiste vorm? Past het?" Het geeft direct feedback. Als het tandwiel verkeerd is, kan de Agent het ter plekke vervangen. Dit gebeurt voor elk toegevoegd onderdeel.

2. De "Architect" versus de "Builder" (Het team)

Het systeem splitst de taak op in twee verschillende rollen om het slimmer te maken:

De Architect (Flow-Director): Dit is een kleinere, lichtgewicht AI. Haar enige taak is beslissen welke onderdelen in de machine moeten en hoe ze verbonden moeten worden. Ze doet niet het zware werk; ze ontwerpt alleen het blauwdruk.
De Builder (De uitvoerder): Dit is een krachtige, zware AI (zoals GPT-4o of vergelijkbaar). Ze neemt het blauwdruk dat de Architect heeft gemaakt en doet daadwerkelijk de wiskunde, schrijft de code of beantwoordt de vraag.
Waarom dit belangrijk is: De Architect leert een geweldige ontwerper te worden door te kijken of de Builder slaagt of faalt. Als de Builder worstelt, leert de Architect het blauwdruk voor de volgende keer aan te passen. Ze hoeven niet even groot te zijn; een kleine Architect kan een gigantische Builder aansturen.

3. "Versterkte progressieve bewerking" (Leren door trial and error)

Dit is het "geheime ingrediënt" van FlowSteer.

Stel je voor dat je leert een complex gerecht te koken. In plaats van het hele recept in één keer te raden, voeg je één ingrediënt toe, proef je het en pas je aan.
FlowSteer doet dit met logica. De Architect voegt één stap toe (bijvoorbeeld: "Bereken dit getal"), het Canvas test het en vertelt de Architect: "Die stap mist een controle." De Architect voegt dan een "Controle"-stap toe.
Ze blijft dit doen, één kleine bewerking per keer, met behulp van Versterkt Leren. Denk hierbij aan een videospelletje waarbij de Architect alleen een "score" krijgt wanneer de uiteindelijke machine perfect werkt. Na duizenden pogingen leert de Architect precies welke volgorde van stappen leidt tot een hoge score.

4. De resultaten (Wat het paper vond)

De onderzoekers testten dit systeem op 12 verschillende "uitdagingen", variërend van lastige wiskundeproblemen (zoals die in de MATH-dataset) tot het schrijven van computercodes en het beantwoorden van complexe vragen.

Beter dan de concurrentie: FlowSteer sloeg andere methoden die proberen deze machines in één keer te bouwen of vertrouwen op mensen om ze op te zetten.
Fouten onderweg oplossen: Omdat het elke stap controleert, kan het fouten vroeg opvangen. Als een wiskundeprobleem een specifieke verificatiestap nodig heeft, leert FlowSteer deze automatisch toe te voegen.
Flexibel: Het werkt met verschillende "Builders" (verschillende AI-modellen). Je kunt de zware Builder vervangen door een andere, en de Architect weet nog steeds hoe ze de machine daarvoor moet ontwerpen zonder opnieuw getraind te hoeven worden.

Samenvatting

FlowSteer is als het leren van een meester-architect om complexe machines te ontwerpen door ze toe te staan ze stuk voor stuk te bouwen op een slimme werkbank die na elke beweging "Fout!" of "Goed!" schreeuwt. In plaats van het hele plan in één keer te raden, leert het door een lange reeks kleine, corrigeerbare stappen, wat resulteert in een systeem dat veel beter is in het oplossen van moeilijke, meerstapsproblemen dan eerdere methoden.

Technische Samenvatting: FlowSteer

Probleemstelling

De constructie van agentische workflows—uitvoerbare grafieken die operatoren orkestreren om complexe menselijke taken op te lossen—stuit momenteel op drie kritieke beperkingen:

Mensafhankelijke Constructie: Bestaande workflows vertrouwen sterk op handmatige drag-and-drop, op regels gebaseerde sjablonen of prompting van Large Language Models (LLM) in één keer. Deze aanpak is kostbaar in onderhoud en mist schaalbaarheid bij overdracht naar nieuwe taken, operatorbibliotheken of modelbackends.
Gebrek aan Uitvoeringsfeedback op Grafiekniveau: Huidige agentomgevingen opereren doorgaans op het niveau van tekstgeneratie of externe toolaanroepen. Ze missen een uitvoerbare abstractie die gestructureerde, syntaxisgecontroleerde feedback biedt over de workflowgrafiek zelf, waardoor agenten structurele fouten tijdens de constructie niet kunnen diagnosticeren of herstellen.
Onvermogen om Fouten In-Loop te Repareren: Generatie in één keer of op zoek gebaseerde methoden kunnen fouten die ontstaan tijdens meerdere bewerkingsstappen niet iteratief repareren. Dit leidt tot schaarse leersignalen, shortcut-gedrag (bijvoorbeeld voortijdige beëindiging) en onstabiele credit-toewijzing op lange termijn.

Methodologie: FlowSteer

FlowSteer stelt een nieuw paradigma voor: Agent Ontwerpt Agentische Workflows, waarbij een enkele agent end-to-end de workflow ontwerpt die een downstream-uitvoerder draait. Het kader bestaat uit drie kerncomponenten:

1. Workflow Canvas

Een nieuw uitvoerbaar grafiek-staat-omgeving die de workflowgrafiek ( $G_t$ ) bijhoudt en voor elke atomaire bewerking syntaxisgecontroleerde uitvoeringsfeedback retourneert.

Staatruimte: De agent interacteert met een canvas dat de huidige grafiek, een operatorbibliotheek ( $O$ ), een plugbare LLM-backend ( $M_{exec}$ ) en operatorbeschrijvingen bevat.
Interactielus: De agent geeft een reflectie ( $a^{think}_t$ ) af, gevolgd door een atomaire bewerkingsactie ( $a_t$ ). Het canvas voert de bewerking uit, voert syntaxisparsing en constraint-checking uit, en retourneert feedback ( $o^{exec}_t$ ) met successtatus, redenen voor mislukking en reparatievoorstellen.
Operatoren & Acties: Het systeem ondersteunt 12 functionele operatoren (bijvoorbeeld Plan, Decompose, Programmer, Verify, Format) en 8 actietypes (toevoegen, verwijderen, wijzigen, set_prompt, parallel, conditioneel, lus, beëindigen). Cruciaal volgt de interactie een tweestapsmechanisme: structurele beslissingen (een operator toevoegen) worden gescheiden van inhoudelijke beslissingen (de prompt instellen), wat de cognitieve last verlaagt.

2. Ontwerper–Uitvoerder Decoupling

FlowSteer scheidt workflowontwerp expliciet van uitvoering:

Flow-Director (Ontwerper): Een lichtgewicht beleidsmodel ( $\pi_\theta$ ) dat uitsluitend verantwoordelijk is voor het ontwerpen van de workflowtraject ( $\tau$ ). Het leert orkestratiestrategieën (samenstelling van operatoren en controleflow) in plaats van de taak direct op te lossen.
Uitvoerder (Backend): Een aparte, plugbare LLM ( $M_{exec}$ ) die de uiteindelijke workflowgrafiek ( $G_\tau$ ) uitvoert om het antwoord ( $y_q$ ) te produceren.
Overdraagbaarheid: Omdat het beleid de trajectdistributie $P(\tau|q)$ optimaliseert in plaats van de uitvoering zelf, kan het generaliseren over verschillende operatorbibliotheken en LLM-backends zonder opnieuw te trainen.

3. Versterkte Progressieve Canvasbewerking

Het kader maakt gebruik van Versterkt Leren (RL) om de Flow-Director te trainen via een meer-draai- interactielus:

Progressieve Constructie: De workflow wordt incrementeel opgebouwd, met één atomaire bewerking per beurt. Dit decomposeert constructie op lange termijn in controleerbare, reparabele lokale beslissingen.
Beloningsontwerp: De beloning op trajectniveau $R(\tau)$ $R (τ)$ combineert een structurele beloning en een antwoordbeloning.
- Structurele Beloning: Controleert op diversiteit (aanwezigheid van verificatie, opmaak en controlestructuren).
- Conditionele Vrijgave: De antwoordbeloning wordt alleen vrijgegeven als de structurele beloning een drempelwaarde (1,0) bereikt. Dit voorkomt shortcut-gedrag waarbij de agent de workflowconstructie overslaat om direct een antwoord te geven.
Optimalisatie: Het beleid wordt end-to-end getraind met een aangepast Group Relative Policy Optimization (GRPO)-doel. Een belangrijke aanpassing is een token-niveau masker dat gradiëntupdates beperkt tot tokens gegenereerd door de Flow-Director, en omgevingsfeedbacktokens uitsluit om variantie en bias te verminderen.

Belangrijkste Bijdragen

Workflow Canvas: Een uitvoerbaar grafiek-staat-omgeving die de interactie tussen agent en omgeving optilt van prompt herschrijven naar operaties op grafiekniveau, en real-time, gestructureerde feedback biedt.
Versterkte Progressieve Canvasbewerking: Een trainingsparadigma dat een agent in staat stelt workflows iteratief in-loop te ontwerpen en te repareren, waarmee de uitdagingen van credit-toewijzing op lange termijn en foutherstel worden aangepakt.
Plug-and-Play Kader: Een systeem dat diverse operatorbibliotheken en uitwisselbare LLM-backends ondersteunt, en aantoont dat orkestratiestrategieën onafhankelijk van specifieke uitvoeringsengines kunnen worden geleerd.

Experimentele Resultaten

FlowSteer werd geëvalueerd op twaalf datasets die wiskundig redeneren (GSM8K, MATH, AIME), vraagbeantwoording (HotPotQA, SQuAD, TriviaQA) en codegeneratie (MBPP, HumanEval, APPS, DS-1000) bestrijken, met gebruik van zes moderne LLM-backends.

Prestaties: FlowSteer presteert aanzienlijk beter dan baselines, waaronder statische workflowselectie, offline generatie (SFT, GRPO), op zoek gebaseerde methoden (AFlow) en andere agent-RL-benaderingen. Het bereikt consistente winsten in taaknauwkeurigheid (bijvoorbeeld +22,65% gemiddelde EM voor In-Distribution-benchmarks) en orkestratie-efficiëntie (tokenverbruik en interactierondes).
Generalisatie: De methode demonstreert robuuste Out-of-Distribution (OOD)-generalisatie, waarbij superioriteit wordt behouden op onbekende takenfamilies (bijvoorbeeld AIME 2025, DS-1000) zonder fine-tuning van de backend.
Overdraagbaarheid: Het Flow-Director-beleid wordt succesvol overgedragen over verschillende LLM-backends (van Qwen3-8B tot GPT-4o-mini en anderen), wat de decoupling van orkestratiestrategie van uitvoeringscapaciteit bevestigt.
Ablatiestudies: Het verwijderen van een kerncomponent (de agent, meer-draai-interactie, het canvas of RL) verslechtert de prestaties. Specifiek is de canvasfeedback cruciaal voor QA-taken, terwijl RL essentieel is voor wiskunde- en codetaken. Het token-niveau masker en de conditionele beloningsvrijgave blijken vitaal voor stabiele training en het voorkomen van shortcuts.

Betekenis en Claims

Het artikel claimt dat FlowSteer de basis legt voor de volgende generatie "agent-ontwerpt-agent"-systemen. Door handmatige ontwerplussen te vervangen door een end-to-end geleerd paradigma, stelt FlowSteer het volgende in staat:

Autonome Workflowconstructie: Systemen die zich kunnen aanpassen aan nieuwe taken en domeinen zonder menselijke tussenkomst.
Robuustheid: Het vermogen om structurele fouten tijdens de constructie te diagnosticeren en te herstellen, wat leidt tot hogere betrouwbaarheid in taken op lange termijn.
Schaalbaarheid: Een modulaire architectuur waarbij orkestratiebeleid één keer kan worden getraind en kan worden ingezet over diverse operatorbibliotheken en backendmodellen.

De auteurs positioneren dit werk als een stap richting volledig autonome agentische systemen die in staat zijn hun eigen uitvoeringspijplijnen te construeren, en die voorbijgaan aan statische sjablonen en generatie in één keer naar dynamische, feedbackgedreven orkestratie.