💬 NLP

Global Optimization and Inference-Time Region Grafting for Agentic Workflows

Het artikel introduceert GRAFT, een methode die geen training vereist en agentische workflows in staat stelt om gefaalde executiegebieden adaptief te vervangen door betere alternatieven met behulp van labelvrije kwaliteitsignalen, waardoor instance-gewijze optimalisatie en verbeterde prestaties over diverse taken worden bereikt zonder dat daarvoor computationeel dure heroptimalisatie van de gehele workflow nodig is.

Oorspronkelijke auteurs: Donghyeok Koh, Gyuwan Kim, Jinyeong Bak, Seung-Hoon Na, Tao Yang, Haneol Jang, Cheoneum Park

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Donghyeok Koh, Gyuwan Kim, Jinyeong Bak, Seung-Hoon Na, Tao Yang, Haneol Jang, Cheoneum Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, complexe puzzel probeert op te lossen. In de wereld van kunstmatige intelligentie worden deze puzzels "agentic workflows" genoemd. In plaats van alleen een slimme computer te vragen om "dit op te lossen", geef je het een specif으로 recept — een stapsgewijs plan met verschillende hulpmiddelen zoals het zoeken naar feiten, het plannen van de toekomst, het controleren van het eigen werk en het verfijnen van het antwoord. Denk aan een keuken waar een chef-kok niet alleen kookt; ze hebben een sous-chef om te snijden, een proever om te verifiëren en een planner om het menu te organiseren.

Lama een tijd heeft wetenschappers geprobeerd om het perfecte recept voor elk type puzzel te vinden. Ze voeren duizenden tests offline uit om de beste volgorde van stappen te bepalen. Maar hier is het probleem: niet elke puzzel is hetzelfde. Een simpel wiskundig probleem heeft misschien alleen een snelle snijbeweging nodig, terwijl een lastige geschiedenisvraag een diepe duik en een dubbelcheck vereist. Als je voor elke puzzel hetzelfde rigide recept gebruikt, kun je vast komen te zitten of een domme fout maken omdat het plan niet flexibel genoeg was voor dat specifieke moment. De grote vraag is: Kunnen we een geweldig, vooraf gepland recept behouden, maar tegelijkertig de stappen aanpassen tijdens het koken, specifiek voor het gerecht dat we op dit moment maken, zonder dat we helemaal opnieuw moeten beginnen?

Dit is precies waar het artikel "Global Optimization and Inference-Time Region Grafting for Agentic Workflows" zich mee bezighoudt. De auteurs introduceren een nieuw systeem genaamd GRAFT. In plaats van de AI te dwingen zich aan één vast plan te houden of het wiel telkens opnieuw uit te vinden, fungeert GRAFT als een meesterkok die een "gouden recept" heeft voor een specifiek type maaltijd, maar bereid is om slechts één of twee ingrediënten te vervangen als de smaaktest aangeeft dat dat nodig is.

Dit is hoe het werkt in de echte wereld van het artikel: Eerst vindt het systeem een globaal geoptimaliseerde workflow (het "gouden recept") voor een hele categorie taken, zoals wiskunde of programmeren, met behulp van standaard testmethoden. Dit gebeurt voordat de AI begint met het beantwoorden van vragen. Vervolgens, wanneer er een specifieke vraag binnenkomt, volgt GRAFT niet blindelings het recept. Het breekt het recept af in kleine, zelfstandige secties die "regio's" worden genoemd. Terwijl de AI door het probleem werkt, controleert het elke regio. Als een regio (zoals de "redeneerstap") lijkt te worstelen of een zwak resultaat produceert, vervangt GRAFT die specifieke sectie direct door een betere versie.

Cruciaal is dat deze vervanging plaatsvindt zonder dat het systeem vooraf het juiste antwoord hoeft te weten (wat tijdens echt gebruik meestal onmogelijk is). In plaats daarvan gebruikt het systeem slimme "label-vrije" signalen om de kwaliteit te beoordelen. In wiskunde kan het bijvoorbeeld hetzelfde probleem op vijf verschillende manieren uitvoeren en kijken of ze allemaal het met elkaar eens zijn (een techniek genaamd self-consistency). Bij programmeren kan het de code draaien om te zien of deze slaagt voor de tests. Als een nieuwe versie van een stap er beter uitziet en de verbinding met de volgende stap niet verbreekt, "graft" GRAFT deze erin. Als dat niet zo is, behoudt het de originele versie. Dit gebeurt direct voor elke invoer.

Het artikel stelt dat deze aanpak een game-changer is. Bij tests op vijf verschillende benchmarks, variërend van wiskundeproblemen (zoals GSM8K en MATH) tot programmeertaken (HumanEval) en complexe vragen (HotpotQA), presteerde GRAFT gemiddeld 3,85 punten beter dan de vorige beste methode, genaamd MaAS. In de wereld van AI-benchmarks is dat een enorme sprong. Zo scoorde GRAFT op de wiskundedataset GSM8K een 95,04, waarmee het de op één na beste methode versloeg, die een score van 92,30 behaalde.

De auteurs ontdekten ook iets fascinerends over het "recept" zelf. Ze vonden dat een geoptimaliseerde workflow niet alleen een statische set instructies is, maar een flexibel beleid. Zelfs als ze de "chef" (het onderliggende AI-model) vervingen door een sterker model zonder de workflow te veranderen, steeg de prestatie. Dit suggerend dat een goede workflow aanpasbaar is; het kan evolueren en beter worden door simpelweg een slimmer instrument te hebben om het werk te doen, zonder dat het opnieuw ontworpen hoeft te worden.

Het artikel merkt echter voorzichtig op waar deze magie werkt en waar het tegen een muur loopt. De "label-vrije" signalen die gebruikt worden om de kwaliteit van het werk te beoordelen, werken erg goed voor wiskunde en programmeren, waarbij het antwoord ofwel juist ofwel onjuist is. Maar voor complexe kennisvragen (zoals over geschiedenis of wetenschap) zijn de signalen minder betrouwbaar en verbetert het systeem niet evenveel. De auteurs suggereren dat hoewel GRAFT een krachtige manier is om workflows in realtime aan te passen, het sterk leunt op het vermogen om de kwaliteit van een stap te verifiëren zonder het uiteindelijke antwoord te kennen.

Kortom, GRAFT bewijst dat je niet hoeft te kiezen tussen een rigide, vooraf geplande strategie en een chaotische, "vliegende van de kunst"-aanpak. Door kleine, slimme aanpassingen aan een solide fundament te graften, kunnen AI-agenten robuuster, efficiënter en nauwkeuriger worden, waardoor ze problemen oplossen die voorheen te ingewikkeld waren voor een eenheidsplan.

Technische Samenvatting: GRAFT voor de Optimalisatie van Agentic Workflows

1. Probleemstelling

Recente vooruitgang in agentic workflows heeft geautomatiseerde methoden vastgesteld voor het ontwerpen van taakspecifieke workflows via offline zoekopdrachten of architectuurselectie (bijv. AFlow, MaAS). Deze benaderingen lijden echter aan een fundamentele beperking: ze bepalen een enkele, vaste workflowstructuur vóór de uitvoering. Deze statische benadering houdt geen rekening met de variabiliteit in moeilijkheidsgraad en vereisten voor redeneren per individuele input. Zo kan een eenvoudige rekenkundige opgave slechts één redeneerstap vereisen, terwijl een complexe compositionele opgave decompositie, verificatie en herhaald redeneren noodzakelijk maakt.

Het proberen te heroptimaliseren van de gehele workflow voor elke input tijdens de inferentie is computationeel onhaalbaar vanwege de exponentiële zoekruimte van operatorcombinaties. Bovendien vertrouwen offline methoden op ground-truth labels voor optimalisatie, die tijdens inferentie niet beschikbaar zijn. Zonder externe feedback is het vertrouwen op enkel een LLM om zijn eigen redenering te evalueren en te herzien, onbetrouwbaar. Daarnaast kampen multi-agent systemen met "inter-regionale interferentie", waarbij het lokaal vervangen van een component de downstream-inputs kan wijzigen en de uiteindelijke uitkomst kan verslechteren, zelfs als de lokale component verbeterd is.

2. Methodologie: GRAFT

Om deze uitdagingen aan te pakken, introduceren de auteurs GRAFT (Global Optimization and Inference-Time Region Grafting), een training-vrij framework dat een globaal geoptimaliseerde workflow behoudt terwijl het instance-wise adaptatie mogelijk maakt door middel van lokale regio-vervanging.

Kernarchitectuur

Global Workflow Prior: GRAFT begint met een taakspecifieke globale workflow ( $W_c^*$ ) die offline is gezocht. Deze workflow is gestructureerd als een sequentie van Single-Entry Single-Exit (SESE) regio's. Elke regio komt overeen met een specifieke rol (bijv. plannen, bewijs, redeneren, verifiëren) en bevat een lokale kandidaatruimte van operatoren.
Inference-Time Local Grafting: Voor elke input heroptimaliseert GRAFT niet de gehele graaf. In plaats daarvan identificeert het regio's die adaptatie vereisen en verkent het een kleine lokale kandidaatruimte die beperkt is tot de rol van die regio.
Label-Free Assessment: Omdat ground truth niet beschikbaar is tijdens inferentie, evalueert GRAFT kandidaten met behulp van label-vrije proxy-signalen:
- Self-Consistency: Overeenstemming tussen meerdere redeneerketens.
- Groundedness: De mate waarin een antwoord wordt ondersteund door aangeboden bewijs (lexicale dekking van inhoudswoorden).
- Verifier Signals: Code test pass rates of LLM-gebaseerde oordelen.
Coupling Guard: Om "inter-regionale interferentie" te voorkomen, accepteert een coupling guard een vervanging alleen als deze de lokale kwaliteit verbetert en de grensondersteuning (consistentie met upstream-bewijs) binnen een tolerantie $\epsilon$ behoudt. Dit zorgt ervoor dat lokale verbeteringen de globale workflow-consistentie niet verslechteren.
Memory and Amortization: Winnende configuraties worden opgeslagen in een geheugen dat geïndexeerd is op input-type signaturen. Voor opeenvolgende inputs haalt GRAFT deze configuraties op, waardoor de noodzaak voor herhaalde lokale zoekopdrachten wordt omzeild en de computationele kosten worden geamortiseerd.

Algoritmische Flow

Offline Fase: Een globale workflow wordt geconstrueerd door operatoren voor elke regio te selecteren om de prestaties op een validatieset te maximaliseren, waarbij een balans wordt gezocht tussen kwaliteit en tokenkosten.
Online Fase:
- Het systeem verwerkt regio's in een upstream-first volgorde.
- Het probeert een bekende optimale configuratie uit het geheugen op te halen.
- Als er geen match bestaat of de opgehaalde configuratie de kwaliteitsdoelen niet haalt, wordt een lokale zoekopdracht uitgevoerd over de kandidaatruimte van de regio.
- Kandidaten worden geëvalueerd met behulp van de label-vrije proxy en de coupling guard.
- Geaccepteerde configuraties updaten de workflow-status en het geheugen; downstream-regio's worden gemarkeerd als "stale" voor her-evaluatie in opeenvolgende passes.
- Het proces wordt beëindigd wanneer er geen verdere wijzigingen meer optreden of wanneer de kwaliteitsdoelen zijn bereikt.

3. Belangrijkste Bijdragen

Inference-Time Adaptation Paradigm: GRAFT stelt een framework voor dat een workflow niet behandelt als een statisch artefact, maar als een aanpasbaar executiebeleid. Het heroptimaliseert de structuur op region-niveau voor elke input zonder gradient updates of hertraining.
Label-Free Local Optimization Mechanism: Het ontwerp introduceert specifieke proxies (self-consistency, groundedness, verifier signals) en een coupling guard om betrouwbare lokale zoekopdrachten mogelijk te maken zonder ground truth, waardoor wordt gewaarborgd dat lokale verbeteringen de globale consistentie niet in gevaar brengen.
State-of-the-Art Performance: De methode behaalt superieure prestaties over diverse taken, wat aantoont dat een geoptimaliseerde workflow kan evolueren met inferentie-time feedback en sterkere executors.

4. Experimentele Resultaten

De auteurs hebben GRAFT geëvalueerd op vijf benchmarks die variëren van wiskundig redeneren (GSM8K, MATH, MultiArith), code generatie (HumanEval, MBPP), multi-hop QA (HotpotQA, DROP), tot kennisintensieve QA (MMLU-Pro, GPQA).

Prestatiewinsten: Onder gelijke optimizer en executor instellingen (gebruikmakend van GPT-4o-mini), behaalde GRAFT een gemiddelde score van 87,44, waarmee het de sterkste voorgaande methode, MaAS, met 3,85 punten versloeg. Het overtrof ook AFlow met 5,19 punten.
Ablatie-studies:
- Het verwijderen van lokale grafting (het uitvoeren van de globale workflow ongewijzigd) resulteerde in een significante prestatiedaling (gemiddeld -4,10), wat bevestigt dat de winsten voortkomen uit inferentie-time adaptatie.
- Het vervangen van label-vrije proxies door willekeurige scores veroorzaakte een vergelijkbare daling, wat de effectiviteit van de proxy-signalen valideert.
- Het verwijderen van de coupling guard leidde tot een kleinere maar consistente daling, wat de rol ervan bij het voorkomen van interferentie benadrukt.
Executor Transfer: Wanneer het executor-model werd vervangen door een sterker model (bijv. van GPT-4o-mini naar Claude Sonnet) zonder de globale workflow te heroptimaliseren, behaalde GRAFT substantiële winsten. Dit suggereert dat de geoptimaliseerde workflow fungeert als een flexibel beleid dat zich aanpast aan sterkere modellen.
Efficiëntie: Configuratiegeheugen verminderde de zoekkosten aanzienlijk. Voor taken met uniforme inputtypes (bijv. GSM8K) bereikten de geheugengebruikspercentages 0,86–0,92, waardoor de kosten van lokale zoekopdrachten effectief over inputs werden geamortiseerd.

5. Betekenis en Claims

Het artikel claimt dat GRAFT aantoont dat een geoptimaliseerde workflow niet louter een statisch optimalisatie-artefact is, maar een aanpasbaar executiebeleid. Door de globale structurele optimalisatie te ontkoppelen van de instance-wise lokale adaptatie, stelt GRAFT systemen in staat om de variabiliteit van individuele inputs aan te pakken zonder de prohibitieve kosten van volledige heroptimalisatie. Het framework bewijst dat hoogwaardige agentic workflows kunnen worden bereikt zonder training, door te vertrouwen op een combinatie van offline globale zoekopdrachten en online, label-vrije lokale verfijning. De resultaten suggereren dat toekomstige agentic systemen dynamisch kunnen evolueren, waarbij ze gebruikmaken van sterkere executors en inferentie-time feedback om de prestaties op basis van per-instance te verbeteren.