WorkflowGen:an adaptive workflow generation mechanism driven by trajectory experience

Probleemstelling

Huidige agenten op basis van Large Language Models (LLM) kampen met ernstige beperkingen bij het uitvoeren van complexe taken zoals bedrijfsvragen, tool-uitvoering en workflow-generatie:

1. Overmatige Token-Consumptie: Traditionele methoden voeren voor elke query een volledige planning "vanaf nul" uit, wat leidt tot redundante redenering en hoge kosten.
2. Instabiliteit: Real-time generatie van uitvoeringsketens resulteert vaak in ontbrekende stappen, verkeerde parameters en onbehandelde uitzonderingen.
3. Ondoeltreffend Gebruik van Historie: Succesvolle en mislukte uitvoeringen worden slechts als logs opgeslagen en niet omgezet in gestructureerde, herbruikbare kennis.
4. Gebrek aan Adaptiviteit: Systemen kunnen niet dynamisch kiezen tussen hergebruik, herschrijven of volledige initialisatie op basis van de gelijkenis van de query, wat leidt tot een slechte balans tussen kwaliteit en kosten.

Methodologie: WorkflowGen

WorkflowGen is een adaptief raamwerk dat streeft naar minimale token-consumptie bij maximale uitvoeringssucces. Het systeem bestaat uit drie kernmechanismen die een gesloten lus vormen:

1. Extractie van Traject-ervaring (Trajectory Experience Extraction)

Het systeem haalt gestructureerde ervaringen uit historische uitvoeringslogs op twee niveaus:

• Niveau van de Knoop (Node-Level): Focust op de kleinste herbruikbare eenheden (tool-aanroepen, parameterinvulling, foutafhandeling). Er worden gestructureerde ervaringen gegenereerd zoals "error fingerprints" (foutcodes), optimale tool-toewijzingen, gestandaardiseerde parameterschema's en strategieën om uitzonderingen te voorkomen.
• Niveau van de Workflow: Captureren van de volledige topologische structuur van een proces, inclusief triggercondities, actieseries, contextuele informatie en metadata. Dit creëert een bibliotheek van herbruikbare sjablonen.

2. Workflow-generatie gedreven door Traject-herschrijving

In plaats van volledige herplanning, gebruikt WorkflowGen een lichtgewicht aanpak:

• Bij een gelijke historische traject wordt de structuur behouden.
• Alleen de variabele knopen (zoals parameters of entiteiten) worden door de LLM gegenereerd of herschreven.
• Systemprompts worden verrijkt met knoop-niveau inzichten (zowel succes als falen) om de LLM proactief fouten te laten vermijden.
• Dit verplaatst de focus van "volledige redenering" naar "incrementele herschrijving".

3. Drie-niveau Adaptieve Routing

Het systeem kiest dynamisch de beste strategie op basis van de semantische gelijkenis ($s$) tussen de huidige query en historische trajecten:

• Route A (Direct Hergebruik): Als $s > 0,99$. Het systeem voert het opgeslagen traject direct uit (bijna nul token-kosten).
• Route B (Herschrijven): Als $0,6 < s \leq 0,99$. De structuur wordt behouden, maar variabele knopen worden opnieuw gegenereerd. Dit is een lichte aanpassing met lage token-kosten.
• Route C (Initialisatie): Als $s \leq 0,6$. Het systeem valt terug op standaard LLM-planning vanaf nul. Het nieuwe traject wordt opgeslagen voor toekomstig gebruik.

Belangrijkste Bijdragen

1. Dual-Granulariteit Extractie: Een mechanisme om ruwe logs om te zetten in gestructureerde, direct herbruikbare ervaringen op zowel knoop- als workflow-niveau, waardoor redundante redenering aan de bron wordt geëlimineerd.
2. Lichtgewicht Generatie: Een methode waarbij alleen variabele knopen worden herschreven, wat het aantal LLM-aanroepen en token-verbruik drastisch verlaagt.
3. Adaptieve Routing: Een strategie die automatisch kiest tussen hergebruik, herschrijven of initialisatie, waardoor een optimale afweging tussen prestaties en kosten wordt bereikt.
4. Proactieve Foutvoorkoming: Door zowel succesvolle patronen als fouten ("error fingerprints") in de prompts te injecteren, wordt de robuustheid van de uitvoering verbeterd.

Resultaten (Kwalitatieve Analyse)

Omdat er nog geen grote, gestandaardiseerde datasets beschikbaar zijn, voert het paper een kwalitatieve vergelijking uit met drie baselines: Real-time Planning, Statische Single-Traject, en Basis In-Context Learning.

• Token-Consumptie: WorkflowGen reduceert het token-verbruik met meer dan 40% vergeleken met real-time planning door volledige hergeneratie te vermijden.
• Uitvoeringsrobustheid: De succes率 stijgt met ongeveer 20% bij queries met gemiddelde gelijkenis, dankzij proactieve foutvermijding en adaptieve fallback-mechanismen.
• Efficiëntie en Interpretatie: Het systeem biedt een transparante, traceerbare uitvoeringslogica (geen "black box") en is modulair opgebouwd, wat de implementatie in industriële omgevingen vergemakkelijkt.
• Vergelijking: In tegenstelling tot statische methoden die faal bij nieuwe intenties, of real-time methoden die te duur zijn, biedt WorkflowGen een gebalanceerde oplossing die "goedkoper en betrouwbaarder wordt met elk gebruik".

Betekenis en Toekomstperspectief

WorkflowGen adresseert een kritieke beperking in de huidige LLM-agent-ontwikkeling: de schaalbaarheid en kostenefficiëntie van workflow-generatie. Door ervaringen gestructureerd op te slaan en slim te hergebruiken, maakt het agentsystemen minder afhankelijk van dure, real-time redenering.

De studie benadrukt dat toekomstig werk gericht zal zijn op het opzetten van een gespecialigde industriële dataset en het uitvoeren van uitgebreide kwantitatieve experimenten om de prestaties (succesratio, latentie, foutvermijding) verder te valideren. Het raamwerk biedt een praktische route naar autonome, stabiele en kosteneffectieve workflow-automatisering in complexe zakelijke omgevingen.