🤖 AI

Knowledge-Centric Agents for Workflow Generation

Dit artikel stelt een kenniscentraal framework voor dat de workflowgeneratie in visuele creatiesystemen verbetert door te leren inverteren, injecteren en afleiden van hiërarchische kennis uit real-world voorbeelden, waardoor een superieure structurele coherentie en succesvolle uitvoeringspercentages worden bereikt in vergelijking met bestaande directe tekst-naar-JSON-benaderingen.

Oorspronkelijke auteurs: Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

Gepubliceerd 2026-07-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complexe machine probeert te bouwen van LEGO-blokjes, maar in plaats van ze met je handen aan elkaar te klikken, moet je de hele blauwdruk aan een robot beschrijven met alleen woorden. Dit is de wereld van ComfyUI, een populaire tool voor het maken van afbeeldingen met kunstmatige intelligentie. In dit systeem is elke stap van het creatieve proces — zoals het veranderen van een kleur, het verscherpen van een gezicht of het groter maken van een afbeelding — een aparte "blok" of "node". Om een goed resultaat te krijgen, moet je honderden van deze blokken in een zeer specifieke volgorde verbinden, als een gigantische, ingewikkelde printplaat. Als je de verkeerde twee blokken verbindt, of vergeet een stroomkabel (een parameter) in te pluggen, hapert de hele machine en stopt hij met werken.

Lange tijd probeerden mensen Large Language Models (LLMs) te gebruiken — de slimme AI die ook verhalen schrijft of vragen beantwoordt — om deze blauwdrukken automatisch te bouwen. Het idee was simpel: vertel de AI: "Maak me een plaatje van een steampunk luchtschip," en laat het de perfecte LEGO-instructies uitspugen. Maar hier is het probleem: deze AI-modellen zijn geweldig in het schrijven van zinnen, maar verschrikkelijk in het bouwen van complexe structuren. Ze vergeten vaak hoe de blokken verbonden zijn, halen de instructies door elkaar, of maken blauwdellen die er op papier goed uitzien, maar uit elkaar vallen zodra je ze probeert te bouwen. Ze missen de "ervaring" van een menselijke expert die weet waarom je Blok A met Blok B verbindt, en niet alleen dat je dat zou moeten doen.

Dit brengt ons bij een nieuw artikel van Zhendong Li en hun team, die een slimme nieuwe manier voorstellen om AI te leren een meesterbouwer te worden. In plaats van de AI alleen te vragen om de uiteindelijke blauwdruk te raden, leren ze de AI om te denken als een deskundige menselijke ontwerper. Ze noemen dit een Knowledge-Centric (kennis-centrische) benadering. Denk er zo over na: als je een student wilt leren hoe je een perfecte taart bakt, laat je hen niet alleen de afgewerkte taart zien en zeg je: "Kopieer dit." Je leert hen de strategie (waarom we eerst de eieren mengen), het skelet (de lijst met stappen zonder de exacte afmetingen) en ten slotte het recept (de exacte grammen bloem).

De auteurs ontdekten dat bestaande AI-methoden faalden omdat ze probeerden direct van de gebruikersvraag naar de definitieve, rommelige code te springen. Om dit op te lossen, hebben ze een driestaps proces uitgevonden dat ze Knowledge Inversion, Injection, en Inference noemen.

Eerst namen ze duizenden echte, werkende blauwdrukken gemaakt door mensen en voerden ze deze door een "reverse engineer"-proces. Ze stripte de rommelige details weg om de verborgen patronen te vinden. Het is alsoals het uit elkaar halen van duizend verschillende auto's om de algemene regels van hoe motoren werken te begrijpen, in plaats van alleen de vorm van één specifieke auto te memoriseren. Ze destilleerden deze blauwdrukken in drie lagen:

High-Level Strategy: Het "grote plaatje" plan (bijv. "We moeten eerst het gezicht repareren, dan de stijl veranderen").
Skeleton Pseudo-code: De ruwe schets van de stappen, zonder de specifieke getallen.
Full Pseudo-code: De volledige, gedetailleerde instructies die klaar zijn om gebouwd te worden.

Vervolgens injecteerden ze deze gedestilleerde kennis in een AI-model. Ze voerden de data niet alleen in; ze leerden het model om door deze lagen te redeneren. Ze lieten het model zien: "Hier is een taak, hier is de strategie die een expert zou gebruiken, en hier is hoe die strategie verandert in een skelet." Dit is alsof je de student een kookboek geeft dat de logica van het koken uitlegt, en niet alleen de recepten.

Ten slotte, wanneer een gebruiker om een nieuwe afbeelding vraagt, raadt de AI niet gewoon een antwoord. De AI infer (leidt af) de oplossing door achteruit te werken door de lagen die het heeft geleerd. Het bepaalt eerst de high-level strategie, bouwt dan het skelet, en vult tot slot de specifieke details in. Het artikel bevat ook een "self-refinement" stap, waarbij de AI zijn eigen werk controleert door zichzelf af te vragen: "Heb ik deze blokken correct verbonden?" voordat het plan definitief wordt gemaakt.

De resultaten zijn indrukwekkend. Het team testte hun methode tegen andere AI-tools op een dataset van meer dan 900 echte taken. Terwijl andere methoden minder dan de helft van de tijd werkende blauwdrukken konden maken, slaagde deze nieuwe "Knowledge-Centric" agent in 86,9% van de gevallen. Wat betreft het bouwen van complexe, diverse structuren, scoorde hun methode een 152 op een diversiteitsschaal, terwijl de op één na beste methode slechts 42 bereikte. Zelfs wanneer getest werd op gloednieuwe, moeilijke taken die de AI nog nooit eerder had gezien, slaagde het nog steeds in 66,7% van de gevallen, waarmee het de concurrentie ruim versloeg.

De auteurs suggereren dat door AI te leren de structuur en het redeneren achter het werk te begrijpen, in plaats van alleen patronen te memoriseren, we veel betrouwbaardere agenten kunnen creëren. Ze geven toe dat het systeem nog steeds een beetje worstelt wanneer het gevraagd wordt om zeer zeldzame, ongebruikelijke blokjes te gebruiken die niet in de trainingsdata zaten, maar over het algemeen hebben ze aangetoond dat het geven van een "mentaal model" van hoe experts denken de sleutel is tot het bouwen van betere, complexere creatieve tools. Het is een verschuiving van een robot vragen om "het antwoord te raden" naar het leren van "hoe te denken", waardoor een broos, foutgevoelig proces wordt omgezet in een robuust, expert-niveau vakmanschap.

Technische Samenvatting: Kennisgestuurde Agenten voor Workflowgeneratie in ComfyUI

Probleemstelling

De generatie van workflows in visuele creatiesystemen zoals ComfyUI vormt een uitdaging die verder gaat dan eenvoudige tekst-naar-JSON-translatie. Een ComfyUI-workflow is een Directed Acyclic Graph (DAG) gerepresenteerd als een JSON-configuratie, waarbij nodes functionele modules zijn en edges datariëntaties definiëren. Hoewel Large Language Models (LLMs) al zijn toegepast op deze taak, schieten bestaande benaderingen vaak tekort door twee primaire beperkingen:

Structurele Broosheid: Directe generatie van JSON-configuraties vanuit tekst is gevoelig voor syntactische fouten, verkeerd verbonden links en inconsistente parameterbindingen, wat leidt tot uitvoeringsfouten.
Gebrek aan Ervaringskennis: Effectieve workflowontwerpen vereisen expertise-niveau redeneren, inclusen heuristische beslissingen over segmentatie, vertakking en de interactie tussen modules. Huidige LLM's worstelen met het verwerven van deze impliciete, door ervaring gedreven kennis puur uit tekstuele data, wat vaak resulteert in workflows die een gebrek aan coherentie vertonen of niet voldoen aan complexe taakeisen.

Bestaande methoden vertrouwen ofwel op beperkte meta-nodes (wat de expressiviteit beperkt) of behandelen kennis als impliciet verstrengeld binnen modelparameters (wat interpretatie of hergebruik bemoeilijkt).

Methodologie

De auteurs stellen een kennisgestuurd framework voor dat workflowgeneratie behandelt als een proces van redeneren met expliciete, hiërarchische kennis in plaats van ad-hoc patroonherkenning. Het framework werkt via drie kernfasen:

1. Kennisinversie

Het systeem destilleert eerst hiërarchische kennisrepresentaties uit een grote collectie ruwe, niet-geannoteerde ComfyUI-workflows. Dit proces keert de workflowdata van onder naar boven om:

Ruwe Workflow naar Volledige Pseudo-code: Regelgebaseerde regularisatie zet JSON-grafen om in machineleesbare pseudo-code, waarbij de topologie en parameters behouden blijven terwijl syntactische ruis wordt verwijderd.
Volledig naar Skeleton Pseudo-code: Een LLM abstraheert specifieke parameterbindingen en numerieke waarden weg, waarbij alleen de essentiële grafstructuur en de executie-flow behouden blijven.
Skeleton naar Strategisch Redeneren: LLM's voeren semantische interpretatie uit om de "redeneersporen" achter de structuur van de workflow te achterhalen (bijv. waarom specifieke controles werden samengevoegd of waarom een face-detailer na de denoising werd geplaatst).
Redenering naar Hoogwaardige Strategie: Deze sporen worden samengevat in beknopte strategiebeschrijvingen die de hoogwaardige verwerkingsplannen van de expert vertegenwoordigen.
Strategie naar Taakinstructie: Het systeem leidt de oorspronkelijke gebruikersinstructies en inputspecificaties af die de workflow waarschijnlijk hebben gegenereerd, waardoor een natuurlijke taal supervisiesignaal ontstaat.

2. Kennisinjectie

De gedestilleerde kennis wordt geïnjecteerd in een taalmodel (specifiek Qwen3-14B) via Supervised Fine-Tuning (SFT). De auteurs identificeren specifieke transities die expliciete kennisinjectie vereisen:

Taak $\to$ Strategie: Het model leren om gebruikersinstructies te deconstrueren in hoogwaardige verwerkingsplannen en geschikte modules te selecteren.
Strategie $\to$ Skeleton Pseudo-code: Het model trainen om abstracte strategieën te vertalen naar uitvoerbare structurele skeletons.
Opmerking: Transities van Skeleton naar Volledige Pseudo-code (parameterherstel) worden afgehandeld via regelgebaseerde expansie of lichtgewicht prompting, niet via SFT.
Een hulpdoel (auxiliary objective) is opgenomen om het model te trainen in het genereren van tussenliggende redeneersporen, wat de leerprocessen van expert-discourse en logische structuur reguleert.

3. Kennisinferentie

Tijdens de inferentie keert het systeem het inversieproces om:

High-Level Strategy Planner: Het SFT-getrainde model genereert een hoogwaardige strategie op basis van de taakinstructie van de gebruiker.
Pseudo-code Generator: De strategie wordt omgezet in een skeleton pseudo-code.
Parameter Filling: Een vooraf getraind model vult specifieke parameters en bindingen in op basis van de context.
Regelgebaseerde Reconstructie: De volledige pseudo-code wordt omgezet in een uitvoerbare ComfyUI JSON-workflow.
Om de robuustheid te vergroten, worden zelfverfijningsmechanismen toegepast na de strategieplanning en de pseudo-code generatie, waardoor het model in staat is de structurele incoherentie te evalueren en te corrigeren.

Belangrijkste Bijdragen

Kennisgestuurd Paradigma: Het artikel verschuift de focus van directe generatie naar het modelleren van de structuur, hiërarchie en dynamiek van de expertkennis zelf.
Kennisinversie: Een nieuwe methode om hiërarchische representaties (strategieën, redeneersporen, skeletons) te distilleren uit ruwe, niet-geannoteerde workflowdata zonder handmatige annotatie.
Hiërarchisch Redeneren: Het framework deelt de generatietaak op in meerlagige supervisiesignalen (Taak $\to$ Strategie $\to$ Skeleton $\to$ Volledig), waardoor het model expliciet ontwerpprincipes kan vastleggen.
Omkeerbaar Redeneren & Zelfverfijning: Het inferentieproces spiegelt het inversieproces en wordt versterkt door iteratieve zelfcorrectie om structurele coherentie te waarborgen.

Experimentele Resultaten

De methode werd geëvalueerd op een gecureerde dataset van 912 hoogwaardige workflows (882 voor training, 30 voor testen) en externe benchmarks (FlowBench en ComfyBench).

Structurele Diversiteit en Volledigheid: De voorgestelde methode behaalde een Valid Node Diversity (VND) score van 152, wat aanzienlijk beter is dan de sterkste baseline (42). Het behaalde ook een hogere Node Completeness (96,3% vs. 56,7%) en Link Completeness (98,3% vs. 56,7%).
Taakconsistentie: De methode scoorde 86,9% op Task Consistency, vergeleken met 55,1% voor de beste baseline (ComfyAgent).
Executie Succes: Op de testset behaalde de methode een Pass rate van 86,9% (succesvolle uitvoering zonder fouten) en een Resolve rate van 61,1% (succesvolle uitvoering die de taak vervult), vergeleken met 36,4% en 29,4% voor ComfyAgent, respectievelijk.
Generalisatie: De methode behield superieure prestaties op "Real-World Cases" (taken zonder vergelijkbare trainingssamples) en externe benchmarks, wat een sterke generalisatiecapaciteit aantoont.
Ablatie: De hiërarchische aanpak met een 14B model presteerde beter dan een end-to-end Q2P (Question-to-Pseudo-code) baseline gebruikmakend van een groter 32B model, wat de effectiviteit van de meerlagige supervisiestrategie valideert.

Betekenis en Claims

Het artikel claimt een nieuw fundament te leggen voor kennisgestuurde, agentic workflowgeneratie. Door expertkennis expliciet te modelleren en te inverteren, transformeert het framework workflowgeneratie van een broze tekstgeneratieprobleem naar een principieel redeneerproces. De auteurs stellen dat deze aanpak de beperkingen van zowel beperkte sjabloon-gebaseerde systemen als op data gebaseerde, ondoorzichtige LLM's overwint, waardoor agenten complexe visuele pipelines kunnen samenstellen met expert-niveau betrouwbaarheid en structurele coherentie. Het werk suggereert dat toekomstige agentische systemen in visuele creatie prioriteit moeten geven aan de expliciete representatie en inversie van domeinkennis boven eenvoudige patroonvoltooiing.