🤖 AI

Knowledge-Centric Agents for Workflow Generation

Questo articolo propone un framework incentrato sulla conoscenza che migliora la generazione di workflow nei sistemi di creazione visiva apprendendo a invertire, iniettare e inferire la conoscenza gerarchica da esempi del mondo reale, ottenendo così una coerenza strutturale e tassi di successo nell'esecuzione superiori rispetto agli esistenti approcci diretti da testo a JSON.

Autori originali: Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

Pubblicato 2026-07-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di costruire una macchina complessa usando i mattoncini LEGO, ma invece di incastrarli con le mani, devi descrivere l'intero progetto a un robot usando solo le parole. Questo è il mondo di ComfyUI, uno strumento popolare per la creazione di immagini con l'intelligenza artificiale. In questo sistema, ogni fase del processo creativo — come cambiare un colore, mettere a fuoco un volto o ingrandire un'immagine — è un "blocco" o "nodo" separato. Per ottenere un ottimo risultato, devi collegare centinaia di questi blocchi in un ordine molto specifico, come un enorme e intricato circuito stampato. Se colleghi i due blocchi sbagliati, o se dimentichi di inserire un cavo di alimentazione (un parametro), l'intera macchina tossisce e si ferma.

Per molto tempo, le persone hanno cercato di usare i Large Language Models (LLM) — lo stesso tipo di IA intelligente che scrive storie o risponde a domande — per costruire automaticamente questi progetti. L'idea era semplice: dì all'IA, "Fammi l'immagine di un dirigibile steampunk", e fai in modo che generi le istruzioni perfette per i LEGO. Ma ecco il problema: questi modelli di IA sono bravissimi a scrivere frasi, ma sono terribili nel costruire strutture complesse. Spesso dimenticano come i blocchi si collegano, confondono le istruzioni o creano progetti che sembrano validi sulla carta ma che cadono a pezzi quando provi a costruirli. Manca loro l'"esperienza" di un esperto umano che sa perché si collega il Blocco A al Blocco B, non solo che si debba fare.

Questo ci porta a un nuovo articolo di Zhendong Li e del suo team, che propone un nuovo modo intelligente di insegnare all'IA come essere un maestro costruttore. Invece di chiedere semplicemente all'IA di indovinare il progetto finale, gli insegnano a pensare come un esperto progettista umano. Lo chiamano un approccio "Knowledge-Centric" (centrato sulla conoscenza). Pensa a questo: se vuoi insegnare a uno studente come preparare una torta perfetta, non ti limiti a mostrargli la torta finita e dirgli: "Copia questa". Gli insegni la strategia (perché mescoliamo prima le uova), lo scheletro (l'elenco dei passaggi senza le misure esatte) e infine la ricetta (i grammi esatti di farina).

Gli autori hanno scoperto che i metodi di IA esistenti stavano fallendo perché cercavano di passare direttamente dalla richiesta dell'utente al codice finale, che è disordinato. Per risolvere il problema, hanno inventato un processo in tre fasi che chiamano Inversione, Iniezione e Inferenza della Conoscenza.

Per prima cosa, hanno preso migliaia di progetti reali e funzionanti creati dagli umani e li hanno fatti passare attraverso un processo di "reverse engineering". Hanno rimosso i dettagli disordinati per trovare i modelli nascosti. È come smontare mille auto diverse per capire le regole generali del funzionamento dei motori, piuttosto che memorizzare la forma di una singola auto specifica. Hanno distillato questi progetti in tre livelli:

Strategia di alto livello: il piano d'insieme (es. "Dobbiamo prima sistemare il viso, poi cambiare lo stile").
Pseudo-codice dello scheletro: la struttura grezza dei passaggi, senza i numeri specifici.
Pseudo-codice completo: le istruzioni complete e dettagliate pronte per essere costruite.

Successivamente, hanno iniettato questa conoscenza distillata in un modello di IA. Non si sono limitati a fornirgli dei dati; gli hanno insegnato a ragionare attraverso questi livelli. Hanno mostrato al modello: "Ecco un compito, ecco la strategia che un esperto userebbe, e ecco come quella strategia si trasforma in uno scheletro". È come dare allo studente un libro di cucina che spiega la logica del cucinare, non solo le ricette.

Infine, quando un utente chiede una nuova immagine, l'IA non si limita a indovinare. Determina la soluzione attraverso l'inferenza, lavorando a ritroso attraverso i livelli appresi. Prima individua la strategia di alto livello, poi costruisce lo scheletro e infine inserisce i dettagli specifici. Il documento include anche una fase di "auto-raffinamento", in cui l'IA ricontrolla il proprio lavoro, chiedendosi: "Ho collegato questi blocchi correttamente?" prima di finalizzare il piano.

I risultati sono impressionanti. Il team ha testato il proprio metodo contro altri strumenti di IA su un dataset di oltre 900 compiti del mondo reale. Mentre gli altri metodi riuscivano a creare progetti funzionanti meno della metà delle volte, questo nuovo agente "Knowledge-Centric" ha avuto successo nell'86,9% dei casi. In termini di costruzione di strutture complesse e diverse, il loro metodo ha ottenuto un punteggio di 152 su una scala di diversità, mentre il secondo miglior metodo ha raggiunto solo 42. Anche quando testato su compiti nuovi e difficili che l'IA non aveva mai visto prima, è riuscito a completare con successo il 66,7% delle volte, superando di gran lunga la concorrenza.

Gli autori suggeriscono che insegnando all'IA la struttura e il ragionamento dietro il lavoro, piuttosto che farle solo memorizzare modelli, possiamo creare agenti molto più affidabili. Ammettono che il sistema fatica ancora un po' quando gli viene chiesto di usare blocchi molto rari o insoliti che non erano presenti nei suoi dati di addestramento, ma nel complesso, hanno dimostrato che dare all'IA un "modello mentale" di come pensano gli esperti è la chiave per costruire strumenti creativi migliori e più complessi. È un passaggio dal chiedere a un robot di "indovinare la risposta" all'insegnargli "come pensare", trasformando un processo fragile e soggetto a errori in un mestiere robusto e di livello esperto.

Sintesi Tecnica: Agenti Centrati sulla Conoscenza per la Generazione di Workflow in ComfyUI

Problema

La generazione di workflow in sistemi di creazione visiva come ComfyUI presenta una sfida che va oltre la semplice traduzione da testo a JSON. Un workflow di ComfyUI è un Grafo Aciclico Diretto (DAG) rappresentato come una configurazione JSON, dove i nodi sono moduli funzionali e gli archi definiscono le dipendenze dei dati. Sebbene i Large Language Models (LLM) siano stati applicati a questo compito, gli approcci esistenti spesso falliscono a causa di due limitazioni primarie:

Fragilità Strutturale: La generazione diretta di configurazioni JSON a partire dal testo è soggetta a errori sintattici, collegamenti errati e vincoli di parametri inconsistenti, portando a fallimenti nell'esecuzione.
Mancanza di Conoscenza Esperienziale: La progettazione di un workflow efficace richiede un ragionamento di livello esperto, che include decisioni euristiche su segmentazione, ramificazione e interazione tra moduli. Gli attuali LLM faticano ad acquisire questa conoscenza tacita, guidata dall'esperienza, puramente da dati testuali, risultando spesso in workflow che mancano di coerenza o non riescono ad affrontare requisiti di task complessi.

I metodi esistenti si affidano o a meta-nodi vincolati (limitandone l'espressività) o trattano la conoscenza come implicitamente intrecciata nei parametri del modello (rendendo difficile l'interpretazione o il riutilizzo).

Metodologia

Gli autori propongono un framework centrato sulla conoscenza che tratta la generazione di workflow come un processo di ragionamento con una conoscenza esplicita e gerarchica, piuttosto che come un semplice abbinamento di pattern ad hoc. Il framework opera attraverso tre fasi principali:

1. Inversione della Conoscenza

Il sistema prima destilla rappresentazioni di conoscenza gerarchica da una vasta collezione di workflow ComfyUI grezzi e non annotati. Questo processo inverte i dati del workflow dal basso verso l'alto:

Da Workflow Grezzo a Pseudo-codice Completo: La regolarizzazione basata su regole converte i grafi JSON in pseudo-codice leggibile dalle macchine, preservando topologia e parametri ma rimuovendo il rumore sintattico.
Da Completo a Pseudo-codice Scheletrico: Un LLM astrae via i specifici vincoli di parametri e i valori numerici, mantenendo solo la struttura essenziale del grafo e il flusso di esecuzione.
Dallo Scheletro al Ragionamento Strategico: Gli LLM eseguono l'interpretazione semantica per inferire le "tracce di ragionamento" dietro la struttura del workflow (ad esempio, perché determinati controlli sono stati fusi o perché un face-detailer è stato posizionato dopo il denoising).
Dal Ragionamento a Strategia di Alto Livello: Queste tracce vengono riassunte in descrizioni strategiche concise che rappresentano il piano di elaborazione di alto livello dell'esperto.
Dalla Strategia all'Istruzione del Task: Il sistema inferisce le istruzioni originali del task dell'utente e le specifiche di input che probabilmente hanno generato il workflow, creando un segnale di supervisione in linguaggio naturale.

2. Iniezione della Conoscenza

La conoscenza distillata viene iniettata in un modello di linguaggio (specificamente Qwen3-14B) tramite Supervised Fine-Tuning (SFT). Gli autori identificano transizioni specifiche che richiedono l'iniezione esplicita della conoscenza:

Task $\to$ Strategia: Insegnare al modello a scomporre le istruzioni dell'utente in piani di elaborazione di alto livello e a selezionare i moduli appropriati.
Strategia $\to$ Pseudo-codice Scheletrico: Addestrare il modello a tradurre strategie astratte in scheletri strutturali eseguibili.
Nota: Le transizioni dallo Scheletro al Pseudo-codice Completo (restauro dei parametri) sono gestite tramite espansione basata su regole o prompting leggero, non tramite SFT.
Un obiettivo ausiliario è incluso per addestrare il modello a generare tracce di ragionamento intermedie, regolarizzando l'apprendimento del discorso esperto e della struttura logica.

3. Inferenza della Conoscenza

Durante l'inferenza, il sistema inverte il processo di inversione:

Pianificatore di Strategia di Alto Livello: Il modello addestrato tramite SFT genera una strategia di alto livello a partire dall'istruzione del task dell'utente.
Generatore di Pseudo-codice: La strategia viene convertita in uno pseudo-codice scheletrico.
Riempimento dei Parametri: Un modello pre-addestrato riempie i parametri specifici e i vincoli basandosi sul contesto.
Ricostruzione basata su Regole: Il pseudo-codice completo viene convertito in un workflow JSON di ComfyUI eseguibile.
Per migliorare la robustezza, vengono applicati meccanismi di auto-raffinamento dopo la pianificazione della strategia e la generazione dello pseudo-codice, consentendo al modello di rivalutare e correggere l'incoerenza strutturale.

Contributi Chiave

Paradigma Centrato sulla Conoscenza: Il paper sposta il focus dalla generazione diretta alla modellazione della struttura, della gerarchia e della dinamica della conoscenza esperta stessa.
Inversione della Conoscenza: Un metodo innovativo per destillare rappresentazioni gerarchiche (strategie, tracce di ragionamento, scheletri) da dati di workflow grezzi e non annotati senza annotazione manuale.
Ragionamento Gerarchico: Il framework scompone il compito di generazione in segnali di supervisione multi-livello (Task $\to$ Strategia $\to$ Scheletro $\to$ Completo), consentendo al modello di catturare esplicitamente i principi di progettazione.
Ragionamento Reversibile e Auto-raffinamento: Il processo di inferenza rispecchia il processo di inversione, aumentato da un'auto-correzione iterativa per garantire la coerenza strutturale.

Risultati Sperimentali

Il metodo è stato valutato su un dataset curato di 912 workflow di alta qualità (882 per l'addestramento, 30 per il test) e su benchmark esterni (FlowBench e ComfyBench).

Diversità Strutturale e Completezza: Il metodo proposto ha ottenuto un punteggio di Valid Node Diversity (VND) di 152, superando significativamente il baseline più forte (42). Ha inoltre ottenuto una maggiore Completezza dei Nodi (96,3% vs 56,7%) e Completezza dei Collegamenti (98,3% vs 56,7%).
Consistenza del Task: Il metodo ha ottenuto l'86,9% nella Task Consistency, rispetto al 55,1% del miglior baseline (ComfyAgent).
Successo di Esecuzione: Sul set di test, il metodo ha raggiunto un tasso di Pass del 86,9% (esecuzione riuscita senza errori) e un tasso di Resolve del 61,1% (esecuzione riuscita soddisfacendo il task), rispetto al 36,4% e al 29,4% di ComfyAgent, rispettivamente.
Generalizzazione: Il metodo ha mantenuto prestazioni superiori nei "Casi del Mondo Reale" (task senza campioni di addestramento comparabili) e nei benchmark esterni, dimostrando forti capacità di generalizzazione.
Ablazione: L'approccio gerarchico utilizzando un modello da 14B ha superato un baseline end-to-end Q2P (Question-to-Pseudo-code) utilizzando un modello più grande da 32B, validando l'efficacia della strategia di supervisione multi-livello.

Significato e Rivendicazioni

Il paper sostiene di aver stabilito una nuova base per la generazione di workflow agentica guidata dalla conoscenza. Modellando esplicitamente e invertendo la conoscenza esperta, il framework trasforma la generazione di workflow da un problema fragile di generazione di testo a un processo di ragionamento rigoroso. Gli autori sostengono che questo approccio superi i limiti sia dei sistemi basati su template vincolati che degli LLM opachi basati sui dati, consentendo agli agenti di comporre pipeline visive complesse con affidabilità di livello esperto e coerenza strutturale. Il lavoro suggerisce che i futuri sistemi agentici nella creazione visiva dovrebbero dare priorità alla rappresentazione esplicita e all'inversione della conoscenza di dominio rispetto al semplice completamento di pattern.