Resumo Técnico: Agentes Centrados em Conhecimento para Geração de Workflows no ComfyUI

Declaração do Problema

A geração de workflows em sistemas de criação visual como o ComfyUI apresenta um desafio que vai além da simples tradução de texto para JSON. Um workflow do ComfyUI é um Grafo Acíclico Dirigido (DAG) representado como uma configuração JSON, onde os nós são módulos funcionais e as arestas definem dependências de dados. Embora Modelos de Linguagem de Grande Escala (LLMs) tenham sido aplicados a esta tarefa, as abordagens existentes frequentemente falham devido a duas limitações primárias:

1. Fragilidade Estrutural: A geração direta de configurações JSON a partir de texto é propensa a erros sintáticos, conexões mal vinculadas e bindings de parâmetros inconsistentes, levando a falhas de execução.
2. Falta de Conhecimento Experiencial: O design de workflows eficaz exige raciocínio de nível especialista, incluindo decisões heurísticas sobre segmentação, ramificação e interação de módulos. Os LLMs atuais lutam para adquirir esse conhecimento tácito e orientado pela experiência puramente através de dados textuais, resultando frequentemente em workflows que carecem de coerência ou falham em abordar requisitos de tarefas complexas.

Métodos existentes ou dependem de meta-nós restritos (limitando a expressividade) ou tratam o conhecimento como implicitamente emaranhado dentro dos parâmetros do modelo (tornando-o difícil de interpretar ou reutilizar).

Metodologia

Os autores propõem um framework centrado no conhecimento que trata a geração de workflows como um processo de raciocínio com conhecimento hierárquico explícito, em vez de correspondência de padrões ad-hoc. O framework opera através de três fases principais:

1. Inversão de Conhecimento

O sistema primeiro destila representações de conhecimento hierárquico de uma grande coleção de workflows brutos e não anotados do ComfyUI. Este processo inverte os dados do workflow de baixo para cima:

• Workflow Bruto para Pseudo-código Completo: A regularização baseada em regras converte grafos JSON em pseudo-código legível por máquina, preservando a topologia e os parâmetros enquanto remove o ruído sintático.
• Completo para Pseudo-código Esquelético: Um LLM abstrai bindings de parâmetros específicos e valores numéricos, retendo apenas a estrutura essencial do grafo e o fluxo de execução.
• Esqueleto para Raciocínio de Estratégia: LLMs realizam interpretação semântica para inferir os "rastros de raciocínio" por trás da estrutura do workflow (por exemplo, por que certos controles foram fundidos ou por que um face-detailer foi colocado após o denoising).
• Raciocínio para Estratégia de Alto Nível: Estes rastros são resumidos em descrições de estratégia concisas que representam o plano de processamento de alto nível do especialista.
• Estratégia para Instrução de Tarefa: O sistema infere as instruções de tarefa originais do usuário e as especificações de entrada que provavelmente geraram o workflow, criando um sinal de supervisão em linguagem natural.

2. Injeção de Conhecimento

O conhecimento destilado é injetado em um modelo de linguagem (especificamente o Qwen3-14B) via Fine-Tuning Supervisionado (SFT). Os autores identificam transições específicas que requerem injeção explícita de conhecimento:

• Tarefa $\to$ Estratégia: Ensinar o modelo a decompor instruções do usuário em planos de processamento de alto nível e selecionar módulos apropriados.
• Estratégia $\to$ Pseudo-código Esquelético: Treinar o modelo para traduzir estratégias abstratas em esqueletos estruturais executáveis.
• Nota: As transições do Esqueleto para o Pseudo-código Completo (restauração de parâmetros) são tratadas via expansão baseada em regras ou prompting leve, não via SFT.
  Um objetivo auxiliar é incluído para treinar o modelo a gerar rastros de raciocínio intermediários, regularizando o aprendizado do discurso especialista e da estrutura lógica.

3. Inferência de Conhecimento

Durante a inferência, o sistema inverte o processo de inversão:

1. Planejador de Estratégia de Alto Nível: O modelo treinado via SFT gera uma estratégia de alto nível a partir da instrução de tarefa do usuário.
2. Gerador de Pseudo-código: A estratégia é convertida em um pseudo-código esquelético.
3. Preenchimento de Parâmetros: Um modelo pré-treinado preenche parâmetros e bindings específicos com base no contexto.
4. Reconstrução Baseada em Regras: O pseudo-código completo é convertido em um workflow JSON executável do ComfyUI.
   Para aumentar a robustez, mecanismos de auto-refinamento são aplicados após o planejamento da estratégia e a geração do pseudo-código, permitindo que o modelo reavalie e corrija a incoerência estrutural.

Principais Contribuições

• Paradigma Centrado no Conhecimento: O artigo desloca o foco da geração direta para a modelagem da estrutura, hierarquia e dinâmica do próprio conhecimento especialista.
• Inversão de Conhecimento: Um método inovador para destilar representações hierárquicas (estratégias, rastros de raciocínio, esqueletos) a partir de dados de workflow brutos e não anotados, sem necessidade de anotação manual.
• Raciocínio Hierárquico: O framework decompõe a tarefa de geração em sinais de supervisão de múltiplos níveis (Tarefa $\to$ Estratégia $\to$ Esqueleto $\to$ Completo), permitendo que o modelo capture princípios de design explicitamente.
• Raciocínio Reversível e Auto-refinamento: O processo de inferência espelha o processo de inversão, aumentado por autocorreção iterativa para garantir a coerência estrutural.

Resultados Experimentais

O método foi avaliado em um conjunto de dados curado de 912 workflows de alta qualidade (882 para treinamento, 30 para teste) e benchmarks externos (FlowBench e ComfyBench).

• Diversidade e Completude Estrutural: O método proposto alcançou uma pontuação de Diversidade de Nós Válidos (VND) de 152, superando significativamente o baseline mais forte (42). Também alcançou maior Completude de Nós (96,3% vs. 56,7%) e Completude de Links (98,3% vs. 56,7%).
• Consistência de Tarefa: O método obteve 86,9% em Consistência de Tarefa, comparado a 55,1% para o melhor baseline (ComfyAgent).
• Sucesso de Execução: No conjunto de teste, o método alcançou uma taxa de Passagem de 86,9% (execução bem-sucedida sem erros) e uma taxa de Resolução de 61,1% (execução bem-sucedida cumprindo a tarefa), comparado a 36,4% e 29,4% para o ComfyAgent, respectivamente.
• Generalização: O método manteve desempenho superior em "Casos do Mundo Real" (tarefas sem amostras de treinamento comparáveis) e benchmarks externos, demonstrando fortes capacidades de generalização.
• Ablação: A abordagem hierárquica usando um modelo de 14B superou um baseline end-to-end Q2P (Pergunta-para-Pseudo-código) usando um modelo maior de 32B, validando a eficácia da estratégia de supervisão de múltiplos níveis.

Significância e Alegações

O artigo afirma estabelecer uma nova fundação para a geração de workflows agêntica e orientada ao conhecimento. Ao modelar e inverter explicitamente o conhecimento especialista, o framework transforma a geração de workflows de um problema frágil de geração de texto em um processo de raciocínio principiado. Os autores argumentam que esta abordagem supera as limitações de sistemas baseados em templates restritos e de LLMs opacos baseados em dados, permitindo que agentes componham pipelines visuais complexos com confiabilidade de nível especialista e coerência estrutural. O trabalho sugere que futuros sistemas agênticos na criação visual devem priorizar a representação explícita e a inversão do conhecimento de domínio sobre a simples conclusão de padrões.