Resumo Técnico: COMFYCLAW

Declaração do Problema

O artigo aborda as limitações dos agentes de IA atuais na construção de tarefas complexas de geração de imagem baseadas em fluxo de trabalho (workflow). Embora os agentes sejam cada vez mais utilizados para automatizar tarefas recorrentes, as interfaces tradicionais baseadas apenas em prompts obscurecem decisões críticas relativas ao condicionamento do modelo, composição de componentes e reparo de falhas. Em sistemas como o ComfyUI, onde a geração de imagens é definida por grafos de nós editáveis, os agentes enfrentam um "problema de fluxo de trabalho": eles devem selecionar componentes compatíveis, satisfazer restrições do modelo e diagnosticar falhas visuais sem quebrar a execução.

Agentes de geração de fluxo de trabalho existentes frequentemente dependem de interfaces de controle estáticas ou armazenamento de memória passivo. Eles falham em refinar ativamente experiências passadas em conhecimento procedural reutilizável. Consequentemente, um reparo bem-sucedido em uma execução raramente se torna um procedimento validado para fluxos de trabalho futuros, levando os agentes a redescobrir repetidamente correções semelhantes ou a falhar na generalização de padrões de erro recorrentes. O desafio central é criar um framework que não apenas controle o estado executável atual, mas também evolua uma biblioteca de habilidades reutilizáveis a partir de sucessos e falhas passados.

Metodologia

Os autores introduzem o COMFYCLAW, um framework agêntico de autoevolução projetado para controlar fluxos de trabalho do ComfyUI. O sistema trata a construção do fluxo de trabalho como um Processo de Decisão de Markov (MDP) aumentado por habilidades sobre edições de grafos executáveis, feedback de tempo de execução, feedback de verificador e habilidades reutilizáveis. O framework consiste em três componentes primários:

1. Construção de Fluxo de Trabalho via Edição de Grafo Tipado

O agente constrói fluxos de trabalho do ComfyUI como grafos acíclicos dirigidos (DAGs). Em vez de uma simples reescrita de texto, o agente realiza a edição de grafo tipado através de uma estrutura de estágios controlados:

• Planejamento e Inicialização: O agente identifica o modelo alvo, revisa as ferramentas e constrói um "grafo espinha dorsal" inicial (pipeline mínimo).
• Edição de Grafo: O agente refina iterativamente o grafo adicionando/removendo nós, conectando arestas e ajustando parâmetros (ex: inserção de LoRA, condicionamento regional).
• Divulgação Progressiva de Habilidades: Uma biblioteca de habilidades é exposta seletivamente. Os agentes veem inicialmente metadados leves (nome, descrição) e recuperam instruções completas apenas quando uma habilidade é considerada relevante, mantendo a janela de contexto gerenciável.

2. Refinamento Guiado por Verificador

Um Modelo de Linguagem-Visual (VLM) atua como um verificador para avaliar as imagens geradas em relação ao prompt.

• Decomposição: O prompt é decomposto em uma lista de verificação de requisitos binários observáveis (ex: contagem de objetos, relações espaciais).
• Pontuação: O verificador retorna um escalar de recompensa combinando uma razão de aprovação/falha para os requisitos e uma pontuação holística de detalhe (0–10).
• Ciclo de Feedback: O verificador fornece descrições de falhas localizadas e sugestões de reparo concretas ao nível do fluxo de trabalho (ex: "aplicar prompting regional"). O agente utiliza esse feedback para refinar o fluxo de trabalho ao longo de múltiplas iterações até que um limite de satisfação seja atingido ou um número máximo de iterações seja alcançado.

3. Biblioteca de Habilidades de Autoevolução

A inovação central é o mecanismo para converter trajetórias recorrentes em Habilidades de Agente reutilizáveis (armazenadas como arquivos SKILL.md).

• Agrupamento (Clustering): Traços de sucesso e falha de um lote de prompts são agrupados com base no feedback do verificador, erros de tempo de execução e propriedades do prompt.
• Mutação: Um agente propõe mutações à biblioteca de habilidades (criar, revisar, reforçar, mesclar, deletar) com base nesses agrupamentos.
• Validação: As habilidades propostas são validadas contra um conjunto de prompts não utilizado para validação (held-out). Uma mutação só é confirmada se melhorar ou manter o desempenho no conjunto de validação, garantindo que as habilidades se generalizem além dos exemplos específicos que as geraram.

Principais Contribuições

1. Estrutura de Evolução de Habilidades Agênticas: O COMFYCLAW é o primeiro framework que combina explicitamente a edição de grafo tipado para construção de fluxo de trabalho com um loop de evolução de habilidades que destila experiências de execução em procedimentos reutilizáveis.
2. Verificação VLM em Nível de Região: O sistema utiliza um verificador VLM que traduz falhas visuais em sugestões de reparo acionáveis e em nível de região, indo além de métricas simples de aprovação/falha para edições específicas de fluxo de trabalho.
3. Mecanismo de Divulgação Progressiva: O framework gerencia a complexidade do contexto expondo primeiro os metadados das habilidades e recuperando instruções completas apenas sob demanda, permitindo uma biblioteca de habilidades ampla e em evolução sem sobrecarregar o agente.
4. Controle de Ciclo Fechado: O sistema trata a construção do fluxo de trabalho como um problema de controle de ciclo fechado, onde o feedback de uma única execução é usado imediatamente para reparo e, a longo prazo, para a evolução de habilidades.

Resultados Experimentais

Os autores avaliaram o COMFYCLAW através de quatro divisões de benchmark (GenEval2, DPG-Bench, OneIG-EN, OneIG-ZH), três modelos de agente (Claude Sonnet 4.5, Qwen-3.6, Gemma-4) e dois backbones de imagem (LongCat-Image, Z-Image-Turbo).

• Desempenho: O COMFYCLAW alcançou a melhor pontuação média de avaliação de geração de imagem em todas as seis configurações de agente. Superou uma linha de base "apenas harness" (sem evolução de habilidade) em 4 pontos absolutos e uma linha de base "sem refinamento" em 10 pontos absolutos.
• Utilização de Habilidades: Em todos os benchmarks, as habilidades evoluídas representaram aproximadamente 50% do total de leituras de habilidades. Em benchmarks densos/composicionais (DPG-Bench, GenEval2), os agentes dependeram de habilidades evoluídas para 70% e 56% das leituras, respectivamente.
• Preferência Humana: Em um estudo envolvendo 2.400 imagens anotadas, os anotadores humanos preferiram imagens geradas pelo COMFYCLAW em relação às variantes sem evolução de habilidade, citando melhor alinhamento com os prompts, realismo visual e estética.
• Diversidade de Ações: A análise mostrou que os agentes realizaram ações complexas além da reescrita de prompts. Apenas ~39% das edições foram mudanças de texto de prompt; a maioria envolveu ajuste de hiperparâmetros, mudanças de topologia de grafo (mascaramento regional) e seleção de modelo/LoRA.

Significância e Alegações

O artigo alega que a evolução de habilidades é um mecanismo eficaz para melhorar a confiabilidade e o desempenho do agente na construção recorrente de fluxos de trabalho visuais.

Os autores argumentam que agentes de geração visual eficazes devem fazer mais do que planejar e refletir dentro de uma única execução; eles devem adquirir habilidades reutilizáveis de execuções anteriores para evitar repetir erros. Ao converter reparos de fluxo de trabalho em procedimentos validados e reutilizáveis, o COMFYCLAW permite que os agentes comecem de bases de conhecimento mais fortes e gerem imagens de maior qualidade. Os resultados sugerem que o futuro do controle de fluxo de trabalho agêntico reside em sistemas que podem não apenas executar tarefas, mas também aprender e evoluir seu próprio conhecimento procedural a partir da experiência.

O artigo mantém-se modesto quanto ao seu escopo, observando que o estudo atual foca exclusivamente em fluxos de trabalho de geração de imagem. Reconhece que a extensão deste framework para a geração de vídeo (que exige condicionamento temporal mais complexo e tempos de execução mais longos) apresenta desafios significativos em latência, gerenciamento de timeout e eficiência da janela de contexto, deixando isso como uma direção para trabalhos futuros.