🤖 AI

Knowledge-Centric Agents for Workflow Generation

Este artículo propone un marco centrado en el conocimiento que mejora la generación de flujos de trabajo en sistemas de creación visual mediante el aprendizaje para invertir, inyectar e inferir conocimiento jerárquico a partir de ejemplos del mundo real, logrando así una coherencia estructural y tasas de éxito de ejecución superiores en comparación con los enfoques actuales de texto directo a JSON.

Autores originales: Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

Publicado 2026-07-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir una máquina compleja con piezas de LEGO, pero en lugar de encajarlas con tus manos, tienes que describir todo el plano a un robot usando solo palabras. Este es el mundo de ComfyUI, una herramienta popular para la creación de imágenes con inteligencia artificial. En este sistema, cada paso del proceso creativo —como cambiar un color, perfeccionar un rostro o hacer una imagen más grande— es un "bloque" o "nodo" separado. Para obtener un gran resultado, tienes que conectar cientos de estos bloques en un orden muy específico, como un circuito impreso gigante e intrincado. Si conectas los dos bloques equivocados, o si olvidas enchufar un cable de alimentación (un parámetro), toda la máquina tose y se detiene.

Durante mucho tiempo, la gente intentó usar Modelos de Lenguaje Extensos (LLM) —el mismo tipo de IA inteligente que escribe historias o responde preguntas— para construir automáticamente estos planos. La idea era simple: decirle a la IA: "Hazme una imagen de un dirigible steampunk", y que esta escupiera las instrucciones perfectas de LEGO. Pero aquí está el problema: estos modelos de IA son excelentes escribiendo frases, pero son terribles construyendo estructuras complejas. A menudo olvidan cómo se conectan los bloques, mezclan las instrucciones o crean planos que se ven bien en el papel pero que se desmoronan cuando intentas construirlos. Carecen de la "experiencia" de un experto humano que sabe por qué conectas el Bloque A al Bloque B, no solo que debes hacerlo.

Esto nos lleva a un nuevo artículo de Zhendong Li y su equipo, quienes proponen una nueva y astuta forma de enseñar a la IA a ser un maestro constructor. En lugar de solo pedirle a la IA que adivine el plano final, le enseñan a pensar como un diseñador humano experto. Lo llaman un enfoque Centrado en el Conocimiento (Knowledge-Centric). Piensa en esto como si quisieras enseñar a un estudiante a hornear un pastel perfecto: no solo le muestras el pastel terminado y le dices: "Copia esto". Le enseñas la estrategia (por qué mezclamos los huevos primero), el esqueleto (la lista de pasos sin las medidas exactas) y finalmente la receta (los gramos exactos de harina).

Los autores descubrieron que los métodos de IA existentes estaban fallando porque intentaban saltar directamente desde la petición del usuario al código final y desordenado. Para solucionar esto, inventaron un proceso de tres pasos que llaman Inversión, Inyección e Inferencia de Conocimiento.

Primero, tomaron miles de planos reales y funcionales creados por humanos y los sometieron a un proceso de "ingeniería inversa". Despojaron los detalles desordenados para encontrar los patrones ocultos. Es como desarmar mil coches diferentes para entender las reglas generales de cómo funcionan los motores, en lugar de simplemente memorizar la forma de un coche específico. Destilaron estos planos en tres capas:

Estrategia de Alto Nivel: El plan de la "visión general" (por ejemplo, "Primero debemos arreglar el rostro, luego cambiar el estilo").
Pseudo-código de Esqueleto: El esquema aproximado de los pasos, sin los números específicos.
Pseudo-código Completo: Las instrucciones detalladas y completas listas para ser construidas.

Después, inyectaron este conocimiento destilado en un modelo de IA. No solo le alimentaron con datos; le enseñaron a razonar a través de estas capas. Le mostraron al modelo: "Aquí hay una tarea, aquí está la estrategia que usaría un experto y aquí es cómo esa estrategia se convierte en un esqueleto". Esto es como darle al estudiante un libro de cocina que explica la lógica de la cocina, no solo las recetas.

Finalmente, cuando un usuario pide una nueva imagen, la IA no solo adivina. Infiere la solución trabajando hacia atrás a través de las capas que aprendió. Primero determina la estrategia de alto nivel, luego construye el esqueleto y finalmente rellena los detalles específicos. El artículo también incluye un paso de "autorrefinamiento", donde la IA verifica su propio trabajo, preguntándose: "¿Conecté estos bloques correctamente?", antes de finalizar el plan.

Los resultados son impresionantes. El equipo probó su método contra otras herramientas de IA en un conjunto de datos de más de 900 tareas del mundo real. Mientras que otros métodos lograron crear planos funcionales menos de la mitad de las veces, este nuevo agente "Centrado en el Conocimiento" tuvo éxito en el 86.9% de los casos. En términos de construir estructuras complejas y diversas, su método obtuvo una puntuación de 152 en una escala de diversidad, mientras que el siguiente mejor método solo alcanzó 42. Incluso cuando se probó en tareas nuevas y difíciles que la IA nunca había visto, logró tener éxito el 66.7% de las veces, superando con creces a la competencia.

Los autores sugieren que, al enseñar a la IA a comprender la estructura y el razonamiento detrás del trabajo, en lugar de solo memorizar patrones, podemos crear agentes que sean mucho más fiables. Admiten que el sistema todavía tiene dificultades cuando se le pide usar bloques muy raros o inusuales que no estaban en sus datos de entrenamiento, pero en general, han demostrado que darle a la IA un "modelo mental" de cómo piensan los expertos es la clave para construir herramientas creativas mejores y más complejas. Es un cambio de pedirle a un robot que "adivine la respuesta" a enseñarle "cómo pensar", convirtiendo un proceso frágil y propenso a errores en un oficio robusto de nivel experto.

Resumen Técnico: Agentes Centrados en el Conocimiento para la Generación de Flujos de Trabajo en ComfyUI

Planteamiento del Problema

La generación de flujos de trabajo en sistemas de creación visual como ComfyUI presenta un desafío que va más allá de la simple traducción de texto a JSON. Un flujo de trabajo de ComfyUI es un Grafo Acíclico Dirigido (DAG) representado como una configuración JSON, donde los nodos son módulos funcionales y las aristas definen las dependencias de datos. Aunque se han aplicado Modelos de Lenguaje de Gran Escala (LLMs) a esta tarea, los enfoques existentes suelen fallar debido a dos limitaciones principales:

Fragilidad Estructural: La generación directa de configuraciones JSON a partir de texto es propensa a errores sintácticos, enlaces mal conectados y vinculaciones de parámetros inconsistentes, lo que conduce a fallos de ejecución.
Falta de Conocimiento Experiencial: El diseño de flujos de trabajo efectivos requiere un razonamiento de nivel experto, incluyendo decisiones heurísticas sobre segmentación, ramificación e interacción de módulos. Los LLMs actuales luchan por adquirir este conocimiento tácito y basado en la experiencia puramente a partir de datos textuales, lo que resulta frecuentemente en flujos de trabajo que carecen de coherencia o que no logran abordar requisitos de tareas complejas.

Los métodos existentes dependen de metanodos restringidos (que limitan la expresividad) o tratan el conocimiento como algo implícitamente entrelazado dentro de los parámetros del modelo (lo que dificulta su interpretación o reutilización).

Metodología

Los autores proponen un marco de trabajo centrado en el conocimiento que trata la generación de flujos de trabajo como un proceso de razonamiento con conocimiento explícito y jerárquico, en lugar de un emparejamiento de patrones ad-hoc. El marco opera a través de tres fases principales:

1. Inversión de Conocimiento

El sistema primero destila representaciones de conocimiento jerárquico a partir de una gran colección de flujos de trabajo de ComfyUI crudos y no anotados. Este proceso invierte los datos del flujo de trabajo desde la base hacia arriba:

Flujo de Trabajo Crudo a Pseudo-código Completo: La regularización basada en reglas convierte los grafos JSON en pseudo-código legible por máquinas, preservando la topología y los parámetros mientras elimina el ruido sintáctico.
De Completo a Pseudo-código de Esqueleto: Un LLM abstrae las vinculaciones de parámetros específicos y los valores numéricos, reteniendo solo la estructura esencial del grafo y el flujo de ejecución.
De Esqueleto a Razonamiento de Estrategia: Los LLMs realizan una interpretación semántica para inferir las "trazas de razonamiento" detrás de la estructura del flujo de trabajo (por ejemplo, por qué se fusionaron ciertos controles o por qué se colocó un face-detailer después del denoising).
De Razonamiento a Estrategia de Alto Nivel: Estas trazas se resumen en descripciones de estrategia concisas que representan el plan de procesamiento de alto nivel del experto.
De Estrategia a Instrucción de Tarea: El sistema infiere las instrucciones de la tarea original del usuario y las especificaciones de entrada que probablemente generaron el flujo de trabajo, creando una señal de supervisión en lenguaje natural.

2. Inyección de Conocimiento

El conocimiento destilado se inyecta en un modelo de lenguaje (específicamente Qwen3-14B) mediante Aprendizaje Supervisado por Refuerzo (SFT). Los autores identifican transiciones específicas que requieren la inyección explícita de conocimiento:

Tarea $\to$ Estrategia: Enseñar al modelo a descomponer las instrucciones del usuario en planes de procesamiento de alto nivel y seleccionar los módulos apropiados.
Estrategia $\to$ Pseudo-código de Esqueleto: Entrenar al modelo para traducir estrategias abstractas en esqueletos estructurales ejecutables.
Nota: Las transiciones de Esqueleto a Pseudo-código Completo (restauración de parámetros) se gestionan mediante expansión basada en reglas o prompting ligero, no mediante SFT.
Se incluye un objetivo auxiliar para entrenar al modelo para generar trazas de razonamiento intermedias, regularizando el aprendizaje del discurso experto y la estructura lógica.

3. Inferencia de Conocimiento

Durante la inferencia, el sistema revierte el proceso de inversión:

Planificador de Estrategia de Alto Nivel: El modelo entrenado mediante SFT genera una estrategia de alto nivel a partir de la instrucción de la tarea del usuario.
Generador de Pseudo-código: La estrategia se convierte en un pseudo-código de esqueleto.
Llenado de Parámetros: Un modelo pre-entrenado llena los parámetros y vinculaciones específicos basados en el contexto.
Reconstrucción Basada en Reglas: El pseudo-código completo se convierte en un flujo de trabajo JSON de ComfyUI ejecutable.
Para mejorar la robustez, se aplican mecanismos de automejora (self-refinement) después de la planificación de la estrategia y la generación del pseudo-código, permitiendo al modelo reevaluar y corregir la incoherencia estructural.

Contribuciones Clave

Paradigma Centrado en el Conocimiento: El artículo cambia el enfoque de la generación directa hacia el modelado de la estructura, la jerarquía y la dinámica del conocimiento experto mismo.
Inversión de Conocimiento: Un método novedoso para destilar representaciones jerárquicas (estrategias, trazas de razonamiento, esqueletos) a partir de datos de flujos de trabajo crudos y no anotados sin anotación manual.
Razonamiento Jerárquico: El marco descompone la tarea de generación en señales de supervisión de múltiples niveles (Tarea $\to$ Estrategia $\to$ Esqueleto $\to$ Completo), permitiendo que el modelo capture los principios de diseño de forma explícita.
Razonamiento Reversible y Automejora: El proceso de inferencia refleja el proceso de inversión, aumentado por una autocorrección iterativa para asegurar la coherencia estructural.

Resultados Experimentales

El método fue evaluado en un conjunto de datos curado de 912 flujos de trabajo de alta calidad (882 para entrenamiento, 30 para prueba) y en evaluaciones externas (FlowBench y ComfyBench).

Diversidad y Completitud Estructural: El método propuesto logró una puntuación de Diversidad de Nodos Válidos (VND) de 152, superando significativamente al segundo mejor modelo de referencia (42). También logró una mayor Completitud de Nodos (96.3% vs. 56.7%) y Completitud de Enlaces (98.3% vs. 56.7%).
Consistencia de la Tarea: El método obtuvo un 86.9% en Consistencia de Tarea, comparado con el 55.1% de ComfyAgent (el mejor modelo de referencia).
Éxito de Ejecución: En el conjunto de prueba, el método alcanzó una tasa de Paso del 86.9% (ejecución exitosa sin errores) y una tasa de Resolución del 61.1% (ejecución exitosa cumpliendo la tarea), comparado con el 36.4% y 29.4% de ComfyAgent, respectivamente.
Generalización: El método mantuvo un rendimiento superior en "Casos del Mundo Real" (tareas sin muestras de entrenamiento comparables) y en evaluaciones externas, demostrando fuertes capacidades de generalización.
Ablación: El enfoque jerárquico utilizando un modelo de 14B superó a un modelo base de Q2P (Pregunta-a-Pseudo-código) de extremo a extremo que utilizaba un modelo más grande de 32B, validando la eficacia de la estrategia de supervisión multinivel.

Significado y Reivindicaciones

El artículo afirma establecer un nuevo fundamento para la generación de flujos de trabajo agéntica impulsada por el conocimiento. Al modelar e invertir explícitamente el conocimiento experto, el marco transforma la generación de flujos de trabajo de un problema frágil de generación de texto en un proceso de razonamiento principista. Los autores argumentan que este enfoque supera las limitaciones tanto de los sistemas basados en plantillas restringidas como de los LLMs opacos basados en datos, permitiendo que los agentes compongan pipelines visuales complejos con fiabilidad de nivel experto y coherencia estructural. El trabajo sugiere que los futuros sistemas agénticos en la creación visual deben priorizar la representación explícita e inversión del conocimiento de dominio sobre el simple completado de patrones.