🤖 AI

FlowSteer: Towards Agents Designing Agentic Workflows via Reinforced Progressive Canvas Editing

FlowSteer es un marco novedoso que permite a un único agente diseñar de extremo a extremo flujos de trabajo ejecutables de agentes mediante un paradigma de edición de lienzo progresivo reforzado, aprovechando la retroalimentación en tiempo real a nivel de gráfico para superar los desafíos en la construcción dependiente de humanos y en la reparación de errores dentro del bucle.

Autores originales: Mingda Zhang, Wenjin Liu, Tiesunlong Shen, Qika Lin, Rui Mao, Erik Cambria, Xiaoying Tang, Haoran Luo

Publicado 2026-05-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mingda Zhang, Wenjin Liu, Tiesunlong Shen, Qika Lin, Rui Mao, Erik Cambria, Xiaoying Tang, Haoran Luo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir una máquina compleja, como un dispositivo de Rube Goldberg, para resolver un problema específico (como calcular una respuesta matemática o escribir un fragmento de código).

En el pasado, los humanos tenían que sentarse y arrastrar y soltar manualmente cada pieza individual de esta máquina, conectando engranajes y palancas una por una. Si cometían un error, a menudo tenían que desmontar todo y empezar de cero. Esto era lento, costoso y difícil de adaptar a nuevos problemas.

FlowSteer es un nuevo sistema que cambia el juego. En lugar de que un humano construya la máquina, utiliza un "Agente Arquitecto" inteligente que construye la máquina en sí misma, paso a paso, mientras un "Robot Constructor" la prueba en tiempo real.

Así es como funciona, usando analogías simples:

1. El "Lienzo" (El Banco de Trabajo Interactivo)

Piensa en el Lienzo de Flujo de Trabajo como un banco de trabajo mágico y vivo.

Antigua forma: Escribes un plan en un papel, se lo entregas a un constructor y esperas que lo construyan correctamente. Si se rompe, no lo sabes hasta el final.
Forma FlowSteer: El Agente Arquitecto coloca un engranaje diminuto (un "operador") en el banco de trabajo. Inmediatamente, el banco de trabajo lo verifica: "¿Es este engranaje de la forma correcta? ¿Encaja?". Proporciona retroalimentación instantánea. Si el engranaje es incorrecto, el Agente puede cambiarlo en ese mismo momento. Esto ocurre con cada pieza añadida.

2. El "Arquitecto" vs. El "Constructor" (El Equipo)

El sistema divide el trabajo en dos roles distintos para hacerlo más inteligente:

El Arquitecto (Director de Flujo): Esta es una IA más pequeña y ligera. Su único trabajo es decidir qué partes poner en la máquina y cómo conectarlas. No realiza el trabajo pesado; solo diseña el plano.
El Constructor (El Ejecutor): Esta es una IA potente y de trabajo pesado (como GPT-4o o similar). Toma el plano que hizo el Arquitecto y realmente realiza las matemáticas, escribe el código o responde la pregunta.
Por qué esto importa: El Arquitecto aprende a ser un gran diseñador observando al Constructor tener éxito o fallar. Si el Constructor tiene dificultades, el Arquitecto aprende a cambiar el plano para la próxima vez. No necesitan ser del mismo tamaño; un Arquitecto pequeño puede dirigir a un Constructor gigante.

3. "Edición Progresiva Reforzada" (Aprendiendo por Ensayo y Error)

Esta es la "salsa secreta" de FlowSteer.

Imagina que estás aprendiendo a cocinar un plato complejo. En lugar de adivinar toda la receta de una vez, añades un ingrediente, lo pruebas y lo ajustas.
FlowSteer hace esto con lógica. El Arquitecto añade un paso (por ejemplo, "Calcula este número"), el Lienzo lo prueba y le dice al Arquitecto: "Ese paso carece de una verificación". El Arquitecto entonces añade un paso de "Verificación".
Sigue haciendo esto, una pequeña edición a la vez, utilizando Aprendizaje por Refuerzo. Piensa en esto como un videojuego donde el Arquitecto obtiene una "puntuación" solo cuando la máquina final funciona perfectamente. A lo largo de miles de intentos, el Arquitecto aprende exactamente qué secuencia de pasos conduce a una puntuación alta.

4. Los Resultados (Lo que el Artículo Encontró)

Los investigadores probaron este sistema en 12 "desafíos" diferentes, que van desde problemas matemáticos complicados (como los del conjunto de datos MATH) hasta escribir código informático y responder preguntas complejas.

Mejor que la competencia: FlowSteer superó a otros métodos que intentan construir estas máquinas de una sola vez o dependen de que los humanos las configuren.
Corregir errores sobre la marcha: Como verifica cada paso, puede detectar errores temprano. Si un problema matemático necesita un paso de verificación específico, FlowSteer aprende a añadirlo automáticamente.
Flexible: Funciona con diferentes "Constructores" (diferentes modelos de IA). Puedes cambiar el Constructor pesado por otro diferente, y el Arquitecto aún sabe cómo diseñar la máquina para él sin necesidad de ser reentrenado.

Resumen

FlowSteer es como enseñar a un arquitecto maestro a diseñar máquinas complejas permitiéndoles construirlas pieza por pieza en un banco de trabajo inteligente que grita "¡Incorrecto!" o "¡Bien!" después de cada movimiento individual. En lugar de adivinar todo el plan de una vez, aprende a través de una larga serie de pasos pequeños y corregibles, resultando en un sistema que es mucho mejor resolviendo problemas difíciles y de múltiples pasos que los métodos anteriores.

Resumen Técnico: FlowSteer

Declaración del Problema

La construcción de flujos de trabajo agéncicos —grafos ejecutables que orquestan operadores para resolver tareas humanas complejas— enfrenta actualmente tres limitaciones críticas:

Construcción Dependiente del Humano: Los flujos de trabajo existentes dependen en gran medida de la manipulación manual mediante arrastrar y soltar, plantillas basadas en reglas o la generación de prompts de un solo disparo (one-shot) con Modelos de Lenguaje Grande (LLM). Este enfoque es costoso de mantener y carece de escalabilidad al transferirse a nuevas tareas, bibliotecas de operadores o backends de modelos.
Falta de Retroalimentación de Ejecución a Nivel de Grafo: Los entornos de agentes actuales operan típicamente a nivel de generación de texto o llamadas a herramientas externas. Carecen de una abstracción ejecutable que proporcione retroalimentación estructurada y verificada sintácticamente sobre el propio grafo del flujo de trabajo, lo que impide que los agentes diagnostiquen o reparen errores estructurales durante la construcción.
Incapacidad para Reparar Errores en el Bucle: La generación de un solo disparo o los métodos basados en búsqueda externa no pueden reparar errores de forma iterativa a medida que surgen a través de múltiples pasos de edición. Esto conduce a señales de aprendizaje escasas, comportamientos de atajo (por ejemplo, terminación prematura) y una asignación de crédito inestable en horizontes largos.

Metodología: FlowSteer

FlowSteer propone un nuevo paradigma: Agente Diseñando Flujos de Trabajo Agéncicos, donde un único agente diseña de extremo a extremo el flujo de trabajo que ejecutará un ejecutor aguas abajo. El marco consta de tres componentes principales:

1. Lienzo de Flujo de Trabajo

Un novedoso entorno de estado de grafo ejecutable que mantiene el grafo del flujo de trabajo ( $G_t$ ) y devuelve retroalimentación de ejecución verificada sintácticamente para cada edición atómica.

Espacio de Estados: El agente interactúa con un lienzo que contiene el grafo actual, una biblioteca de operadores ( $O$ ), un backend de LLM插gable ( $M_{exec}$ ) y descripciones de operadores.
Bucle de Interacción: El agente emite una reflexión ( $a^{think}_t$ ) seguida de una acción de edición atómica ( $a_t$ ). El lienzo ejecuta la edición, realiza el análisis sintáctico y la verificación de restricciones, y devuelve retroalimentación ( $o^{exec}_t$ ) que contiene el estado de éxito, las razones del fallo y sugerencias de reparación.
Operadores y Acciones: El sistema soporta 12 operadores funcionales (por ejemplo, Planificar, Descomponer, Programador, Verificar, Formatear) y 8 tipos de acciones (agregar, eliminar, modificar, establecer_prompt, paralelo, condicional, bucle, finalizar). Crucialmente, la interacción sigue un mecanismo de dos pasos: las decisiones estructurales (agregar un operador) se separan de las decisiones de contenido (establecer el prompt), reduciendo la carga cognitiva.

2. Desacoplamiento Diseñador–Ejecutor

FlowSteer separa explícitamente el diseño del flujo de trabajo de su ejecución:

Flow-Director (Diseñador): Un modelo de política ligero ( $\pi_\theta$ ) responsable exclusivamente de diseñar la trayectoria del flujo de trabajo ( $\tau$ ). Aprende estrategias de orquestación (composición de operadores y flujo de control) en lugar de resolver la tarea directamente.
Ejecutor (Backend): Un LLM separado e插gable ( $M_{exec}$ ) que ejecuta el grafo final del flujo de trabajo ( $G_\tau$ ) para producir la respuesta ( $y_q$ ).
Transferibilidad: Dado que la política optimiza la distribución de la trayectoria $P(\tau|q)$ en lugar de la ejecución en sí, puede generalizar a través de diferentes bibliotecas de operadores y backends de LLM sin reentrenamiento.

3. Edición Progresiva de Lienzo Reforzada

El marco emplea Aprendizaje por Refuerzo (RL) para entrenar al Flow-Director a través de un bucle de interacción de múltiples turnos:

Construcción Progresiva: El flujo de trabajo se construye incrementalmente, con una edición atómica por turno. Esto descompone la construcción de horizonte largo en decisiones locales verificables y reparables.
Diseño de Recompensa: La recompensa a nivel de trayectoria $R(\tau)$ $R (τ)$ combina una recompensa estructural y una recompensa de respuesta.
- Recompensa Estructural: Verifica la diversidad (presencia de verificación, formateo y estructuras de control).
- Liberación Condicional: La recompensa de respuesta solo se libera si la recompensa estructural alcanza un umbral (1.0). Esto previene comportamientos de atajo donde el agente omite la construcción del flujo de trabajo para emitir una respuesta directamente.
Optimización: La política se entrena de extremo a extremo utilizando un objetivo modificado de Optimización de Política Relativa de Grupo (GRPO). Una adaptación clave es una máscara a nivel de token que restringe las actualizaciones de gradiente a los tokens generados por el Flow-Director, excluyendo los tokens de retroalimentación del entorno para reducir la varianza y el sesgo.

Contribuciones Clave

Lienzo de Flujo de Trabajo: Un entorno de estado de grafo ejecutable que eleva la interacción agente-entorno de la reescritura de prompts a operaciones a nivel de grafo, proporcionando retroalimentación estructurada en tiempo real.
Edición Progresiva de Lienzo Reforzada: Un paradigma de entrenamiento que permite a un agente diseñar y reparar flujos de trabajo de forma iterativa en el bucle, abordando los desafíos de la asignación de crédito de horizonte largo y la recuperación de errores.
Marco Plug-and-Play: Un sistema que soporta diversas bibliotecas de operadores y backends de LLM intercambiables, demostrando que las estrategias de orquestación pueden aprenderse independientemente de los motores de ejecución específicos.

Resultados Experimentales

FlowSteer fue evaluado en doce conjuntos de datos que cubren razonamiento matemático (GSM8K, MATH, AIME), respuesta a preguntas (HotPotQA, SQuAD, TriviaQA) y generación de código (MBPP, HumanEval, APPS, DS-1000), utilizando seis backends de LLM modernos.

Rendimiento: FlowSteer supera significativamente a las líneas base, incluyendo la selección estática de flujos de trabajo, la generación offline (SFT, GRPO), métodos basados en búsqueda (AFlow) y otros enfoques de agente-RL. Logra ganancias consistentes en la precisión de la tarea (por ejemplo, +22.65% en EM promedio para benchmarks In-Distribution) y en la eficiencia de orquestación (consumo de tokens y vueltas de interacción).
Generalización: El método demuestra una robusta generalización Fuera de Distribución (OOD), manteniendo la superioridad en familias de tareas no vistas (por ejemplo, AIME 2025, DS-1000) sin ajuste fino del backend.
Transferibilidad: La política del Flow-Director se transfiere con éxito a través de diferentes backends de LLM (desde Qwen3-8B hasta GPT-4o-mini y otros), confirmando el desacoplamiento de la estrategia de orquestación de la capacidad de ejecución.
Estudios de Ablación: Eliminar cualquier componente principal (el agente, la interacción de múltiples turnos, el lienzo o el RL) degrada el rendimiento. Específicamente, la retroalimentación del lienzo es crítica para las tareas de respuesta a preguntas, mientras que el RL es esencial para las tareas de matemáticas y código. Se demuestra que la máscara a nivel de token y la liberación condicional de recompensas son vitales para un entrenamiento estable y para prevenir atajos.

Significado y Afirmaciones

El artículo afirma que FlowSteer sienta las bases para la próxima generación de sistemas de "agente-diseñando-agente". Al reemplazar los bucles de diseño manual con un paradigma aprendido de extremo a extremo, FlowSteer permite:

Construcción Autónoma de Flujos de Trabajo: Sistemas que pueden adaptarse a nuevas tareas y dominios sin intervención humana.
Robustez: La capacidad de diagnosticar y reparar errores estructurales durante la construcción, lo que conduce a una mayor fiabilidad en tareas de horizonte largo.
Escalabilidad: Una arquitectura modular donde las políticas de orquestación pueden entrenarse una vez y desplegarse a través de diversas bibliotecas de operadores y modelos de backend.

Los autores posicionan este trabajo como un paso hacia sistemas agéncicos totalmente autónomos capaces de construir sus propios pipelines de ejecución, avanzando más allá de las plantillas estáticas y la generación de un solo disparo hacia una orquestación dinámica impulsada por retroalimentación.