Resumen Técnico: De los Planes a los Píxeles: Aprendizaje de Planificación y Orquestación para la Edición de Imágenes de Propósito General

Enunciado del Problema

Los modelos modernos de edición de imágenes basados en difusión sobresalen en transformaciones concretas y bien especificadas (por ejemplo, "cambia el color del coche a rojo"), pero tienen dificultades con instrucciones abstractas, de propósito general y de largo alcance (por ejemplo, "adapta este anuncio para un público rural"). Tales tareas requieren cambios coordinados en la imagen, el texto, la disposición y el contexto, involucrando a menudo múltiples subtareas y herramientas heterogéneas. Los enfoques basados en agentes anteriores intentan descomponer estas tareas, pero dependen de pipelines diseñados a mano o de la imitación de un maestro. Estos métodos fijan órdenes de ejecución y heurísticas, fallando en entrenar al planificador sobre su propia distribución o en optimizar la selección de herramientas basándose en los resultados reales de la edición. Esto conduce a desplazamientos de distribución, generalización limitada y mala escalabilidad para instrucciones de propósito general.

Metodología

Los autores proponen un marco de aprendizaje experiencial que desacopla la edición de imágenes de largo alcance en dos etapas estrechamente acopladas: Planificación y Orquestación. El sistema interactúa con herramientas de edición y recibe retroalimentación basada en resultados de un juez Modelo de Lenguaje y Visión (VLM) para refinar sus políticas.

1. Etapa 1: Planificador Guiado por Lista de Verificación (Auto-supervisado)

Dada una imagen de entrada $x$ y una instrucción de alto nivel $I$, un LLM multimodal (Planificador) genera una secuencia estructurada y ordenada de subtareas atómicas $P = \{s_1, \dots, s_T\}$.

• Construcción de la Lista de Verificación: Para garantizar una cobertura exhaustiva sin depender de plantillas rígidas diseñadas a mano, se solicita al planificador una lista de verificación $C$ que especifique los criterios que debe cumplir una edición satisfactoria (por ejemplo, sustitución de productos, alineación semántica).
• Ajuste Fino Auto-supervisado: En lugar de imitar un modelo maestro (lo que causa un desplazamiento de distribución), el planificador se ajusta fino mediante auto-distilación. Aprende a reproducir los planes que genera a sí mismo bajo la indicación de la lista de verificación, condicionado únicamente a $(x, I)$. Esto alinea el entrenamiento con la distribución de generación nativa del modelo, mejorando la estabilidad y la generalización.
• Inferencia: En el momento de la prueba, la lista de verificación se elimina; el planificador ajustado fino genera directamente planes estructurados de múltiples pasos a partir de $(x, I)$.

2. Etapa 2: Orquestador Impulsado por Recompensas

Condicionado en el plan $P$, un Orquestador (otro LLM multimodal) selecciona la herramienta $a_t$ y la región $r_t$ apropiadas para cada subtarea.

• Conjunto de Herramientas: El marco utiliza un conjunto modular de herramientas que incluye herramientas de análisis (SAM-2, DeepSeek-OCR, Qwen-Layered, Qwen-BBox) para el descubrimiento de regiones, editores de imagen completa (Flux Kontext, Qwen-Image-Edit) y editores a nivel de región (Flux Inpaint).
• Función de Recompensa: Un juez VLM robusto evalúa la imagen editada $\hat{x}$ basándose en tres criterios: Adherencia a la Instrucción, Preservación de la Identidad y Calidad Visual.
• Optimización de la Política: El orquestador se entrena para maximizar la recompensa esperada de la trayectoria. Dado que evaluar trayectorias completas es computacionalmente costoso, los autores introducen dos aproximaciones:
  1. Aproximación de Recompensa Aditiva: La recompensa de la trayectoria se aproxima como la suma de recompensas de subtareas independientes.
  2. Independencia de la Imagen Original: Las contribuciones de las herramientas se estiman evaluándolas en la imagen original en lugar de en ediciones intermedias.
     Estas aproximaciones permiten el pre-cálculo de recompensas para pares de herramienta-región, habilitando una optimización de política tratable.

3. Refinamiento de Bucle Cerrado e Inferencia

• Refinamiento del Plan: Antes de entrenar al orquestador, las subtareas no viables (aquellas con recompensas máximas alcanzables por debajo de un umbral $\tau$) se eliminan. Luego, el planificador se reentrena sobre estos planes refinados para alinear el razonamiento de alto nivel con el espacio de acciones ejecutables.
• Selección Guiada por Verificador: Durante la inferencia, el orquestador propone los $k$ mejores candidatos de herramienta-región. Un verificador ligero (distilado del juez VLM) puntúa estas ediciones intermedias, y se selecciona la edición con mayor puntuación para el siguiente paso. Esto reduce la acumulación de errores manteniendo la eficiencia.

Contribuciones Clave

1. Marco de Edición de Imágenes de Largo Alcance: El artículo plantea la edición abstracta como un problema coordinado de planificación y orquestación, habilitando el razonamiento de múltiples pasos más allá de la generación de un solo paso.
2. Planificación Guiada por Lista de Verificación Auto-supervisada: Un planificador estructurado aprende descomposiciones a partir de sus propias muestras guiadas por lista de verificación, reduciendo el desplazamiento de distribución en comparación con la imitación de un maestro.
3. Orquestador Experiencial: Una política impulsada por recompensas aprende la selección de herramientas y regiones directamente a partir de resultados de edición juzgados, en lugar de reglas diseñadas a mano o indicaciones estáticas.
4. Refinamiento de Bucle Cerrado: El sistema elimina subtareas no viables basándose en la retroalimentación de la orquestación, alineando los planes con acciones ejecutables y logrando un rendimiento de vanguardia.

Resultados Experimentales

El marco fue evaluado en el conjunto de datos MadVerse (anuncios multilingües) y en puntos de referencia estándar como GEdit-Bench y MagicBrush.

• Comparación con Líneas Base: El método supera a editores de un solo paso robustos (Flux Kontext, Qwen-Image-Edit) y a líneas base de agentes de múltiples pasos (GenArtist, LayerCraft). Mientras que los modelos de un solo paso a menudo fallan al ejecutar instrucciones complejas o degradan la identidad de la imagen, el método propuesto logra puntuaciones más altas en seguimiento de instrucciones mientras mantiene una fuerte preservación de la identidad y calidad visual.
• Estudios con Usuarios: Pruebas A/B aleatorizadas con participantes humanos mostraron una preferencia consistente por los resultados del método propuesto sobre las líneas base.
• Estudios de Ablación:
  • Diseño del Orquestador: Entrenar al orquestador para aprender una política explícita de selección de herramientas supera significativamente a solicitar a un modelo base o usar líneas base secuenciales de una sola herramienta.
  • Fuente del Plan: La auto-distilación guiada por lista de verificación produce una menor perplejidad y una mejor alineación distribucional que el entrenamiento en planes generados por un maestro.
  • Refinamiento del Plan: Filtrar subtareas no viables aumenta la recompensa máxima alcanzable promedio, confirmando una mejor compatibilidad entre la planificación y la ejecución.
  • Bifurcación de Inferencia: Aumentar el número de ramas candidatas ($k$) durante la inferencia mejora consistentemente la satisfacción de la instrucción y la calidad visual.

Significado y Afirmaciones

El artículo afirma que al acoplar estrechamente la planificación con la ejecución impulsada por recompensas, el enfoque produce ediciones más coherentes y fiables que las líneas base de un solo paso o de múltiples pasos basadas en reglas. El significado radica en alejarse de los pipelines diseñados a mano y la imitación de maestros hacia un paradigma de aprendizaje experiencial. Al aprender de los resultados reales de las herramientas de edición mediante un juez aprendido, el sistema fundamenta sus decisiones en el rendimiento empírico. Esto permite que el marco maneje instrucciones abstractas y de propósito general que requieren transformaciones coordinadas y de múltiples pasos, abordando una limitación crítica en los sistemas actuales de edición de imágenes basados en instrucciones. Los autores enfatizan que su método mejora a través de la interacción con herramientas y resultados juzgados, ofreciendo una vía escalable para tareas complejas de razonamiento visual.