Towards Robust Sequential Decomposition for Complex Image Editing

Resumen Técnico: Hacia una Descomposición Secuencial Robusta para la Edición Compleja de Imágenes

Enunciado del Problema
Los modelos generativos visuales recientes han avanzado en la edición de imágenes de alta fidelidad guiada por instrucciones humanas. Sin embargo, estos modelos luchan con instrucciones complejas que involucran operaciones de edición combinatorias o dependencias entre pasos. El artículo identifica dos paradigmas canónicos que fallan bajo tal complejidad:

1. Edición de Vuelta Única: Intenta aplicar todas las ediciones instruidas en un solo pase. Esto a menudo falla en analizar correctamente las instrucciones complejas, lo que lleva a ediciones incompletas o incorrectas.
2. Edición Secuencial: Descompone las tareas en pasos más simples pero sufre de errores acumulativos. Las imprecisiones introducidas en los pasos iniciales se propagan a través de los subsiguientes, degradando la fidelidad del resultado final.

El desafío central es equilibrar los beneficios de la descomposición de instrucciones en múltiples pasos frente a los inconvenientes de la acumulación de errores.

Metodología
Los autores proponen una solución robusta dentro de un marco de edición en contexto unificado, donde un modelo multimodal genera secuencias entrelazadas de instrucciones descompuestas y sus imágenes editadas correspondientes, condicionándose sobre el historial completo de entradas contextuales.

• Pipeline de Datos Sintéticos: Para abordar la falta de datos descompuestos de alta calidad para tareas complejas, los autores desarrollaron un pipeline en Blender.

  • Inicialización de Escena: Genera proceduralmente escenas 3D con objetos y materiales aleatorios.
  • Composición de Cadena de Edición: Aplica una secuencia de 10 operaciones de edición atómicas (por ejemplo, adición de objetos, eliminación, traslación, rotación, cambio de color/material, cambio de punto de vista, cambio de fondo).
  • Inyección de Dependencias Inter-paso: Introduce complejidad requiriendo que las operaciones posteriores hagan referencia a los resultados de ediciones anteriores (por ejemplo, "mueve el objeto que fue recoloreado" o "agrega un libro donde estaba originalmente la silla").
  • Verdad Terrenal: Debido a que las operaciones son deterministas, el pipeline produce secuencias descompuestas y imágenes objetivo perfectamente precisas, permitiendo la curación de 94.000 secuencias de edición de alta calidad (60K independientes, 34K dependientes).

• Entrenamiento del Modelo: El marco utiliza BAGEL, un modelo multimodal unificado. El modelo se ajusta finamente con tres objetivos:

  1. Descomposición de Instrucciones: Predecir instrucciones descompuestas entre imágenes intermedias dada la instrucción compleja y la imagen de origen.
  2. Edición en Contexto: Generar imágenes intermedias y objetivo basadas en pares texto-imagen descompuestos, utilizando un objetivo de flujo rectificado.
  3. Edición de Vuelta Única: Mantener la capacidad de editar desde el origen hasta el objetivo en un solo paso utilizando la instrucción compleja.

• Paradigmas de Inferencia: Los autores implementan y comparan tres paradigmas durante la inferencia:

  1. Edición de Vuelta Única: Edición directa desde el origen hasta el objetivo.
  2. Edición Secuencial de Contexto Completo (FCSE): Descompone la tarea en $K$ pasos, donde cada paso atiende a todos los contextos previos de texto e imagen.
  3. Edición Secuencial Guiada por Contexto (CGSE): Un paradigma novedoso que mitiga la acumulación de errores. Calcula una velocidad base ($v_d$) a partir de la imagen de origen y la secuencia completa de instrucciones descompuestas, y luego aplica un término separado de "guía de contexto" derivado de los resultados de edición anteriores. Esto permite que el modelo module la influencia de las ediciones históricas mediante un coeficiente ($\gamma_{ctx}$), evitando que los errores tempranos corrompan los pasos subsiguientes.

• Transferencia Sim-a-Real: Para generalizar a imágenes del mundo real, el modelo se entrena conjuntamente en una mezcla de secuencias descompuestas sintéticas y pares de edición de vuelta única del mundo real (de Pico-Banana).

Resultados Clave

• Dominio Sintético:

  • La edición secuencial de cero disparos causa una degradación severa del rendimiento en los modelos más avanzados (por ejemplo, GPT-4o, Gemini 2.5 Flash Image).
  • El ajuste fino con datos sintéticos permite una descomposición secuencial robusta. La Edición Secuencial Guiada por Contexto (CGSE) supera consistentemente a las líneas base de vuelta única y a la Edición Secuencial de Contexto Completo, particularmente en tareas con dependencias inter-paso.
  • CGSE logra las mejores puntuaciones evaluadas por GPT y mantiene la robustez en métricas de similitud (DINO-I/DINO-D) incluso a medida que aumenta la complejidad de la tarea (longitud de la cadena y ratio de dependencia).
  • Aumentar los pasos de descomposición (hasta $K=5$) generalmente produce mejoras adicionales.

• Generalización Sim-a-Real:

  • El entrenamiento conjunto con datos del mundo real permite que las habilidades de descomposición aprendidas de tareas sintéticas se transfieran efectivamente.
  • En la prueba Complex-Edit, el modelo entrenado conjuntamente con Edición Guiada por Contexto de 2 pasos logra un Seguimiento de Instrucciones (IF) y una Preservación de Identidad (IP) superiores en comparación con las líneas base de vuelta única y los modelos entrenados solo con datos sintéticos.
  • Los estudios de preferencia humana confirman que el enfoque CGSE de 2 pasos es preferido para el seguimiento de instrucciones y la preservación de identidad, aunque muestra una ligera compensación en la calidad perceptual en comparación con la edición de vuelta única en imágenes reales.

Significado y Afirmaciones
El artículo afirma que la descomposición secuencial robusta es alcanzable entrenando con secuencias de edición descompuestas de alta calidad e integrándolas con un paradigma de inferencia bien diseñado que gestiona la acumulación de errores. Específicamente:

• La Descomposición Secuencial es Viable: Contrario a la creencia de que la ejecución secuencial inevitablemente conduce a resultados de baja fidelidad debido a la acumulación de errores, los autores demuestran que con un entrenamiento adecuado y el paradigma Guiado por Contexto, la descomposición produce mejoras robustas incluso a medida que aumenta la complejidad de la tarea.
• Transferencia Sim-a-Real: Las habilidades aprendidas de tareas sintéticas (específicamente la capacidad de razonar sobre dependencias y descomponer instrucciones) pueden transferirse con éxito a dominios del mundo real mediante el entrenamiento conjunto, mejorando la edición compleja de imágenes en dominios más amplios.
• Utilidad del Marco: El marco de edición en contexto proporciona una perspectiva unificada para estudiar y comparar diferentes paradigmas de edición, revelando que las estrategias guiadas por contexto son esenciales para equilibrar los beneficios de la descomposición con los riesgos de la propagación de errores.

Los autores concluyen que, si bien su trabajo se centra principalmente en la consistencia semántica y el seguimiento de instrucciones, mejorar la calidad perceptual de las imágenes editadas secuencialmente en el mundo real sigue siendo un área para trabajo futuro.