MIRAGE: Benchmarking and Aligning Multi-Instance Image Editing

Resumen Técnico: MIRAGE

1. El Problema

A pesar de los avances significativos en modelos de edición de imágenes guiados por instrucciones (como FLUX.2 y Qwen-Image-Edit), estos sistemas enfrentan dificultades críticas en escenarios complejos que involucran múltiples instancias similares (objetos idénticos o muy parecidos en la misma imagen) y instrucciones compuestas.

Los problemas principales identificados son:

• Sobre-edición (Over-editing): Cuando se pide modificar un objeto específico (ej. "cambiar la textura de la estatua de la izquierda"), el modelo modifica erróneamente todas las instancias similares en la imagen.
• Desalineación espacial: El modelo no logra distinguir correctamente entre instancias adyacentes, aplicando cambios al objeto incorrecto.
• Falta de benchmarks adecuados: Las evaluaciones existentes (como MagicBrush o RefEdit-Bench) se centran principalmente en ediciones de un solo objeto o instrucciones simples, careciendo de la densidad y complejidad necesarias para diagnosticar estos errores de consistencia fina en entornos multi-instancia.

2. Metodología

Los autores proponen una solución dual compuesta por un nuevo benchmark y un nuevo marco de trabajo de inferencia.

A. MIRA-Bench (El Benchmark)
Es el primer benchmark diseñado específicamente para evaluar la consistencia fina en escenarios de múltiples instancias.

• Construcción: Generado automáticamente con supervisión humana. Utiliza modelos de lenguaje (Qwen3) para crear descripciones de imágenes con 3 a 5 instancias idénticas y un VLM (Qwen3-VL) para generar 5 instrucciones de edición simultáneas y expresiones de referencia precisas.
• Características: Cada muestra incluye una imagen de referencia, una instrucción compuesta (ej. cambiar el color de la izquierda, eliminar la derecha, añadir algo al centro) y una máscara de ground-truth generada por SAM2.
• Dificultad: Las instrucciones requieren correspondencia uno a uno entre la instrucción y la instancia específica, forzando al modelo a distinguir espacialmente entre objetos similares.

B. MIRAGE (El Método)
MIRAGE (Multi-Instance Regional Alignment via Guided Editing) es un marco de trabajo sin entrenamiento (training-free) diseñado para mejorar la precisión de los modelos de difusión existentes sin necesidad de fine-tuning. Funciona en dos etapas principales:

1. Análisis y Localización por VLM:

   • Un modelo de Visión-Lenguaje (VLM) descompone la instrucción global en subtareas atómicas.
   • Identifica la expresión de referencia para cada objetivo (ej. "la estatua de la izquierda") y genera cajas delimitadoras (bounding boxes) precisas para cada región de interés.

2. Estrategia de Inferencia de Difusión Multirrama:

   • Denoising Paralelo: Se ejecutan múltiples ramas de difusión en paralelo. Una rama global maneja el contexto general, mientras que $K$ ramas locales se encargan de las regiones específicas identificadas.
   • Fusión de Latentes en Dos Etapas:
     • Etapa Temprana ($t > \rho T$): Las ramas locales generan latentes para las regiones objetivo. Estos latentes se inyectan en el espacio latente global, sobrescribiendo las áreas correspondientes de la imagen de referencia. Esto asegura que la semántica de la edición se fije correctamente en la instancia correcta desde el inicio.
     • Etapa Tardía ($t \le \rho T$): Las ramas locales se detienen. La rama global continúa el proceso de denoising, pero solo en las regiones objetivo. Para el fondo y las áreas no editadas, el sistema utiliza una trayectoria de referencia (latentes obtenidos del proceso de difusión hacia adelante de la imagen original).
   • Resultado: Esta estrategia garantiza que las ediciones sean precisas en los objetivos seleccionados mientras se preserva la integridad del fondo, evitando la deriva (drift) y la sobre-edición.

3. Contribuciones Clave

1. MIRA-Bench: Un nuevo estándar de evaluación que llena el vacío en la investigación de edición de imágenes, enfocándose en la alineación regional en escenas con múltiples instancias similares y múltiples instrucciones simultáneas.
2. MIRAGE Framework: Un método de inferencia eficiente y sin entrenamiento que utiliza VLMs para la localización y una estrategia de fusión de latentes para lograr ediciones precisas.
3. Eficiencia Computacional: A diferencia de métodos que requieren fine-tuning o múltiples ejecuciones secuenciales, MIRAGE es más rápido que la ejecución secuencial y no añade sobrecarga de entrenamiento, logrando mejoras significativas en modelos base como FLUX.2 y Qwen-Image-Edit.

4. Resultados

Las evaluaciones cuantitativas y cualitativas demuestran la superioridad del enfoque:

• Rendimiento en MIRA-Bench: La integración de MIRAGE en modelos SOTA (FLUX.2, Qwen-Image-Edit) mejora drásticamente las métricas de Seguimiento de Prompt (PF) y Consistencia (Cons).
  • Ejemplo: FLUX.2 [Dev] + MIRAGE alcanza un PF de 8.09 y Cons de 9.01, superando incluso a modelos propietarios como GPT-Image-1.5 en tareas complejas de múltiples instancias.
• Generalización: Los resultados en RefEdit-Bench (escenarios más simples) también muestran mejoras consistentes, indicando que el método es robusto tanto en tareas complejas como en las tradicionales.
• Calidad Visual: Se mantiene la calidad perceptual (PQ) en la mayoría de los casos, aunque se nota una ligera degradación en modelos que fuerzan el redimensionamiento de imágenes (como Qwen-Image-Edit) debido a la pérdida de detalles en recortes locales.
• Análisis de Ablación:
  • La estrategia de reemplazo de latentes tanto para objetivos como para fondo es crucial; eliminar cualquiera de las dos reduce el rendimiento.
  • El intervalo de tiempo de reemplazo ($\rho T$) óptimo se encuentra en $[0.6T, T]$, equilibrando precisión y calidad visual.

5. Significado e Impacto

El trabajo de MIRAGE es fundamental porque aborda una de las limitaciones más persistentes en la edición de imágenes generativa: la discriminación de instancias.

• Avance Científico: Proporciona una herramienta diagnóstica rigurosa (MIRA-Bench) que obliga a la comunidad a desarrollar modelos capaces de entender la estructura espacial y las relaciones entre objetos similares, más allá de la generación global.
• Aplicabilidad Práctica: Ofrece una solución inmediata y eficiente (sin entrenamiento) para mejorar modelos existentes, permitiendo ediciones de alta fidelidad en escenas complejas (ej. modificar el color de un coche específico en un tráfico denso sin afectar a los demás).
• Futuro: Establece un nuevo paradigma donde la combinación de VLMs para la comprensión semántica y estrategias de difusión controlada para la ejecución espacial es clave para la próxima generación de herramientas de edición de imágenes.

En resumen, MIRAGE demuestra que es posible lograr una alineación regional precisa y evitar la sobre-edición en escenarios multi-instancia mediante una arquitectura de inferencia inteligente que aprovecha las capacidades de razonamiento de los VLMs y la estabilidad de las trayectorias de difusión.