EditMGT: Unleashing Potentials of Masked Generative Transformers in Image Editing

1. El Problema: Fugas de Edición en Modelos de Difusión

A pesar de los avances recientes en los Modelos de Difusión (DMs) para la edición de imágenes, estos enfrentan una limitación crítica: su dinámica de eliminación de ruido es global. Esto significa que el proceso de refinamiento afecta a toda la imagen simultáneamente, lo que a menudo provoca que las modificaciones no deseadas "se filtren" o "fuguen" a regiones que deberían permanecer intactas.

Las soluciones anteriores han intentado abordar esto mediante:

• Grandes volúmenes de datos de entrenamiento (sin garantías explícitas).
• Máscaras predefinidas manualmente (poca flexibilidad).
• Técnicas de inversión (lentas y propensas a errores).

El objetivo de este trabajo es superar estas limitaciones evitando la entrelazación global de los DMs y preservando explícitamente las regiones no objetivo.

2. Metodología: EditMGT y Transformadores Generativos enmascarados (MGT)

Los autores proponen EditMGT, el primer marco de trabajo para la edición de imágenes basado en Transformadores Generativos Enmascarados (MGT). A diferencia de los DMs, los MGT generan imágenes prediciendo múltiples tokens enmascarados en paralelo, lo que ofrece un paradigma de decodificación local inherente.

Arquitectura y Entrenamiento

• Base: Se adapta un modelo preentrenado de texto-a-imagen (basado en Meissonic) para la edición mediante inyección de atención.
• Integración Condicional: Se introducen tokens de condición de imagen ($C_V$) que comparten parámetros con los tokens de imagen originales pero mantienen un paso de tiempo fijo en cero. Esto asegura que la imagen original actúe como una señal de condicionamiento estable sin desviarse.
• Sin Parámetros Adicionales: La transformación de un modelo generativo a uno de edición se logra ajustando los pesos de atención mediante un término de sesgo ($E$), sin aumentar el número de parámetros del modelo.
• Dataset CrispEdit-2M: Se construyó un nuevo dataset de alta resolución ($\ge 1024$ píxeles) con 2 millones de muestras filtradas rigurosamente, cubriendo 7 categorías de edición (añadir, reemplazar, eliminar, cambio de color, fondo, estilo y movimiento).

Mecanismos Clave de Inferencia

Para resolver el problema de la localización precisa y la preservación de regiones, EditMGT introduce dos técnicas innovadoras:

1. Consolidación de Atención Multicapa (Multi-layer Attention Consolidation):

   • Los mapas de atención cruzada en los MGT contienen información semántica sobre qué regiones de la imagen corresponden a las instrucciones de texto.
   • Sin embargo, los mapas crudos suelen ser difusos. El método agrega y filtra los pesos de atención de múltiples capas (bloques 28-36) para crear un mapa de localización nítido y preciso que identifica las áreas relevantes para la edición.

2. Muestreo de Retención de Región (Region-Hold Sampling):

   • Basándose en los mapas de atención refinados, el modelo identifica áreas de "baja atención" (regiones no objetivo).
   • Durante el proceso de generación iterativa (flipping de tokens), se restringe el cambio de tokens en estas áreas de baja atención. Si la confianza de la atención es inferior a un umbral $\lambda$, el token se restaura a su estado original en lugar de ser modificado.
   • Esto garantiza explícitamente que las regiones no objetivo permanezcan intactas, eliminando las "fugas" de edición.

3. Contribuciones Clave

1. EditMGT: El primer modelo de edición de imágenes basado en MGT que aborda fundamentalmente el problema de las ediciones espurias mediante la preservación explícita de regiones irrelevantes.
2. Técnicas de Localización Adaptativa: Propone la consolidación de atención multicapa y el muestreo de retención de región para localizar con precisión dónde aplicar la edición sin necesidad de máscaras manuales.
3. CrispEdit-2M: La creación de un dataset masivo de alta resolución (2M muestras, $\ge 1024$ px) con 7 categorías diversas, superando la escasez de datos de alta calidad en este dominio.
4. Eficiencia y Rendimiento: Demostración de que un modelo compacto puede superar a arquitecturas mucho más grandes en velocidad y calidad.

4. Resultados Experimentales

El modelo fue evaluado en cuatro benchmarks estándar (Emu Edit, MagicBrush, AnyBench y GEdit-EN-full) comparándose con modelos de difusión y autoregresivos de última generación.

• Rendimiento de Similitud: EditMGT alcanza el estado del arte (SOTA) en métricas de similitud de imagen (CLIPim) en Emu Edit y MagicBrush.
• Calidad de Edición:
  • Mejora un 3.6% en tareas de cambio de estilo.
  • Mejora un 17.6% en tareas de transferencia de estilo en comparación con el modelo FluxKontext.dev (12B parámetros).
  • Supera consistentemente a modelos más grandes como VAREdit-8B, GoT-6B y OminiGen2-7B.
• Eficiencia:
  • Velocidad: Logra una edición 6 veces más rápida que modelos de rendimiento comparable (2 segundos por edición en 1024x1024 vs. ~12s o más en otros).
  • Tamaño: Opera con solo 960M parámetros, siendo 2x a 8x más pequeño que sus competidores directos, con un uso de memoria de GPU de solo 13.8 GB.

5. Significado e Impacto

El trabajo de EditMGT es significativo porque:

• Cambia el Paradigma: Demuestra que los MGT son una alternativa viable y superior a los Modelos de Difusión para la edición de imágenes, especialmente en lo que respecta a la preservación de la integridad de la imagen original.
• Eficiencia de Recursos: Al lograr resultados SOTA con menos de 1B de parámetros y una velocidad de inferencia muy superior, hace que la edición de imágenes de alta calidad sea accesible en hardware más limitado.
• Precisión Local: Resuelve el problema fundamental de las "fugas" de edición mediante mecanismos arquitectónicos intrínsecos (atención y muestreo de tokens) en lugar de depender de post-procesamiento o máscaras manuales.

En resumen, EditMGT establece un nuevo estándar para la edición de imágenes mediante el aprovechamiento de la naturaleza de "flipping de tokens" de los MGT, ofreciendo un equilibrio superior entre velocidad, tamaño del modelo y calidad de edición.