💻 computer science

Editing Everything Everywhere All at Once

Este artículo presenta MICE, una estrategia libre de entrenamiento para Transformadores de Difusión Multimodales que permite la edición de imágenes de múltiples instancias escalable y de alta fidelidad en una sola pasada hacia adelante mediante la regulación de los mecanismos de atención para prevenir la interferencia semántica y la fuga de atributos.

Autores originales: Fabio Quattrini, Carmine Zaccagnino, Enis Simsar, Marta Tintoré Gazulla, Rita Cucchiara, Alessio Tonioni, Silvia Cascianelli

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fabio Quattrini, Carmine Zaccagnino, Enis Simsar, Marta Tintoré Gazulla, Rita Cucchiara, Alessio Tonioni, Silvia Cascianelli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una foto digital de una habitación concurrida y quieres cambiar casi todo en ella a la vez: convertir la taza de café en una botella de agua, cambiar las placas del techo por vigas de madera, reemplazar la pizarra blanca por una pizarra negra y cambiar la vista fuera de la ventana por montañas nevadas.

Hacer esto una cosa a la vez (cambiar la taza, luego el techo, luego la pizarra) es lento y a menudo conduce a un resultado desordenado donde los cambios no encajan bien entre sí. Pero hacerlo todo en un solo "chasquido" es increíblemente difícil para la IA actual. Si le pides a una IA que haga todo a la vez, a menudo se confunde. Podría pintar accidentalmente las montañas nevadas sobre la taza de café, o hacer que las vigas de madera parezcan pertenecer a la pizarra. Esto se llama "filtración de atributos" (attribute leakage): las instrucciones se mezclan entre sí.

El Problema: El Efecto de la "Habitación Concurrida"
Imagina el cerebro de la IA como una habitación concurrida donde todos gritan instrucciones. Si le dices a la habitación "Cambia la taza" y "Cambia el techo" al mismo tiempo, la IA se siente abrumada. Intenta escuchar a todos, pero las voces se mezclan. La instrucción de la "taza" podría tomar accidentalmente la instrucción del "techo", lo que resulta en una taza que parece un techo. A medida que añades más cambios, la confusión empeora y la imagen final se ve caótica.

La Solución: MICE (Edición Concurrente de Múltiples Instancias)
Los autores de este artículo crearon un nuevo método llamado MICE. Piensa en MICE como un controlador de tráfico súper eficiente para el cerebro de la IA. En lugar de dejar que todos griten unos sobre otros, MICE le da a cada instrucción su propio "carril" mientras permite que sigan viendo el panorama general.

Así es como funciona, usando analogías simples:

Las Máscaras de Segmentación (Las Plantillas):
Primero, el usuario (o una herramienta de apoyo) dibuja contornos alrededor de las cosas que quiere cambiar. Imagina que estas son como plantillas o formas recortadas en un papel. MICE utiliza estas plantillas para saber exactamente qué parte de la imagen pertenece a qué instrucción.
El Muro "Blando" (El Desenfoque Gaussiano):
Los métodos antiguos intentaban construir muros de concreto duros entre estas plantillas. Si pones un muro de concreto entre la taza y el techo, el resultado se ve dentado y falso, como un mal collage.
MICE utiliza un muro suave y difuso en su lugar. Crea un gradiente suave. La IA sabe: "De acuerdo, esta parte es definitivamente la taza, y esa parte es definitivamente el techo". Pero justo donde se encuentran, el muro se vuelve difuso. Esto permite que la taza se mezcle naturalmente con la mesa, y el techo con la pared, sin que las instrucciones de la taza tomen el control del techo por accidente.
Las Zonas de "No Pasar":
MICE también coloca señales invisibles de "Prohibido el paso". Le dice a la IA: "La instrucción para la taza puede hablar con la taza, y puede hablar con la mesa cercana para asegurar que combinen. Pero tiene estrictamente prohibido hablar con la instrucción de las montañas nevadas". Esto evita que la textura de la "montaña" se filtre accidentalmente en la "taza".
Un Solo Paso, Un Solo Intento:
La magia de MICE es que hace todo esto en una sola pasada hacia adelante (single forward pass). Imagina a un pintor que normalmente tiene que pintar la taza, esperar a que se seque, luego pintar el techo, luego esperar de nuevo; MICE es como un pintor que puede pintar la taza, el techo, la ventana y la alfombra en un solo trazo fluido y continuo, con cada parte luciendo perfecta y conectada.

Por qué esto es importante
El artículo probó esto en un desafío nuevo y muy difícil llamado MICE-Bench. Mientras que otras pruebas solo pedían a la IA cambiar 3 cosas a la vez, MICE-Bench le pidió que cambiara un promedio de 8.5 cosas en una sola imagen (¡algunas tenían hasta 40 cambios!).

Los resultados mostraron que MICE es mucho mejor en:

Escuchar: Realmente cambia el objeto correcto a la cosa correcta (por ejemplo, la taza se convierte en una botella, no en un perro).
Preservar: Deja las partes que no pediste cambiar exactamente como estaban.
Mezclar: Los nuevos objetos parecen pertenecer naturalmente a la foto, con la iluminación y las sombras correctas.

En Resumen
MICE es una herramienta "libre de entrenamiento" (no necesita ser re-enseñada a pintar; simplemente cambia la forma en que la IA presta atención). Actúa como un organizador inteligente que mantiene las diferentes instrucciones de edición separadas pero armoniosas, permitiéndote editar una imagen compleja con muchos cambios de una sola vez, sin que la IA se confunda o mezcle los detalles.

Resumen Técnico: MICE (Edición Concurrente de Múltiples Instancias)

Planteamiento del Problema

Si bien la edición de imágenes guiada por texto ha avanzado significamente, la edición de múltiples elementos distintos dentro de una sola imagen sigue siendo un desafío. Las soluciones existentes suelen depender de pipelines de múltiples turnos, donde las ediciones se aplican secuencialmente. Este enfoque es ineficiente, consume mucho tiempo y es propenso a la degradación visual (deriva) a medida que aumenta el número de iteraciones. Además, el resultado final en la edición secuencial suele ser dependiente de la trayectoria, especialmente cuando se editan regiones superpuestas.

La edición concurrente —realizar todas las transformaciones en una sola pasada hacia adelante (forward pass)— ofrece una alternativa práctica para la eficiencia y una mejor armonización global. Sin embargo, los métodos actuales de una sola pasada luchan contra la interferencia semántica. Cuando múltiples instrucciones apuntan a diferentes regiones, sus señales semánticas suelen interferir, lo que provoca fuga de atributos (donde una edición destinada a un objeto afecta a otro) y una pobre desentrelazación de la edición. A medida que aumenta el número de ediciones concurrentes, mantener la localidad espacial y la coherencia visual global se vuelve progresivamente más difícil.

Metodología: MICE

Los autores proponen MICE (Multi-Instance Concurrent Editing), una estrategia sin entrenamiento y agnóstica a la arquitectura, diseñada para Transformadores de Difusión Multimodales (MMDiTs) basados en Flow Matching. MICE opera modificando el sesgo aditivo (additive bias) del mecanismo de atención conjunta para regular las interacciones entre tokens específicos de cada instancia sin requerir descenso de gradiente ni cambios arquitectónicos.

Mecanismo Central: Atención Suavemente Desentrelazada

A diferencia de los métodos anteriores que utilizan máscaras binarias estrictas (0 o $-\infty$ ) para aislar o permitir la atención de forma rígida, MICE introduce un sesgo de atención continuo y espacialmente suavizado. Este enfoque equilibra el aislamiento de la instancia con la armonización global.

Identificación de Instancias: El método utiliza máscaras de segmentación ( $M$ ) para cada instancia objetivo, las cuales pueden ser proporcionadas por el usuario o generadas por un modelo de segmentación direccionable por prompts (por ejemplo, SAM).
Suavizado Consciente de la Instancia: Para evitar la interferencia entre instancias adyacentes durante el suavizado, los autores aplican un núcleo gaussiano a cada máscara de forma independiente. Crucialmente, si una región suavizada de una instancia se superpone con los límites estrictos de otra instancia, los valores de la superposición se ponen a cero explícitamente. Esto asegura que el efecto de suavizado respete los límites de la instancia.
Construcción de la Matriz de Sesgo: Las máscaras suavizadas se mapean en un espacio de log-probabilidad para formar una matriz de sesgo aditivo ( $B$ $B$ ) para los logits de atención. Los valores del sesgo se definen según los tipos de tokens:
- Tokens de Prompt: Se impone una vinculación estricta entre los tokens de prompt de la misma instancia para evitar la fuga de atributos dentro del dominio textual.
- Global vs. Local: El prompt global y los tokens de fondo interactúan sin sesgo con todos los tokens latentes y de contexto para preservar la coherencia visual global.
- Interacciones Específicas de la Instancia: Para los tokens pertenecientes a una instancia específica (latente o de contexto), el sesgo permite la interacción con los tokens vecinos con un sesgo negativo decreciente proporcional a la distancia desde la máscara de la instancia. Esto está controlado por un hiperparámetro de temperatura ( $\tau$ ) y un tamaño de núcleo ( $k$ ).
- Supresión: Se evita que los tokens de instancias no relacionadas atiendan entre sí (sesgo establecido en $-\infty$ ), suprimiendo efectivamente la interferencia entre instancias.

Esta estrategia permite que la instancia editada se mezcle naturalmente con su entorno (armonización) mientras evita que sus atributos se filtren hacia otras regiones editadas (desentrelazación).

Contribuciones Clave

Estrategia MICE: Un método novedoso y sin entrenamiento para la edición de múltiples instancias escalable que modifica los sesgos de la atención conjunta en MMDiTs. Reemplaza el enmascaramiento rígido por un sesgo aditivo paramétrico y principista que permite transiciones suaves entre el aislamiento y la armonización.
Suavizado Consciente de la Instancia: Una técnica específica para suavizar las máscaras de segmentación sin causar interferencia entre instancias vecinas, asegurando que el sesgo de atención respete los límites espaciales.
MICE-Bench: La introducción de un nuevo benchmark diseñado específicamente para evaluar la edición concurrente de alta densidad. A diferencia de los benchmarks existentes (como LoMOE-Bench, que promedian 3 ediciones por imagen), MICE-Bench contiene 260 muestras con un promedio de 8.5 ediciones concurrentes (que oscilan entre 5 y 40), proporcionando una prueba más rigurosa para la escalabilidad y la desentrelazación.
Evaluación Exhaustiva: Experimentos extensos que demuestran que MICE supera a las líneas base sólidas (incluyendo MultiDiffusion, LoMOE, LayerEdit e IDAttn) y a modelos recientes de última generación (Qwen-Image-Edit, Gemini 3 Pro Image) en términos de fidelidad de la instrucción, preservación del fondo y calidad de la edición localizada.

Resultados Experimentales

Los autores evaluaron MICE tanto en LoMOE-Bench como en el recién introducido MICE-Bench utilizando varios backbones del modelo FLUX (4B, 9B, 32B).

Métricas de Rendimiento: La evaluación utilizó el Target CLIP Score (Tgt C), el Localized CLIP Score (Loc C), el Error Absoluto Medio en el Fondo (MAEB) y la Tasa de Intento (AR%).
Comparación con Líneas Base:
- En MICE-Bench, MICE logró Localized CLIP Scores superiores en comparación con los métodos de múltiples ramas (MultiDiffusion, LoMOE) y los enfoques basados en regularización (IDAttn).
- MICE demostró una mejor preservación del fondo (menor MAEB) y una mayor fidelidad de la instrucción que los modelos de una sola pasada de extremo a extremo como Qwen-Image-Edit e incluso el modelo de código cerrado Gemini 3 Pro Image.
- El estudio de ablación confirmó que la estrategia de suavizado consciente de la instancia propuesta supera al suavizado gaussiano ingenuo y a las máscaras de segmentación estrictas, particularmente en escenarios de alta densidad donde la superposición de instancias es común.
Eficiencia: MICE escala eficientamente con el número de ediciones. A diferencia de los enfoques de múltiples ramas (por ejemplo, MultiDiffusion), que muestran incrementos lineales en el uso de VRAM y el tiempo de inferencia a medida que crece el número de ramas, MICE mantiene una huella computacional similar a los métodos de una sola pasada como IDAttn.

Significado y Reivindicaciones

El artículo afirma que MICE aborda una limitación fundamental en los paradigmas actuales de edición de imágenes: el compromiso entre la eficiencia y la calidad de las ediciones de múltiples instancias. Al imponer la vinculación de atributos mediante un sesgo de atención basado en principios, en lugar de un ajuste heurístico por capa específica o un costoso descenso de gradiente, MICE ofrece una solución portátil y escalable.

Los autores enfatizan que su método:

Elimina la necesidad de entrenamiento, haciéndolo aplicable de inmediato a los modelos MMDiT preentrenados existentes.
Mejora la desentrelazación en escenarios de edición de alta densidad donde los métodos previos fallan debido a la interferencia semántica.
Preserva la consistencia visual global permitiendo al mismo tiempo transformaciones localizadas complejas.

El trabajo sugiere que, para la edición de imágenes de alta densidad práctica, son necesarios enfoques regularizados de extremo a extremo como MICE para superar los cuellos de botella de escalabilidad y las inestabilidades numéricas inherentes a los métodos de múltiples ramas o de optimización iterativa. El lanzamiento de MICE-Bench también se destaca como un paso significativo hacia la estandarización de la evaluación de tareas complejas de edición de múltiples instancias.