Resumen Técnico: DuET (Dual Expert Trajectories) para la Edición de Imágenes por Difusión

1. Planteamiento del Problema

Los modelos recientes de edición de imágenes basados en instrucciones, como FLUX2-Klein y los modelos multimodales unificados (UMMs), condicionan el proceso de eliminación de ruido (denoising) basándose en una imagen de origen en cada paso para preservar la integridad estructural. Si bien este "anclaje persistente de la imagen de origen" asegura que las regiones no editadas permanzcan estables, el artículo argumenta que esto crea una limitación fundamental: cuando la escena objetivo diverge sustancialmente de la entrada (por ejemplo, reescrituras globales o reemplazos de objetos), el modelo tiene dificultades para ejecutar plenamente la instrucción. Esto suele resultar en salidas que son menos naturales que la generación pura de texto a imagen (T2I), exhibiendo artefactos de composición, choques de texturas e inconsistencias de iluminación.

Los pipelines actuales suelen operar en un único modo durante toda la trayectoria: ya sea en modo de edición estricta (origen + instrucción) o en modo T2I (solo leyenda/caption), fallando al no poder aprovechar las capacidades duales del modelo para modular dinámicamente el anclaje de la fuente durante una única edición.

2. Metodología: DuET

Los autores proponen DuET (Dual Expert Trajectories), un marco de inferencia libre de entrenamiento que cambia dinámicamente los modos de condicionamiento dentro de una sola trayectoria de eliminación de ruido. El mecanismo central implica una transición temporal de un modo de edición a un modo T2I de solo leyenda y luego de regreso al modo de edición (E → T2I → E).

2.1 El Mecanismo de Cambio

• Edición Estándar (E): Se condiciona en la imagen de origen ($x_{src}$) y la instrucción de edición ($p_{edit}$) en todos los pasos $k$.
• T2I Estándar: Se condiciona únicamente en una leyenda de destino ($c_{tgt}$) en todos los pasos.
• Programación DuET (Schedule): El muestreador (sampler) se ejecuta en modo de Edición para los pasos iniciales, cambia al modo T2I (usando una leyenda de destino generada por un VLM externo) durante un intervalo específico $[k_1, k_2)$, y luego regresa al modo de Edición para los pasos restantes.
  • Los "expertos" en este contexto no son pesos de red separados, sino distintas modalidades de condicionamiento.
  • Esto no requiere actualizaciones de pesos, ni pasos de propagación adicionales, ni ajuste fino (finetuning) del modelo.

2.2 Generación de la Leyenda de Destino

Cuando la trayectoria entra en la fase T2I, el modelo requiere una leyenda de destino ($c_{tgt}$) que describa el resultado pretendido. DuET obtiene esto utilizando un VLM externo (por ejemplo, Gemini-2.5-pro) condicionado en la imagen de origen y la instrucción de edición original.

2.3 DuET Selectivo (Enrutamiento Adaptativo)

Reconociendo que los intervalos fijos pueden degradar innecesariamente la preservación de la fuente en ediciones que no requieren cambios globales, los autores introducen Selective DuET. Esta variante utiliza señales ligeras de "sonda de atención" (attention-probe) leídas de las etapas tempranas de un pase de edición pura para decidir si cambiar de modo.

• Señales: Se computan dos métricas en un paso de sonda temprano ($k=9$):
  1. $\pi$ (Presión de Preservación): Una medida de alto percentil de qué tan fuertemente la atención del modelo está anclada a la imagen de origen.
  2. $cv$ (Coeficiente de Variación): Una medida de la localidad espacial de la dependencia de la fuente.
• Regla de Decisión: Si la edición muestra una alta presión de preservación ($\pi > 0.22$) o una alta localidad espacial ($cv > 0.50$), el sistema permanece en modo de Edición pura. Si la edición es espacialmente uniforme y tiene una baja presión de preservación (indicando una reescritura global), el sistema activa la excursión T2I.

3. Contribuciones Clave

1. Cambio de Tarea Libre de Entrenamiento: Un marco que modula el anclaje de la fuente alternando entre modos de edición y T2I a lo largo de una sola trayectoria de eliminación de ruido, mejorando la relevancia de la instrucción y la fidelidad sin necesidad de finetuning o cómputo adicional.
2. Evaluación Exhaustiva: Una evaluación extensa en FLUX2-Klein (4B/9B) y modelos BAGEL a través de múltiples benchmarks (GEdit, ImgEdit, MagicBrush, GIE-Bench), utilizando controles emparejados para aislar los efectos de eliminar la imagen de origen frente al cambio de la leyenda.
3. Selective DuET: Una estrategia de enrutamiento por edición que demuestra que el compromiso entre la fidelidad de la edición y la preservación de la fuente no es fundamental. Al enrutar basándose en señales de atención, mejora la fidelidad y la naturalidad manteniendo la preservación de la fuente perceptualmente indistinguible del baseline.

4. Resultados Experimentales

Los autores evaluaron DuET en tres modelos base utilizando un muestreo de 50 pasos.

• Rendimiento de Intervalo Fijo: Las programaciones de DuET fijas (por ejemplo, cambiar a T2I para intervalos como $[10, 16)$, $[25, 35)$, o $[35, 45)$) mejoraron consistentemente la consistencia semántica (G_SC), la calidad perceptual (G_PQ) y la corrección funcional en todos los modelos en comparación con el baseline de edición pura.
• El Compromiso (Trade-off): Estas ganancias tuvieron un costo medible en la preservación de la fuente (menores puntuaciones de SSIM de píxeles y Unmasked-CLIP). El artículo señala que este compromiso no es fundamental, sino que depende de la programación del cambio.
• Estudios de Ablación:
  • Variantes de Condicionamiento: Las ganancias son impulsadas principalmente por eliminar el condicionamiento de la imagen de origen durante el intervalo T2I, más que por simplemente cambiar el prompt de texto. Las variantes que mantuvieron la imagen de origen (I2IC) o mantuvieron el prompt original (T2IEP) arrojaron mejoras significativamente menores en fidelidad y naturalidad.
  • Temporalidad (Timing): Ventanas más estrechas y ubicaciones específicas (por ejemplo, $[10, 16)$) ofrecieron el mejor equilibrio entre fidelidad y preservación para FLUX2-Klein 4B/9B, mientras que las ventanas posteriores favorecieron la consistencia semántica en BAGEL.
• Rendimiento de Selective DuET: Al aplicar la excursión T2I solo a las ediciones que se benefician de ella (reescrituras globales), Selective DuET logró una alta corrección funcional manteniendo puntuaciones de preservación de la fuente (SSIM $\approx 0.786$) que son perceptualmente indistinguibles del baseline, rompiendo efectivamente el compromiso entre fidelidad y preservación observado en las programaciones fijas.

5. Significado y Reivindicaciones

El artículo afirma que DuET demuestra una capacidad subutilizada de los modelos multimodales unificados: la capacidad de cambiar los modos de condicionamiento dentro de una sola trayectoria de inferencia.

• Modestia de las Reivindicaciones: Los autores declaran explícitamente que Selective DuET es una "prueba de existencia" más que una solución universal. Reconocen limitaciones, incluyendo la dependencia de señales tempranas de la trayectoria para el enrutamiento (lo que limita la profundidad de la decisión), el uso de jueces VLM en lugar de estudios humanos para los umbrales perceptuales, y la dependencia de VLMs externos para la generación de leyendas, lo que puede introducir desajustes semánticos si la leyenda diverge de la intención implícita de la instrucción.
• Perspectiva Central: El artículo concluye que el anclaje persistente de la fuente limita la naturalidad de las ediciones para escenas divergentes. Al relajar temporalmente este anclaje mediante una fase T2I, DuET permite que la trayectoria de eliminación de ruido se mueva hacia la distribución objetivo mientras retiene los beneficios estructurales de la edición condicionada por imagen para los pasos finales. Esto sugiere que "cómo, cuándo y con qué frecuencia" cambiar los modos de condicionamiento es un área crítica para el estudio sistemático futuro en la edición basada en difusión.