LazyDrag: Enabling Stable Drag-Based Editing on Multi-Modal Diffusion Transformers via Explicit Correspondence

Resumen Técnico: LazyDrag

Planteamiento del Problema

La edición de imágenes basada en arrastre (drag-based editing) en modelos de difusión enfrenta un cuello de botella fundamental: la dependencia del emparejamiento implícito de puntos mediante mecanismos de atención. Los métodos anteriores, como los que utilizan el intercambio de atención (por ejemplo, MasaCtrl), asignan pesos de atención a regiones espacialmente cercanas en lugar de semánticamente relacionadas. Esto conduce a ediciones inestables, una degradación en la preservación de la identidad y un compromiso en la fuerza de la inversión. Para mitigar estos problemas, los enfoques existentes suelen recurrir a la Optimización en Tiempo de Prueba (TTO) o a una debilitación de la fuerza de la inversión. Estos compromisos resultan en un inpainting poco fiable, una generación guiada por texto suprimida y ediciones distorsionadas. Además, la transición de arquitecturas U-Net a Transformers de Difusión Multimodales (MM-DiTs) ha introducido nuevos desafíos; el simple intercambio de tokens de clave (key) y valor (value) en los MM-DiTs no logra preservar la identidad de manera efectiva, y los métodos de preservación de identidad existentes (por ejemplo, CharaConsist) dependen de un emparejamiento de similitud de atención frágil que es inestable bajo una inversión de máxima fuerza.

Metodología: LazyDrag

LazyDrag es un método libre de entrenamiento diseñado para MM-DiTs que elimina la dependencia del emparejamiento implícito de puntos mediante la introducción de un mapa de correspondencia explícito. El método opera bajo una inversión de máxima fuerza sin requerir TTO. El flujo de trabajo consta de tres etapas principales:

1. Generación del Mapa de Correspondencia Explícito

En lugar de inferir coincidencias a través de la atención, LazyDrag deriva un mapa de correspondencia determinista directamente de las instrucciones de arrastre del usuario.

• Cálculo del Campo de Desplazamiento: El método calcula un campo de desplazamiento utilizando una estrategia de fusión de Ganador se Lleva Todo (WTA). Para cada punto editable, el desplazamiento se determina por el punto de control (handle) más cercano, particionando la rejilla latente mediante fronteras de Voronoi. Esto evita la cancelación del movimiento que ocurre al promediar arrastres opuestos (por ejemplo, abrir una boca).
• Inicialización Latente: El espacio latente se particiona en cuatro regiones distintas:
  • Fondo ($R_{bg}$): Permanece sin cambios.
  • Destinos ($R_{dst}$): Donde el contenido movido se renderiza preservando la identidad.
  • Inpainting ($R_{inp}$): Inicializado con ruido gaussiano (en lugar de interpolación) para prevenir artefactos repetitivos y permitir una generación de alta fidelidad guiada por texto.
  • Transición ($R_{trans}$): Mezcla las fronteras de forma suave.
• Formalización del Mapa: El proceso genera un mapa de puntos de emparejamiento $M(x)$ y un mapa de pesos $A(x)$, que sirven como referencias fiables para el control de atención subsecuente.

2. Control de Atención Basado en la Correspondencia

El mapa explícito impulsa un mecanismo de control de atención de dos partes dentro de las capas de Atención de Flujo Único (SS-Attn) del MM-DiT:

• Control de Entrada (Reemplazo y Concatenación de Tokens):
  • Preservación del Fondo: Para $R_{bg}$, los tokens de atención ($Q, K, V$) se reemplazan estrictamente con los tokens originales almacenados en caché del proceso de inversión para asegurar que el fondo permanezca intacto.
  • Preservación de la Identidad: Para $R_{dst}$ y $R_{trans}$, el método concatena los tokens de origen almacenados en caché (re-codificados con incrustaciones rotatorias) con los tokens actuales. Esto inyecta una señal fuerte, impulsada por la correspondencia, en el cálculo de la atención, preservando la identidad del objeto mientras permite una adaptación coherente.
• Refinamiento de Salida (Fusión con Compuerta/Gated Merging):
  • La salida de la atención se refina mediante una fusión con compuerta de la salida actual y la salida almacenada en caché del punto de origen emparejado.
  • El factor de mezcla está controlado por una compuerta mediante el peso de emparejamiento precalculado $A(x)$ y un factor de decaimiento temporal. Esto asegura un control preciso en los puntos de control mientras permite una relajación natural en las regiones circundantes, eliminando la necesidad de optimización latente de múltiples pasos.

Principales Contribuciones

1. Primera Inversión de Máxima Fuerza en Edición por Arrastre: LazyDrag es el primer método de edición por arrastre para MM-DiTs que utiliza la inversión de máxima fuerza en todos los pasos de muestreo, desbloqueando la capacidad generativa completa del modelo sin necesidad de TTO.
2. Correspondencia Explícita sobre Emparejamiento Implícito: Al reemplazar el frágil emparejamiento de similitud de atención por un mapa de correspondencia explícito definido por el usuario, el método resuelve la inestabilidad central de trabajos anteriores, permitiendo ediciones estables y un inpainting fiel.
3. Resolución de Ambigüedad mediante Guía de Texto: El método acopla el mapa de correspondencia explícita con la guía de texto, permitiendo ediciones semánticamente consistentes (por ejemplo, mover una mano hacia un bolsillo frente a detrás de la espalda) e inpainting natural de regiones complejas (por ejemplo, el interior de la boca de un perro).
4. Soporte para Múltiples Rondas y Operaciones: El marco soporta operaciones simultáneas de movimiento y escala, así como la edición de múltiples rondas manteniendo la coherencia visual.

Resultados Experimentales

Evaluado en DragBench (205 imágenes, 349 pares de puntos), LazyDrag supera a ocho líneas base (incluyendo DragDiffusion, GoodDrag, FastDrag y Inpaint4Drag) en métricas cuantitativas y cualitativas:

• Desempeño Cuantitativo: LazyDrag logra resultados de estado del arte (SOTA) con una Distancia Media (MD) de 21.49, superando al siguiente mejor modelo base (DragText con 21.51). También lidera en Consistencia Semántica (SC: 8.205), Calidad Perceptual (PQ: 8.395) y Puntuación General (O: 8.210).
• Eficiencia: A diferencia de las líneas base que requieren TTO (como el ajuste fino de LoRA o la optimización de múltiples pasos), LazyDrag no requiere entrenamiento y no necesita optimización por imagen o instrucción.
• Estudio de Usuario: En un estudio con 32 participantes expertos, LazyDrag fue preferido en el 63.67% de las comparaciones, superando significativamente a todas las líneas base.
• Superioridad Cualitativa: El método ejecuta con éxito ediciones complejas que fallan para otros métodos, como abrir la boca de un perro e inpaintar su interior, o generar nuevos objetos (por ejemplo, una "pelota de tenis") guiados por texto, todo ello preservando la integridad del fondo y la identidad del objeto.

Significado

El artículo postula que LazyDrag abre un nuevo camino para los paradigmas de edición al demostrar que la correspondencia explícita puede reemplazar el cuello de botella fundamental del emparejamiento de atención implícita. Al permitir una inversión de máxima fuerza estable en MM-DiTs, el método desbloquea capacidades generativas que anteriormente estaban suprimidas por la necesidad de TTO o una inversión debilitada. Establece un nuevo SOTA para la edición por arrastre, ofreciendo control geométrico preciso, inpainting natural y creación robusta guiada por texto sin el costo computacional de la optimización en tiempo de prueba.