Resumen Técnico: ViDiT (Transferencia de Dirección Visual para Difusión)

Planteamiento del Problema

A pesar del rápido avance de los Modelos de Difusión de Denoisado (DDM) y los Modelos de Difusión Latente (LDM) en la generación de imágenes de alta fidelidad, lograr un control preciso y desentrelazado sobre atributos específicos sigue siendo un desafío significativo. Los flujos de trabajo actuales dependen en gran medida de prompts de texto creados por humanos para guiar las ediciones. Sin embargo, el lenguaje natural sufre de un "cuello de botella descriptivo": suele ser demasiado grueso para capturar diferencias visuales matizadas o "deltas" (por ejemplo, cambios sutiles de textura, cambios precisos en la estructura facial o estilos artísticos específicos) que son fácilmente evidentes en pares de imágenes pero difíciles de articular en texto.

Además, a diferencia de las Redes Generativas Antagónicas (GAN), que poseen espacios latentes bien estructurados susceptibles a la manipulación semántica lineal, los modelos de difusión tienen procesos de estimación de ruido complejos y recursivos que dificultan el descubrimiento de direcciones latentes desentrelazadas. Los métodos existentes a menudo requieren un ajuste fino extensivo, optimización por imagen o grandes conjuntos de datos de entrenamiento, lo que limita su escalabilidad y aplicabilidad a diversos domos.

Metodología: ViDiT

Los autores proponen ViDiT (Visual Direction Transfer for Diffusion), un marco diseñado para expandir el vocabulario de edición de los modelos de difusión preentrenados mediante el aprendizaje de direcciones de edición continuas directamente de pares de imágenes de edición, evitando la necesidad de descripciones textuales.

Principio Central: "Aprender una vez, editar en cualquier lugar"

ViDiT opera bajo el principio de aprender una única dirección de edición global y continua ($d$) a partir de un pequeño conjunto de pares de imágenes "antes y después". Una vez optimizada, esta dirección puede aplicarse de forma zero-shot a cualquier imagen (del mundo real, artística o sintética) sin realizar un ajuste fino del modelo base ni una optimización por imagen.

Marco Técnico

El método optimiza una dirección $d$ dentro del espacio de condicionamiento del modelo de difusión (típicamente el espacio de incrustación de texto) utilizando una función de pérdida de doble objetivo. La red de denoisado ($\epsilon_\theta$) y el codificador de visión-lenguaje ($E_I$) permanecen congelados durante el entrenamiento; solo $d$ se actualiza.

1. Pérdida de Alineación Semántica ($\mathcal{L}_{sem}$):
   Esta pérdida utiliza un codificador de Visión-Lenguaje congelado (por ejemplo, CLIP) para asegurar que la dirección $d$ esté geométricamente alineada con la imagen editada ($x'$) y desalineada con la imagen original ($x$) en el espacio de características. Actúa como un ancla semántica global:
   $$\mathcal{L}_{sem} = 1 - \text{cossim}(E_I(x'), \mathbf{d}) + \text{cossim}(E_I(x), \mathbf{d})$$
   Aunque es efectivo para conceptos de alto nivel, esta pérdida por sí sola carece de resolución espacial y puede conducir a ediciones entrelazadas (por ejemplo, cambiar el tono de piel al editar una barba).

2. Pérdida de Alineación Latente ($\mathcal{L}_{latent}$):
   Para capturar detalles estructurales finos y forzar la correspondencia a nivel de píxel, ViDiT aprovecha el espacio de predicción nativo del modelo de difusión. Maximiza la diferencia entre las predicciones de ruido para la imagen editada con ruido ($x'_t$) y la imagen original con ruido ($x_t$) en pasos de tiempo aleatorios:
   $$\mathcal{L}_{latent} = -\mathbb{E}_{x_0, \epsilon, t} [ ||\epsilon_\theta(x_t', \mathbf{d}) - \epsilon_\theta(x_t, \mathbf{d})||_2^2 ]$$
   Este término fundamenta la dirección en el espacio de características densas y espacialmente alineadas del modelo, preservando claves de identidad de alta frecuencia como folículos capilares, reflejos especulares y la textura de la piel.

Inferencia y Aplicación

• Inyección de Dirección: Durante la inferencia, la dirección aprendida $d$ reemplaza el residuo estándar de condicionamiento de texto en la formulación de Guía de Clasificador Libre (CFG). La predicción de ruido es dirigida por:
  $$\bar{\epsilon}_\theta(x_t, c, \mathbf{d}) = \tilde{\epsilon}_\theta(x_t, c) + \lambda_e (\epsilon_\theta(x_t, \mathbf{d}) - \epsilon_\theta(x_t, \phi))$$
  donde $\lambda_e$ controla la intensidad de la edición.
• Edición de Imágenes Reales: Para fotografías del mundo real, la imagen de entrada se invierte primero en la trayectoria latente del modelo mediante Inversión DDPM. Luego, la dirección $d$ se inyecta durante el proceso de denoisado inverso.
• Componibilidad: Múltiples direcciones aprendidas independientemente pueden combinarse de forma aditiva durante la inferencia sin reentrenamiento, lo que permite ediciones de múltiples atributos complejos manteniendo el desentrelazamiento.

Contribuciones Clave

1. Marco Universal: Un método para aprender direcciones de edición continuas a partir de ejemplos visuales, expandiendo el vocabulario de los modelos de difusión preentrenados sin ajuste fino del modelo base.
2. Agnóstico a la Fuente: Demostró la versatilidad para transferir direcciones desde diversas fuentes, incluyendo espacios generativos incondicionales (StyleGAN2), modelos de adaptación de dominio (StyleGAN-NADA) y editores basados en difusión (Prompt2Prompt).
3. Capacidad de "Editar en Cualquier Lugar": La capacidad de aplicar ediciones desentrelazadas y de grano fino a cualquier imagen (rostros, animales, estilos artísticos, fotos del mundo real) de manera zero-shot con control granular sobre la intensidad.
4. Desentrelazamiento Superior: Logra una mejor preservación de la identidad y aislamiento de atributos en comparación con los métodos basados en texto y de seguimiento de instrucciones de vanguardia.
5. Código Abierto: Los autores liberan el código fuente para facilitar la investigación adicional.

Resultados y Evaluación

Los autores evaluaron ViDT en rostros humanos, gatos y perros, comparándolo con líneas base impulsadas por texto (SEGA, InstructPix2Pix, Prompt2Prompt, Concept Sliders) y métodos de condicionamiento visual.

• Desempeño Cuantitativo: ViDiT supera significativamente a las líneas base impulsadas por texto en métricas de preservación de identidad (LPIPS, DINO, DreamSim) mientras se mantiene competitivo en alineación semántica (CLIP-T, SigLIP-T). Por ejemplo, en las tareas de edición de "Asiático" y "Sonrisa", ViDiT alcanzó una puntuación DINO de 0.929 frente a 0.867 de Prompt2Prompt y 0.851 de InstructPix2Pix.
• Análisis Cualitativo: Los resultados visuales muestran que ViDiT preserva el fondo, la identidad y el estilo artístico de manera más fiel que sus competidores, que a menudo sufren de deriva de identidad o cambios estructurales no deseados.
• Estudios de Ablación:
  • Términos de Pérdida: Eliminar $\mathcal{L}_{latent}$ resultó en ediciones entrelazadas (por ejemplo, alterar el tono de piel al editar el cabello), confirmando la necesidad del enfoque de doble pérdida.
  • Tamaño de la Muestra: Se pueden aprender direcciones significativas con tan solo 10 pares, aunque 1000 pares producen la mejor preservación de la identidad.
  • Método de Inversión: Se encontró que la Inversión DDPM es superior a la Inversión DDIM para preservar detalles de alta frecuencia en imágenes reales.
• Estudio de Usuario: En un estudio con 40 participantes, ViDiT recibió la puntuación de preferencia media más alta (3.36/5) para desentrelazamiento y fidelidad semántica, superando a Concept Sliders (3.25) y Prompt2Prompt (2.74).

Significado y Reivindicaciones

El artículo afirma que ViDiT cierra la brecha entre las limitaciones descriptivas del lenguaje natural y la compleja semántica visual requerida para una edición precisa. Al enmarcar el problema como una transferencia de delta visual en lugar de ingeniería de prompts de texto, ViDiT supera el cuello de botella lingüístico, permitiendo a los usuarios definir ediciones a través de ejemplos visuales que luego se traducen al espacio latente nativo del modelo de difusión.

Los autores enfatizan que su enfoque proporciona una solución ligera y escalable que evita la sobrecarga de entrenar LoRAs por concepto o módulos adaptadores especializados. Aunque el marco hereda los sesgos de sus fuentes de supervisión (por ejemplo, StyleGAN, CLIP, Stable Diffusion), no introduce nuevos sesgos. El trabajo establece un paradigma general para incorporar semánticas visuales complejas en modelos de difusión desde cualquier fuente generativa, permitiendo una capacidad de "Aprender una vez, editar en cualquier lugar" que anteriormente era inalcanzable sin un reentrenamiento extensivo.