Color Conditional Generation with Sliced Wasserstein Guidance

1. Enunciado del Problema

El artículo aborda el desafío de la generación de imágenes condicionada al color en los modelos de difusión texto-a-imagen. Aunque los prompts en lenguaje natural pueden describir objetos y escenas, a menudo son imprecisos para especificar paletas de colores exactas (por ejemplo, "azul turquesa" produce tonos variables). Las soluciones existentes enfrentan dos limitaciones principales:

• Transferencia de color post-procesada: La aplicación de algoritmos de transferencia de color (por ejemplo, WCT, coincidencia de histogramas) a imágenes generadas por modelos de difusión a menudo resulta en desajustes semánticos. Se transfiere el estilo de color, pero el contenido subyacente puede distorsionarse, o los colores pueden no alinearse semánticamente con los objetos generados.
• Generación estilizada: Los métodos que modifican los mecanismos de atención o los pesos (por ejemplo, IP-Adapter, InstantStyle) para controlar el estilo a menudo entrelazan el color con otras características estilísticas (textura, pinceladas, composición). Esto dificulta controlar el color de forma independiente sin transferir características de alto nivel no deseadas de la imagen de referencia.

El objetivo es generar una imagen que se adhiera estrictamente a una paleta de colores de referencia mientras mantiene el contenido semántico dictado por el prompt de texto y evita la transferencia de elementos estilísticos no relacionados con el color.

2. Metodología: SW-Guidance

Los autores proponen SW-Guidance, un enfoque sin entrenamiento que modifica el proceso de muestreo de un modelo de difusión. En lugar de ajustar finamente los pesos o utilizar adaptadores de atención, guía la trayectoria de eliminación de ruido utilizando una función de pérdida diferenciable basada en la distancia de Wasserstein 1 cortada (SW1).

Mecanismo Central

El método opera dentro del proceso de difusión inverso (utilizando específicamente programadores DDIM). En cada paso de tiempo $t$, el algoritmo realiza un paso de optimización para desplazar la representación latente hacia la distribución de color de referencia.

1. Predicción Latente: Dada una latente ruidosa $x_t$, el modelo predice una latente limpia $\hat{x}_0$. Esto se decodifica a una imagen $\hat{y}_0$.
2. Extracción de Distribución de Color: Se extrae la distribución de color de la imagen generada ($\pi_{\hat{y}_0}$) y de la imagen de referencia ($\pi_{ref}$) en el espacio RGB.
3. Pérdida de Wasserstein Cortada: El algoritmo calcula la distancia de Wasserstein 1 cortada entre estas dos distribuciones.
   • ¿Por qué cortada? La distancia de Wasserstein estándar es computacionalmente costosa y no diferenciable en altas dimensiones. El Wasserstein cortado reduce el problema a proyecciones unidimensionales, donde la distancia es fácil de calcular y diferenciable.
   • ¿Por qué Wasserstein 1? Los autores utilizan una proposición teórica (Proposición 1) que establece que para distribuciones 1D, la distancia de Wasserstein 1 puede calcularse como la distancia $L_1$ entre las Funciones de Distribución Acumulada (CDF), evitando la necesidad de calcular CDF inversas (funciones cuantílicas).
   • Diferenciabilidad: La CDF se aproxima ordenando los valores de píxeles, una operación diferenciable, lo que permite que los gradientes fluyan de vuelta al espacio latente.
4. Guía Basada en Gradientes: Se añade un vector de control auxiliar $u$ a la latente $x_t$. El algoritmo optimiza $u$ durante $M$ pasos internos para minimizar la distancia SW:
   $$\min_u \text{SW}_1(\pi_{\hat{y}_0(x_t+u)}, \pi_{ref})$$
5. Actualización de Muestreo: El desplazamiento optimizado $u^*$ se aplica a la latente, y el paso estándar de eliminación de ruido (con guía libre de clasificadores) procede a $t-1$.

Justificación Teórica

El artículo proporciona pruebas teóricas (Lema 2) que muestran que minimizar la distancia de Wasserstein cortada asegura la convergencia débil de la distribución de color generada hacia la distribución de referencia, incluyendo la convergencia de todos los momentos (media, varianza, etc.).

3. Contribuciones Clave

• Mecanismo de Condicionamiento Novel: Primera integración de la distancia de Wasserstein cortada diferenciable en el condicionamiento de modelos de difusión para el control de color.
• Desacoplamiento de Color y Estilo: El método transfiere únicamente la paleta de colores, evitando la transferencia de texturas, pinceladas o composición encontradas en la imagen de referencia (a diferencia de los métodos de estilización basados en atención).
• Sin Entrenamiento: El enfoque no requiere ajuste fino de los pesos del modelo de difusión, lo que lo hace aplicable a cualquier modelo de difusión latente preentrenado (por ejemplo, SD1.5, SDXL).
• Fundamento Teórico: Proporciona pruebas de las propiedades de convergencia del procedimiento de optimización y de la eficiencia del uso de la distancia de Wasserstein 1 mediante diferencias de CDF.

4. Resultados Experimentales

El método fue evaluado en SD1.5 y SDXL utilizando el conjunto de datos ContraStyles (1000 prompts) y Unsplash Lite (1000 imágenes de referencia).

Métricas Cuantitativas

• Similitud de Color: Medida por la distancia de Wasserstein 2 entre las distribuciones de color generadas y de referencia.
  • Resultado: SW-Guidance logró la distancia más baja (0.0297) en comparación con todos los puntos de referencia, incluidos algoritmos avanzados de transferencia de color (por ejemplo, PhotoWCT2: 0.1028) y métodos de estilización (por ejemplo, InstantStyle: 0.1758).
• Fidelidad del Contenido: Medida por CLIP-T (similitud entre el prompt de texto y la imagen).
  • Resultado: SW-Guidance logró la puntuación CLIP-T más alta (0.270) entre los métodos de generación estilizada, lo que indica que sigue el prompt de texto mejor que los métodos que entrelazan estilo y contenido.
• Calidad de Imagen: Medida por CLIP-IQA.
  • Resultado: SW-Guidance mantuvo una alta calidad (0.285), ocupando el segundo lugar solo detrás de la generación incondicional, superando significativamente a muchos puntos de referencia de transferencia de estilo.

Análisis Cualitativo

• Comparación Visual: Los ejemplos visuales muestran que, mientras que métodos como InstantStyle transfieren el "ambiente" (por ejemplo, pinceladas, fotorealismo) junto con los colores, SW-Guidance se adhiere estrictamente a la paleta de colores mientras preserva la composición y textura originales de la imagen generada.
• Compatibilidad: El método es compatible con ControlNets (por ejemplo, Canny, Profundidad), permitiendo el control de diseño junto con el condicionamiento de color.

5. Significado y Limitaciones

Significado:

• Control de Precisión: Resuelve el problema de la "nomenclatura de colores" en el arte con IA, permitiendo a los usuarios definir una paleta mediante una imagen de referencia en lugar de descripciones de texto vagas.
• Modularidad: Ofrece una separación limpia entre la generación de contenido (prompt de texto), el diseño (ControlNet) y el color (SW-Guidance), lo cual es difícil con los actuales modelos monolíticos de transferencia de estilo.
• Eficiencia: Añade una sobrecarga computacional mínima (aproximadamente 30 segundos para SD1.5 en una RTX 4090) en comparación con métodos basados en entrenamiento o pipelines complejos de post-procesamiento.

Limitaciones:

• Conflicto Texto-Color: Si el prompt de texto describe explícitamente un color que contradice la paleta de referencia (por ejemplo, el prompt dice "manzana roja" pero la referencia es azul), pueden ocurrir artefactos visuales.
• Requisito de Diferenciación: La implementación actual requiere diferenciar a través de la U-Net, lo cual es computacionalmente intensivo en comparación con el post-procesamiento no diferenciable.
• Interacción con Estilización: Combinar SW-Guidance con otros métodos de estilización fuertes (como InstantStyle) puede generar conflictos, ya que ambos intentan modificar el proceso de generación.

En conclusión, SW-Guidance representa un avance significativo en la generación de imágenes controlables, ofreciendo una solución sin entrenamiento y fundamentada matemáticamente para la transferencia precisa de color que preserva la integridad semántica y la calidad de la imagen.