Towards Controllable Image Generation through Representation-Conditioned Diffusion Models

Resumen Técnico: Hacia la Generación de Imágenes Controlable mediante Modelos de Difusión Condicionados a Representaciones

Enunciado del Problema
Aunque los modelos de difusión han revolucionado la síntesis y edición de imágenes de alta calidad, controlarlos para producir resultados específicos sigue siendo un desafío significativo. A diferencia de las Redes Generativas Antagónicas (GAN), que ofrecen espacios latentes bien estructurados y desentrelazados que facilitan modificaciones precisas y de granularidad fina, los modelos de difusión carecen de un espacio latente igualmente efectivo para el control directo. Los métodos de condicionamiento existentes, como los prompts de texto o los mapas semánticos, a menudo dependen de conjuntos de datos extensamente anotados o de una ingeniería de prompts compleja, lo que puede limitar la precisión y la adaptabilidad a datos no estructurados. Además, aunque se han explorado modelos de difusión condicionados a representaciones para mejorar la calidad de la generación incondicional, su potencial para proporcionar un espacio latente controlable no ha sido probado exhaustivamente.

Metodología
Los autores proponen un Modelo de Difusión Condicionado a Representaciones (RCDM) que aprovecha un modelo auto-supervisado preentrenado para guiar el proceso de generación. La arquitectura consta de dos componentes principales (ilustrados en la Figura 1):

1. Extracción de Representación: Un codificador auto-supervisado preentrenado (específicamente DINO) mapea las imágenes de entrada a una distribución de representaciones de menor dimensión.
2. Generación Condicional: Una U-Net de eliminación de ruido (basada en el Modelo de Difusión Latente, LDM) se entrena para mapear una distribución de ruido a la distribución de imágenes, condicionada a las representaciones extraídas por el codificador.

La tubería de entrenamiento implica dos etapas: primero, mapear imágenes al espacio de representaciones utilizando el codificador SSL; segundo, entrenar el modelo de difusión para eliminar ruido mientras se condiciona a estas representaciones. Los autores adaptan métodos de trabajos anteriores (utilizando MoCo v3 y MAGE), pero los aplican dentro del marco LDM condicionado a representaciones DINO. Los experimentos se realizaron en los conjuntos de datos LSUN Churches y Celeb-A.

Contribuciones Clave y Experimentos
El artículo presenta experimentos iniciales para validar la efectividad del espacio de representaciones para la generación controlable, centrándose en tres propiedades clave:

• Robustez ante Perturbaciones: Los autores probaron la estabilidad del modelo perturbando los vectores de representación con ruido gaussiano ($\hat{C} = C + \lambda\epsilon$). Los resultados indican que, mientras que la Inversión de Difusión sufre una degradación significativa de la calidad a niveles de ruido más altos ($\lambda > 0.4$), el RCDM mantiene la calidad y consistencia de la imagen mientras modifica el contenido.
• Suavidad de Interpolación: Se realizó una interpolación lineal entre dos vectores de representación ($\hat{C} = \alpha C_1 + (1-\alpha)C_2$). El RCDM demostró transiciones semánticamente más suaves entre imágenes de referencia en comparación con la Inversión de Difusión (que se volvió indistinguible en el medio) y Stable Diffusion (que exhibió transiciones repentinas).
• Descubrimiento de Direcciones Semánticas:
  • Supervisado: Al calcular la representación media de atributos específicos (por ejemplo, cabello rubio en Celeb-A) y sumarla a un vector de referencia, el modelo modificó con éxito las características. Sin embargo, los autores notaron que las correlaciones del conjunto de datos (por ejemplo, la calvicie correlacionada con el género masculino) podrían influir en cambios de atributos no deseados.
  • No supervisado: Utilizando el Análisis de Componentes Principales (PCA) en el espacio de representaciones, los autores identificaron direcciones que corresponden a variaciones semánticas como el tamaño de la frente, la longitud del cabello y el color de fondo. Aunque estas direcciones no lograron el mismo nivel de desentrelazamiento que las GAN, demostraron la viabilidad del descubrimiento de direcciones no supervisado.

Resultados y Afirmaciones
El artículo afirma que los modelos de difusión condicionados a representaciones exhiben propiedades prometedoras en su espacio de condicionamiento, específicamente suavidad y un grado de desentrelazamiento. Los experimentos sugieren que el uso de representaciones de un modelo auto-supervisado preentrenado no solo mejora la calidad de la generación de imágenes incondicional, sino que también establece un espacio latente adecuado para la generación controlada.

Significado
Los autores posicionan este trabajo como una exploración preliminar de una dirección prometedora para el modelado generativo. Argumentan que el condicionamiento por representaciones ofrece un enfoque convincente para mejorar tanto la calidad como la controlabilidad de los modelos de difusión sin depender pesadamente de conjuntos de datos anotados, como lo requiere el condicionamiento basado en texto. El artículo concluye que el trabajo futuro podría centrarse en adaptar las representaciones para mejorar aún más el desentrelazamiento y aplicar estos hallazgos a la edición de imágenes y la augmentación de datos en modelos de difusión incondicionales.