Diffusion Mental Averages

1. El Problema

Los modelos de difusión preentrenados (como Stable Diffusion) pueden generar miles de variaciones de un mismo concepto (ej. "un perro", "la libertad"). Sin embargo, no existe un método estándar para extraer la "media mental" o el prototipo visual que el modelo considera como la representación típica de ese concepto.

Los enfoques existentes presentan limitaciones significativas:

• Promedios de píxeles: Alinear imágenes espacialmente y promediar sus píxeles (técnica común en GANs) es inviable para conceptos abstractos o complejos y resulta en imágenes borrosas y poco realistas al perder detalles finos.
• Distilación de datos: Los métodos que sintetizan prototipos a partir de colecciones de imágenes a menudo generan resultados inconsistentes, poco realistas o que no capturan la esencia semántica del modelo.
• Falta de espacio semántico explícito: A diferencia de los VAEs o GANs, los modelos de difusión carecen de un cuello de botella latente semántico único y decodificable donde se pueda promediar directamente una representación. La información semántica en los modelos de difusión está distribuida a lo largo de todo el proceso de denoising (timesteps).

2. Metodología: Diffusion Mental Averages (DMA)

Los autores proponen DMA, un método centrado en el modelo que formula el promediado como un problema de alineación de trayectorias dentro del espacio semántico del modelo de difusión.

Concepto Central

En lugar de generar imágenes y luego promediarlas, DMA optimiza conjuntamente múltiples latentes de ruido para que sus trayectorias de denoising converjan progresivamente hacia una semántica compartida, desde lo grueso (estructura global) hasta lo fino (detalles).

Pasos del Algoritmo

1. Inicialización: Se generan $K$ latentes de ruido iniciales ($z^{(0)}_k$) desde una distribución normal.
2. Alineación de Activaciones (h-space): En cada paso de tiempo $t$ del proceso de difusión:
   • Se extraen las activaciones de la capa intermedia del U-Net (conocida como h-space), que se ha demostrado que contiene representaciones semánticas lineales e interpretables.
   • Se calcula la media de estas activaciones ($\bar{A}^{(t)}$) a través de los $K$ latentes.
   • Se optimizan los latentes de ruido ($z^{(t)}_k$) mediante descenso de gradiente (usando Adam) para minimizar la distancia L2 entre su activación individual y la media $\bar{A}^{(t)}$.
   • Esto fuerza a todas las trayectorias a converger hacia un consenso semántico en ese paso de tiempo.
3. Denoising: Una vez alineados, los latentes se denoisan al siguiente paso de tiempo ($t-1$) usando muestreo DDIM.
4. Iteración: Este proceso se repite hasta un paso de corte $t_{stop}$ (para ahorrar cómputo) y luego se completa el denoising estándar. Finalmente, se decodifica un latente resultante para obtener la imagen prototipo.

Manejo de Conceptos Multimodales

Para conceptos con múltiples modos visuales distintos (ej. "perro" que incluye muchas razas, o "grúa" que puede ser un pájaro o una máquina):

• Descubrimiento de Modos: Se agrupan los latentes en un espacio semántico rico y estable (como CLIP o BLIP-VQA para agrupación basada en atributos).
• Condicionamiento Específico: Para evitar inconsistencias entre el espacio de agrupación y el espacio de difusión, se utiliza Textual Inversion o LoRA (Low-Rank Adaptation) para cada clúster. Esto ajusta la condición del modelo para guiar el proceso de denoising hacia el subespacio semántico específico de ese modo, generando prototipos fieles a cada categoría.

3. Contribuciones Clave

• Primera aproximación de "Media Mental": Es el primer método capaz de producir promedios consistentes y realistas directamente desde modelos de difusión preentrenados sin acceso al conjunto de datos original.
• Formulación de Alineación de Trayectorias: Introduce una nueva perspectiva técnica que trata el promediado como la alineación progresiva de trayectorias de denoising en el espacio semántico (h-space), superando las limitaciones del promediado de píxeles.
• Generalización Multimodal y Arquitectónica:
  • Extiende el método a conceptos multimodales mediante clustering y condicionamiento ligero (LoRA/Textual Inversion).
  • Demuestra que funciona en diferentes variantes de Stable Diffusion (Realistic Vision, PixelArt, Animerge) y en arquitecturas distintas como DiT (Diffusion Transformers), adaptando la capa semántica a la salida del último bloque del transformador.

4. Resultados y Evaluación

Los autores evaluaron DMA en 12 conceptos (animales, personas, objetos, abstractos) comparándolo con baselines como GANgealing, promedios de VAE, D4M y MGD3.

• Métricas Cuantitativas:
  • Consistencia: DMA obtuvo puntuaciones significativamente mejores (más bajas en distancia) que los métodos de distilación (D4M, MGD3), indicando que produce el mismo prototipo independientemente de la semilla inicial.
  • Representatividad: DMA se alinea mejor con la distribución semántica de los conceptos.
  • Calidad Visual (ImageReward): DMA superó a todos los baselines en preferencia humana, logrando imágenes nítidas y realistas.
• Resultados Cualitativos:
  • Mientras que GANgealing y los promedios de píxeles producen imágenes borrosas o sin estructura, DMA genera prototipos detallados (ej. un astronauta con casco y traje definidos, o la Estatua de la Libertad para "libertad").
  • En conceptos abstractos, DMA revela sesgos del modelo (ej. "soldado" tiende a ser masculino en modelos realistas pero neutro en estilos pixel art).
  • La detección de modos permite separar visualmente categorías como razas de perros o colores de coches, mostrando promedios distintos para cada subgrupo.

5. Significado e Impacto

• Herramienta de Interpretación: DMA ofrece una nueva lente para analizar y visualizar cómo los modelos de difusión internalizan y representan conceptos, revelando sesgos culturales, demográficos y de estilo que de otro modo serían difíciles de cuantificar.
• Resumen Visual de Datos: Permite comprimir grandes conjuntos de datos generados en estadísticas visuales compactas y significativas, útil para la auditoría de modelos y la distilación de datos.
• Avance Técnico: Demuestra que es posible realizar operaciones semánticas complejas (como el promediado) dentro del proceso generativo de los modelos de difusión, aprovechando su espacio latente interno sin necesidad de reentrenar el modelo completo.

En resumen, Diffusion Mental Averages transforma la capacidad de los modelos de difusión de generar variaciones infinitas en una herramienta para extraer la "esencia" visual promedio de un concepto, ofreciendo claridad, realismo y consistencia donde los métodos anteriores fallaban.