Resumen Técnico: La inicialización es la mitad de la batalla: Generación de imágenes diversas desde un posterior de potencial de guía

1. Declaración del problema

A pesar de la alta fidelidad de los modelos generativos modernos, incluidos los modelos de Difusión y de Flow Matching, estos sufren frecuentemente de colapso de modo (mode collapse). Incluso con variaciones en las semillas aleatorias, las muestras generadas suelen converger hacia salidas estereotípicas, lo que limita el potencial creativo y, en casos extremos, conduce a la memorización exacta de los datos de entrenamiento.

Las estrategias existentes sin entrenamiento para mejorar la diversidad se centran predominantemente en intervenir durante la trayectoria de generación (por ejemplo, manipulando las escalas de guía o repeliendo las trayectorias entre sí). Los autores identifican un descuido crítico en estos enfoques: la inicialización gaussiana isotrópica estándar ($x_T \sim \mathcal{N}(0, I)$) suele ser ajena al paisaje del potencial de guía. Geométricamente, las regiones con un alto potencial de guía condicional inducen altas tasas de contracción de volumen en el flujo generativo. En consecuencia, las distintas trayectorias estocásticas inicializadas en estas regiones de alto potencial son atraídas hacia un único modo dominante, causando el colapso. Por el contrario, los autores plantean la hipótesis de que inicializar desde cuencas de bajo potencial permite que las trayectorias diverjan naturalmente, preservando la diversidad.

2. Metodología: Inicialización inductora de diversidad (DivIn)

El artículo propone DivIn, un método sin entrenamiento y de tiempo de inferencia que replantea la selección del ruido inicial no como una extracción de un prior fijo, sino como un muestreo desde un posterior de potencial de guía.

2.1. Formulación teórica

Los autores definen una distribución objetivo $p_{\text{diverse}}(x_T | c)$ que repondera el prior gaussiano estándar hacia regiones ricas en diversidad:
$$p_{\text{diverse}}(x_T | c) \propto \exp(-\tau \cdot U(x_T, c)) \cdot p(x_T)$$
donde:

• $p(x_T)$ es el prior gaussiano isotrópico estándar.
• $\tau$ es un hiperparámetro de temperatura que controla el compromiso entre la adherencia al prior y la maximización de la diversidad.
• $U(x_T, c)$ es un potencial de guía que actúa como un proxy de la intensidad de la guía condicional en la inicialización.

2.2. El proxy del potencial de guía

Para garantizar la robustez y la compatibilidad "plug-and-play" a través de diferentes esquemas de inferencia (por ejemplo, variaciones en el número de pasos) y arquitecturas (Difusión vs. Flow Matching), el potencial $U(x_T, c)$ se define en el espacio de datos estimado utilizando un potencial de Tweedie generalizado:
$$U(x_T, c) = \|\hat{x}_0(x_T, c) - \hat{x}_0(x_T, \emptyset)\|^2$$
Aquí, $\hat{x}_0$ representa la estimación de eliminación de ruido de un solo paso de los datos limpios. Esta métrica mide la distancia euclidiana entre las estimaciones de eliminación de ruido condicional e incondicional. Minimizar este potencial penaliza los estados iniciales donde la guía condicional ejerce una atracción excesivamente fuerte hacia un modo dominante, sesgando la inicialización hacia regiones más planas del paisaje.

2.3. Muestreo mediante Dinámica de Langevin

Dado que el muestreo directo de $p_{\text{diverse}}$ es intratable, DivIn emplea Dinámica de Langevin para transicionar iterativamente las muestras desde el prior gaussiano inicial hacia el posterior objetivo. La regla de actualización para el estado latente $x_T$ en la iteración $k$ es:
$$x_T^{(k+1)} = x_T^{(k)} - \eta \left( \tau \nabla_{x_T^{(k)}} U(x_T^{(k)}, c) + x_T^{(k)} \right) + \sqrt{2\eta}\xi^{(k)}$$
Este mecanismo equilibra tres fuerzas:

1. Fuerza de Diversidad ($-\tau \nabla U$): Conduce al latente lejos de las cuencas de alto potencial hacia regiones más planas.
2. Restricción del Prior ($-x_T$): Ancla el latente dentro del manifold válido de la distribución normal original, evitando la deriva fuera del manifold.
3. Ruido Estocástico ($\sqrt{2\eta}\xi$): Inyecta ruido para escapar de mínimos locales poco profundos y fomentar la exploración.

A diferencia de los métodos de optimización deterministas (por ejemplo, la inicialización consciente de la nitidez, SAIL) que colapsan el volumen de la distribución al buscar una única semilla óptima, DivIn realiza un muestreo de posterior de distribución, preservando la entropía y permitiendo una verdadera diversidad.

3. Contribuciones clave

1. Identificación de la inicialización como un factor crítico: El artículo revela que el colapso de modo es impulsado significativamente por la geometría del paisaje de inicialización, específicamente la atracción de las trayectorias hacia regiones de alto potencial definidas por la guía condicional.
2. Formulación del posterior del potencial de guía: Los autores formulan el inicial óptimo como un posterior ponderado por diversidad que repondera el prior estándar, utilizando un potencial de Tweedie generalizado que es robusto a las variaciones de pasos de inferencia y unifica las arquitecturas de Difusión y Flow Matching.
3. Algoritmo DivIn: Un algoritmo "plug-and-play" sin entrenamiento que aprovecha la dinámica de Langevin para muestrear de este posterior. Es ortogonal a los métodos de diversidad basados en la trayectoria.
4. Justificación teórica: El artículo proporciona un análisis teórico (Teorema A.3) que vincula la alta nitidez condicional (curvatura) con una rápida pérdida de entropía durante el proceso inverso, demostrando que el muestreo desde regiones de bajo potencial preserva el volumen de la distribución.

4. Resultados experimentales

Se realizaron experimentos extensos en ImageNet-1K (clase a imagen) y un conjunto de prompts generales (texto a imagen) utilizando Stable Diffusion v1.4 y Stable Diffusion 3.5 Medium (Flow Matching).

• Mejora de la diversidad: DivIn supera consistentemente a los métodos de inicialización de referencia (como SAIL) y a los métodos basados en trayectoria (Particle Guidance, CADS, Interval Guidance) en métricas de diversidad como el Vendi Score, Recall y Coverage.
  • En ImageNet (SD v1.4), DivIn logró un Vendi Score de 4.688 (frente a 4.265 del modelo base), superando a SAIL (4.549) y a los métodos de trayectoria.
  • En texto a imagen (SD v3.5), DivIn aumentó el Vendi Score de 1.803 a 1.864 para el modelo base.
• Preservación de la calidad: A diferencia de muchos métodos de diversidad, que sacrifican la calidad por la diversidad, DivIn mantiene o mejora la fidelidad de la imagen. Logró el FID más bajo (16.158) entre los baselines independientes en ImageNet y mantuvo altos puntajes de CLIP y estética en tareas de texto a imagen.
• Ortogonalidad y Frontera de Pareto: Un hallazgo clave es que DivIn es ortogonal a las intervenciones basadas en la trayectoria. Combinar DivIn con métodos como PG, CADS o IG expande significativamente la frontera de Pareto de diversidad-calidad, logrando una mayor diversidad al mismo nivel de fidelidad que cualquiera de los dos métodos por separado.
• Eficiencia: DivIn conlleva un sobrecoste computacional mínimo. Con un solo paso de Langevin ($K=1$), añade solo un ~3% al tiempo de ejecución por imagen (por ejemplo, de 0.754s a 0.779s), mientras que los métodos de optimización determinista como SAIL a menudo requieren procesos de rechazo más complejos o aproximaciones de segundo orden.
• Estabilidad: A diferencia de SAIL, que es sensible a los umbrales de parada temprana y puede generar artefactos de alta frecuencia debido a latentes fuera del manifold, DivIn permanece estable y preserva la gaussianidad del espacio latente.

5. Significado y afirmaciones

El artículo afirma que la inicialización es "la mitad de la batalla" en la generación de imágenes diversas. Al desplazar el enfoque del proceso de generación hacia el paisaje de inicialización, DivIn aborda una causa raíz del colapso de modo que los métodos basados en la trayectoria pasan por alto.

Los autores enfatizan que:

• DivIn es una estrategia universal y "plug-and-play" compatible tanto con modelos de difusión estándar como con modelos modernos de Flow Matching.
• Proporciona una fuente distinta de diversidad que no es capturada por las intervenciones de trayectoria, permitiendo el descubrimiento de modos diversos que el muestreo estándar no logra alcanzar.
• El método equilibra eficazmente el compromiso entre diversidad y calidad, empujando la frontera de Pareto hacia afuera sin penalizar la alineación semántica o la fidelidad de la imagen.
• Ofrece una alternativa más robusta a la optimización de semillas deterministas (como SAIL) al mantener la entropía de la distribución mediante el muestreo estocástico.

El artículo concluye que, aunque actualmente DivIn depende de un hiperparámetro de temperatura y añade un sobrecoste de inferencia mínimo, representa un cambio fundamental en la forma en que se puede mejorar la diversidad generativa, ofreciendo una herramienta poderosa y ortogonal a los mecanismos de muestreo existentes.