Resumen Técnico: Diversificación de la Difusión con Muestreo de Temperatura y Desplazamiento de Tiempo Correctivo de Varianza

Planteamiento del Problema

Los modelos de difusión reproducen fielmente sus distribuciones de entrenamiento, pero heredan intrínsecamente desequilibrios de datos, lo que dificulta alcanzar modos raros o subrepresentados durante el muestreo. Si bien una solución natural en la inferencia es muestrear desde una distribución objetivo de alta temperatura $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$ (donde $0 < \gamma < 1$) para aplanar los modos dominantes y potenciar los raros, la aplicación ingenua de este concepto falla en la práctica.

Escalar directamente la función de puntuación (score) aprendida por $\gamma$ (es decir, usar $\gamma \nabla_x \log p_t(x)$) logra el objetivo macroscópico de reponderar los modos, pero induce una expansión de la varianza a nivel microscópico. Esta varianza excesiva rompe la correspondencia estricta entre el score de la marginal temperada con ruido y el proceso de difusión inversa, resultando en muestras fuera de la variedad (off-manifold), borrosas y de baja calidad. Los métodos existentes para mejorar la diversidad suelen requerir reentrenamiento, clasificadores auxiliares o filtrado de partículas en paralelo, lo que limita su aplicabilidad o fidelidad.

Metodología: Desplazamiento de Tiempo Correctivo de Varianza

Los autores proponen el desplazamiento de tiempo correctivo de varianza, un mecanismo sin entrenamiento que desacopla la reponderación de modos de la inflación de la varianza. La idea central es que, si bien el score de la distribución temperada $\nabla_x \log p^{(\gamma)}_t(x)$ no puede obtenerse simplemente escalando el score original, puede aproximarse con precisión consultando la red en un instante de tiempo desplazado $\tilde{t}$.

Derivación Teórica

1. El Desajuste: El temperado directo de la marginal con ruido $p_t(x)^\gamma$ difiere de la marginal con ruido de los datos temperados $p^{(\gamma)}_t(x)$. Bajo el supuesto de modos bien separados, el temperado directo escala efectivamente la varianza de los componentes gaussianos por $1/\gamma$, mientras que la verdadera marginal temperada mantiene el esquema de varianza original.
2. La Corrección: Para recuperar la deseada marginal temperada sin inflación de la varianza, el método consulta la red preentrenada en un tiempo desplazado $\tilde{t}$ tal que el nivel de ruido satisfaga $\sigma^2_{\tilde{t}} = \gamma \sigma^2_t$.
3. El Estimador de Score: El score para la distribución temperada se aproxima como:
   $$\nabla_x \log p^{(\gamma)}_t(x) \approx \gamma \left( -\frac{\epsilon_\theta(x, \tilde{t})}{\sigma^2_{\tilde{t}}} \right)$$
   Esto cancela efectivamente la expansión de la varianza mientras preserva el efecto de reponderación de modos.

Control de Grueso a Fino

El método permite un esquema $\gamma(t)$ aplicado en diferentes etapas del proceso de difusión inversa:

• Etapas Tempranas (Ruido Alto): Aplicar $\gamma(t) < 1$ aquí impulsa la diversidad composicional, dirigiendo las partículas de muestreo hacia diferentes atractores (modos).
• Etapas Medias/Tardías (Ruido Bajo): Aplicar $\gamma(t) < 1$ aquí impulsa la variación de apariencia local mientras se preserva la composición global y la identidad del modo.

Contribuciones Clave

1. Identificación de la Expansión de la Varianza: El artículo identifica que el escalado ingenuo del score en modelos de difusión rompe el proceso de difusión inversa debido a una inflación de varianza no deseada, degradando la calidad de la muestra.
2. Desplazamiento de Tiempo Correctivo de Varianza: Una corrección de coste cero y sin necesidad de entrenamiento que recupera la deseada marginal temperada mediante la consulta de la red en un instante de tiempo desplazado, permitiendo un muestreo de alta temperatura efectivo.
3. Perilla de Diversidad Práctica: El método transforma el muestreo de temperatura en una herramienta práctica para mejorar la diversidad en arquitecturas de difusión y de flujo de emparejamiento (flow-matching) preentrenadas sin necesidad de reentrenamiento.
4. Control de Etapa Específica: Los autores demuestran que la temporalidad de la intervención de temperatura permite un control de grueso a fino, distinguiendo entre diversidad composicional (temprana) y variación local (tardía).

Resultados Experimentales

El método fue evaluado en diversas arquitecturas (DiT, Stable Diffusion 1.5/3.5/XL, Motion Diffusion Models) y modalidades (imágenes, movimiento).

• Diversidad vs. Fidelidad: El método mejora consistentemente la diversidad (medida por el Vendi score) con un coste mínimo para la calidad de la muestra y la fidelidad de la condición (medida por el puntaje VQA o la precisión del clasificador).
• Comparación:
  • vs. CADS: El método propuesto mantiene una mejor fidelidad al prompt, mientras que CADS a menudo degrada la alineación con la condición.
  • vs. Feynman-Kac (FK): FK tiene dificultades con altas temperaturas ($\gamma < 1$) en los experimentos de los autores, produciendo a menudo muestras inutilizables, mientras que el método propuesto permanece estable.
  • vs. Temperado Directo/TSR: Sin el desplazamiento de tiempo, los valores bajos de $\gamma$ introducen un ruido excesivo. La corrección por desplazamiento de tiempo mantiene una alta calidad de muestra mientras logra las mismas ganancias en diversidad.
• Rendimiento Cuantitativo: En DiT, SD1.5, SDXL y SD3.5, el método alcanzó los mejores o segundos mejores puntajes tanto en CMMD (calidad perceptual) como en Vendi (diversidad), manteniendo una alta fidelidad.

Significado y Reivindicaciones

El artículo afirma que el desplazamiento de tiempo correctivo de varianza resuelve una limitación fundamental de aplicar el muestreo de temperatura a los modelos de difusión. Al corregir la inflación de la varianza inherente al escalado ingenuo del score, el método permite a los usuarios explorar la "cola larga" de la distribución de datos —generando modos raros o diversos— sin sacrificar la calidad o la adherencia a la condición que los modelos de difusión son conocidos por ofrecer.

Los autores posicionan esto como un paso significativo hacia un control de inferencia flexible, ofreciendo una "perilla" para la diversidad que funciona en diferentes familias de modelos (incluyendo modelos de flujo de emparejamiento) sin necesidad de reentrenamiento o datos auxiliares. Reconocen que el método está limitado por la capacidad del modelo subyacente y que el compromiso entre fidelidad y diversidad requiere ajuste por modelo, pero enfatizan que el mecanismo de desplazamiento de tiempo propuesto hace que este compromiso sea manejable y efectivo.