Resumen Técnico: Muestreo de Difusión con Ruido Coloreado (CNS)

Enunciado del Problema

Los modelos de difusión han establecido un rendimiento de vanguardia en la síntesis de imágenes, sin embargo, sus trayectorias generativas exhiben un sesgo espectral fundamental: resuelven las estructuras globales de baja frecuencia al inicio del proceso de muestreo y los detalles finos de alta frecuencia más tarde. Los solucionadores convencionales de Ecuaciones Diferenciales Estocásticas (SDE) no tienen en cuenta esta dinámica. Inyectan ingenuamente ruido blanco uniforme durante todo el proceso de generación, tratando todas las bandas de frecuencia por igual. Este enfoque malgasta el "presupuesto de energía" finito del proceso estocástico, asignando energía de ruido a bandas de frecuencia que ya están resueltas estructuralmente, mientras descuida aquellas que van rezagadas. En consecuencia, las SDE estándar a menudo no logran recuperar perfectamente la densidad espectral de potencia (PSD) de la variedad de datos real, lo que genera una "brecha espectral" entre las imágenes generadas y las reales.

Las soluciones existentes alteran el marco de entrenamiento (requiriendo un reentrenamiento costoso) o aplican modificaciones en tiempo de inferencia que tratan al solucionador estocástico subyacente como una caja negra estática (por ejemplo, operaciones desacopladas por frecuencia o ajustes del tamaño de paso). Estos métodos permanecen limitados por su dependencia de solucionadores espectralmente uniformes.

Metodología: Muestreo con Ruido Coloreado (CNS)

Los autores proponen el Muestreo con Ruido Coloreado (CNS), un solucionador estocástico novedoso y libre de entrenamiento que explota activamente el sesgo espectral inherente del modelo. La idea central es que la inferencia SDE puede reencuadrarse como una transferencia de energía dirigida y desacoplada por frecuencia.

1. Marco Matemático

Los autores establecen que la inferencia de difusión actúa como un mecanismo de transferencia que preserva la señal. Si bien el ruido inicial se conserva en cierto grado, los incrementos estocásticos inyectados por los solucionadores SDE a lo largo de la trayectoria también se mapean directamente a las características espaciales de la imagen final. Crucialmente, este mapeo es desacoplado por frecuencia: el ruido inyectado en una banda de frecuencia específica se mapea a características espaciales en esa misma banda.

Los autores demuestran que el requisito clásico de Langevin para un ruido blanco uniforme puede relajarse de forma segura. Al asegurar que la energía total inyectada por paso permanezca normalizada (una restricción global de conservación de la varianza), los estados intermedios no se desvían de la distribución, incluso si cambia la composición espectral del ruido.

2. El Algoritmo CNS

CNS reemplaza la inyección de ruido blanco uniforme con una programación dinámica dependiente del paso de tiempo y de la frecuencia.

• Seguimiento de Progreso: El método utiliza un índice de progreso acotado, $\gamma(f, t)$, que mide cuánto de la estructura final de una banda de frecuencia específica ha sido resuelto por la red en el paso de tiempo $t$. Las bajas frecuencias se resuelven temprano ($\gamma \to 1$), mientras que las altas frecuencias se resuelven tarde.
• Asignación Dinámica: CNS calcula un peso de escalado $\beta_f(t)$ para cada banda de frecuencia. Este peso es inversamente proporcional a la resolución estructural de la banda. Específicamente, el multiplicador de varianza es proporcional al déficit estructural ($1 - \gamma(f, t)$).
  • Las bandas que están completamente resueltas ($\gamma \approx 1$) reciben menos energía inyectada (atenuación).
  • Las bandas que están estructuralmente no resueltas ($\gamma \approx 0$) reciben más energía inyectada (amplificación).
• Restricción Global: Para mantener la estabilidad, los pesos de escalado se normalizan de modo que la energía inyectada promedio a través de todas las dimensiones permanezca constante: $\frac{1}{D}\sum \beta_f^2(t) = 1$. Esto trata la inyección de ruido como un juego de suma cero, reasignando energía de las bandas "resueltas" a las bandas "rezagadas".

3. Implementación

CNS se implementa como una sustitución plug-and-play para los solucionadores SDE estándar (por ejemplo, Euler-Maruyama, Heun, SRK). No requiere reentrenamiento del modelo y opera enteramente en tiempo de inferencia. El algoritmo colorea dinámicamente el incremento de ruido en cada paso basándose en el perfil espectral del estado actual.

Contribuciones Clave

1. Marco Teórico: El artículo establece un marco matemático que reencuadra la inyección de ruido SDE como una transferencia de energía dirigida. Demuestra que el requisito estricto de ruido blanco espectralmente uniforme puede relajarse para resolver brechas espectrales sin empujar los estados intermedios fuera de distribución.
2. Nuevo Solucionador (CNS): La introducción del Muestreo con Ruido Coloreado, un solucionador estocástico libre de entrenamiento que asigna dinámicamente la energía del ruido inyectado hacia las bandas de frecuencia estructuralmente no resueltas, aprovechando activamente el sesgo espectral del modelo.
3. Validación Empírica: Experimentos extensos en diversas arquitecturas (SiT, JiT, FLUX) y modalidades (espacio de píxeles, espacio latente, texto a imagen) demuestran que CNS supera significativamente a las líneas base estándar de ODE y SDE.

Resultados Experimentales

Los autores evalúan CNS en ImageNet-256 y en benchmarks de texto a imagen (FLUX), midiendo el rendimiento mediante la Distancia Fréchet Inception (FID), FID espacial (sFID), Puntuación Inception (IS) y métricas de preferencia humana.

• Generación Condicional a Clases (ImageNet-256):
  • SiT-XL/2: CNS reduce el FID no guiado de 8.26 (SDE) a 6.27.
  • JiT-B/16: CNS reduce el FID no guiado de 32.39 (SDE) a 26.69.
  • JiT-H/16: CNS reduce el FID no guiado de 11.88 (SDE) a 8.31.
  • CNS también produce mejoras relativas consistentes en FID cuando se utiliza con Guía Libre de Clasificador (CFG), oscilando entre ~8% y ~50% sobre las líneas base.
• Generación de Texto a Imagen (FLUX):
  • La integración en FLUX.1-dev y FLUX.2-klein mejora las puntuaciones automáticas de preferencia humana (ImageReward) y las puntuaciones estéticas, manteniendo la alineación semántica (CLIPScore).
• Robustez: CNS supera consistentemente al muestreo estándar a través de diversos pasos de discretización y órdenes de solucionador (del 1º al 5º orden).
• Ortogonalidad: CNS proporciona mejoras incluso cuando se aplica a modelos entrenados con distribuciones de ruido alternativas (por ejemplo, Ruido Azul para Modelos de Difusión), confirmando su utilidad general.

Significado y Afirmaciones

El artículo afirma que CNS aborda una ineficiencia fundamental en los solucionadores SDE de difusión estándar: la inyección uniforme y derrochadora de ruido blanco. Al reconceptualizar la inferencia como una transferencia de energía dirigida, CNS dirige sistemáticamente la distribución generada hacia la variedad de datos real.

Los autores enfatizan que CNS es una solución estrictamente plug-and-play. Mejora la fidelidad de la generación y la calidad visual sin requerir ningún reentrenamiento del modelo ni modificación de la arquitectura de red subyacente. El trabajo sugiere que la "brecha espectral" en las imágenes generadas no es meramente un error numérico, sino el resultado de una asignación de energía desalineada, la cual puede corregirse coloreando dinámicamente el ruido para que coincida con la curva de aprendizaje estructural del modelo.

Limitaciones: Los autores señalan que CNS depende del marco SDE y, por lo tanto, es incompatible con los solucionadores deterministas ODE, que siguen siendo preferibles para inferencia ultra rápida con pocos pasos. Se sugiere trabajo futuro para explorar la extensión del enrutamiento de energía dependiente de la frecuencia a paradigmas deterministas y aplicar el método a la generación de video.