Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise

Resumen Técnico: Heterocedasticidad del Denoising Score Matching con Ruido Suave Generalizado

Planteamiento del Problema
El Denoising Score Matching (DSM) se ha convertido en el sustituto tratable estándar para el Score Matching (SM) en el modelado generativo moderno, particularmente en modelos de energía y de difusión. Si bien el trabajo fundacional de Vincent (2011) estableció que los gradientes esperados de los objetivos de DSM y SM son equivalentes, lo que lleva a la suposición de que el DSM es un sustituto "gratuito", este artículo argumenta que esta equivalencia es incompleta. Los autores demuestran que el DSM no es simplemente una aproximación ruidosa del SM, sino que introduce una diferencia estadística fundamental: una heterocedasticidad inherente. En el DSM, la varianza de los objetivos de regresión (los denominados denoising scores) fluctúa de manera impredecible según el nivel de ruido y la geometría local de la distribución subyacente de los datos. Esta varianza dependiente de la entrada crea un umbral de ruido irreducible que desestabiliza la dinámica de entrenamiento y conduce a estimadores estadísticamente ineficientes si no se abordan.

Metodología
El artículo desarrolla un marco estadístico riguroso para analizar y corregir esta heterocedasticidad a través de funciones de score de orden arbitrario y distribuciones de ruido suave generalizadas (extendiéndose más allá de las suposiciones gaussianas estándar).

1. Derivación Teórica de la Heterocedasticidad:

   • Los autores derivan una recursión iterativa para funciones de score de orden arbitrario (Teorema 3.3) aplicable a distribuciones de ruido suave generalizadas.
   • Utilizando una descomposición pitagórica de la pérdida $L_2$, demuestran que el objetivo de DSM contiene un término de varianza irreducible ($tr \, E[V_{x_0|xt}(h_k)]$) que no existe en el objetivo de SM real (Teorema 3.5).
   • Muestran que este término depende dinámicamente de la entrada $x_t$ y del nivel de ruido $t$, actuando como un "umbral de ruido subyacente e inevitable" que desestabiliza los gradientes de los parámetros y los parámetros del modelo (Lema 3.8).

2. Ponderación Óptima de Godambe:

   • Para contrarrestar esta heterocedasticidad, los autores derivan la función de ponderación óptima de varianza (Godambe) (Lema 3.10). Esta matriz de pesos ideales $W$ es la inversa de la varianza condicional del objetivo de denoising ($W = V_{x_0|xt}[h_k]^{-1}$).
   • Aplicar este peso teóricamente vuelve el objetivo homocedástico y recupera el Mejor Estimador Lineal Insesgado (BLUE, por sus siglas en inglés) en entornos ideales.
   • Sin embargo, los autores señalan que esta solución óptima depende de cantidades intratables (momentos de orden superior condicionales o curvatura local) en entornos de alta dimensión, lo que hace que la corrección exacta sea impracticable.

3. Aproximación Práctica:

   • Reconociendo la intratabilidad computacional de los pesos óptimos, los autores proponen una aproximación mediante una expansión de Taylor de primer orden (Lema 3.12).
   • Esta aproximación se basa en la información de Fisher de la distribución de ruido en lugar de la curvatura dependiente de los datos.
   • Crucialmente, identifican un compromiso fundamental: mientras que la ponderación ideal minimiza la varianza asintótica del estimador, puede aumentar la varianza de los gradientes estocásticos durante el entrenamiento. Por el contrario, la aproximación reduce la varianza del gradiente (mejorando la estabilidad de la optimización) a costa de la eficiencia estadística (Lema 3.14).

Contribuciones Clave

• Heterocedasticidad Intrínseca del DSM: El artículo demuestra que el DSM induce una varianza dependiente de la entrada determinada por los niveles de ruido y la geometría de los datos, estableciendo una brecha estadística fundamental entre el DSM y el SM (Teorema 3.5).
• Ponderación Óptima y Límites: Los autores derivan la ponderación óptima de Godambe para restaurar la homocedasticidad, pero demuestran su dependencia de cantidades intratables, resaltando los límites prácticos de la corrección exacta (Lema 3.10).
• Fundamentación Teórica para Heurísticas: El marco se generaliza a órdenes de score arbitrarios y distribuciones de ruido. Proporciona una justificación teórica para la heurística de ponderación $\sigma_t^2$ ampliamente utilizada en la difusión gaussiana isotrópica, mostrando que esta emerge como una instancia específica de la propuesta de aproximación (Lema 3.12).
• Compromiso entre Estadística y Optimización: El trabajo clarifica que la ponderación estadísticamente óptima puede aumentar la varianza del gradiente, mientras que las ponderaciones aproximadas (heurísticas) mejoran la estabilidad de la optimización pero producen estimadores subóptimos (Lema 3.8).

Resultados
Los autores validan su teoría mediante experimentos en conjuntos de datos sintéticos y estándar:

• Estimación de Score de Segundo Orden: En un Modelo de Mezcla Gaussiana (GMM), el DSM sin ponderar exhibió una inestabilidad severa y una convergencia pobre. Tanto el esquema de ponderación ideal como el aproximado mediante Taylor estabilizaron el entrenamiento. Sin embargo, la ponderación ideal previno completamente la divergencia en etapas tardías observada en la aproximación ante niveles bajos de ruido.
• Ruido No Gaussiano: Experimentos en un conjunto de datos de Mezcla de Cauchy 1D corrompido por diversas familias de ruido (Cauchy, Normal Generalizada, Laplace, Student-t) mostraron que el entrenamiento sin pesos resultó en una degradación severa del rendimiento (alto MAPE). La aplicación de los pesos óptimos de primer orden derivados redujo sustancialmente el Error Porcentual Absoluto Medio (MAPE) en todas las distribuciones de ruido.
• Varianza del Gradiente: El análisis empírico de los gradientes de los parámetros del modelo reveló que, mientras los pesos ideales minimizan la varianza de los parámetros asintóticamente, los pesos aproximados (heurísticos) logran una varianza de gradiente significativamente menor durante el entrenamiento, particularmente a medida que aumentan los niveles de ruido. Esto confirma el compromiso teórico entre la eficiencia estadística y la estabilidad de la optimización.
• Conjuntos de Datos de Alta Dimensión: En conjuntos de datos generativos estándar (Spiral, Moons, MNIST, CIFAR-10), la incorporación de la aproximación de primer orden o de estimaciones de curvatura basadas en Hutchinson proporcionó mejoras menores pero consistentes en el modelado de la distribución (menor MAPE) en comparación con las líneas base sin ponderar.

Significancia y Reivindicaciones
El artículo afirma cambiar fundamentalmente la comprensión del DSM de un sustituto "gratuito" del SM a un problema de estimación distinto con su propia estructura de ruido. Al formalizar el DSM como un problema de estimación heterocedástica, el trabajo:

1. Explica el éxito empírico de las heurísticas existentes (como la ponderación $\sigma_t^2$) al tiempo que clarifica sus limitaciones para capturar geometrías locales complejas.
2. Proporciona un marco principista para derivar funciones de ponderación para modelos de difusión no gaussianos y de orden superior, llenando un vacío donde anteriormente no existían estrategias heurísticas.
3. Destaca que mejorar el DSM requiere equilibrar la eficiencia estadística frente a la estabilidad de la optimización, sugiriendo que el trabajo futuro debe navegar este compromiso en lugar de optimizar uno de forma aislada.

Los autores mantienen la modestia, reconociendo que su aproximación depende de la información de Fisher e ignora la heterocedasticidad residual de las geometrías de objetivos complejas. Observan que trasladar estos objetivos estabilizados a una generación eficiente en entornos no gaussianos requerirá muestreadores especializados para manejar las posibles discontinuidades en las Ecuaciones Diferenciales Estocásticas (SDEs).