A Random Matrix Theory Perspective on the Consistency of Diffusion Models

Resumen Técnico: Una perspectiva de la Teoría de Matrices Aleatorias sobre la consistencia de los modelos de difusión

Planteamiento del problema
Los modelos de difusión entrenados en subconjuntos diferentes y no superpuestos de un mismo conjunto de datos suelen producir salidas sorprendentemente similares cuando se condicionan a la misma semilla de ruido, incluso utilizando arquitecturas distintas (por ejemplo, UNet frente a DiT). Este fenómeno de "consistencia" contrasta con otros marcos generativos como las GAN o los VAE, donde las rotaciones del espacio latente conducen a una variabilidad significativa entre ejecuciones. Aunque trabajos previos han observado este efecto, los mecanismos subyacentes —específicamente cómo el tamaño finito del conjunto de datos y las estadísticas de los datos moldean la estabilidad del denoiser aprendido y el mapa de muestreo— permanecen sin una explicación teórica. El artículo busca cuantificar la esperanza y la varianza de estos mapeos aprendidos a través de divisiones de datos independientes, distinguiendo entre memorización (donde los modelos reproducen muestras de entrenamiento) y generalización (donde capturan regularidades estadísticas universales).

Metodología
Los autores emplean la Teoría de Matrices Aleatorias (RMT) para analizar los modelos de difusión, comenzando con un marco de denoiser lineal tratable antes de extender las ideas a redes profundas.

1. Entorno lineal y equivalencia determinista: La herramienta técnica central es la equivalencia determinista (DE), que permite reemplazar las matrices de covarianza empíricas aleatorias ($\hat{\Sigma}$) por sustitutos deterministas en el límite de alta dimensión ($d, n \to \infty$ con $d/n = \gamma$).

   • Los autores derivan una ecuación autoconstante para una escala de ruido renormalizada, $\kappa(\sigma^2)$, que reemplaza la varianza de ruido bruta $\sigma^2$ en la covarianza de la población $\Sigma$. Esta relación está gobernada por la ecuación de Silverstein:
     $$\kappa(\lambda) - \lambda = \gamma \kappa(\lambda) \text{tr}[\Sigma(\Sigma + \kappa(\lambda)I)^{-1}]$$
   • Este marco se extiende a potencias de matrices fraccionarias (específicamente $\Sigma^{1/2}$) requeridas para la trayectoria completa de muestreo (filtro de Wiener) mediante representaciones integrales (fórmula de Balakrishnan) e identidades de equivalencia determinista de dos puntos.

2. Derivaciones teóricas:

   • Esperanza: La teoría predice que los datos finitos causan que el denoiser aprendido opere efectivamente con un nivel de ruido más alto ($\sigma^2 \to \kappa(\sigma^2)$), lo que conduce a un "sobreencogimiento" (overshrinkage) de las direcciones de baja varianza hacia la media del conjunto de datos.
   • Fluctuación (Varianza): Se demuestra que la varianza del denoiser a través de las divisiones del conjunto de datos se factoriza en tres componentes:
     • Anisotropía: La incertidumbre se maximiza a lo largo de los modos propios donde el autovalor de la población $\lambda_k$ coincide con la escala de ruido renormalizada $\kappa(\sigma^2)$.
     • Inhomogeneidad: La incertidumbre se amplifica para puntos de entrada desplazados a lo largo de direcciones de alta varianza.
     • Escalamiento Global: La varianza general escala inversamente con el tamaño del conjunto de datos $n$, modificado por los efectos de renormalización en $n$ pequeños.

3. Validación empírica: Las predicciones teóricas se validan contra modelos de difusión profundos (UNet y DiT) entrenados en diversos conjuntos de datos (FFHQ, AFHQ, CIFAR, LSUN) con diferentes tamaños de dataset ($n \in \{300, 1000, \dots, 30000\}$). El estudio distingue entre un régimen de memorización (pequeño $n$, donde los modelos reproducen los datos de entrenamiento) y un régimen de renormalización/generalización (mayor $n$, donde se alinean con el predictor Gaussiano lineal).

Contribuciones clave

• Origen lineal de la consistencia: El artículo demuestra que las estadísticas Gaussianas compartidas (media y covarianza) a través de las divisiones de datos son suficientes para predecir la concordancia entre divisiones, explicando por qué los denoisers lineales ya exhiben una alta consistencia.
• Renormalización de muestra finita: Formaliza cómo los conjuntos de datos finitos inducen una escala de ruido renormalizada $\sigma^2 \to \kappa(\sigma^2)$, explicando el sobreencogimiento sistemático de los modos de baja varianza y la atracción hacia la media del conjunto de datos.
• Ley de la varianza: Los autores derivan una fórmula de varianza factorizada para el desacuerdo entre divisiones, identificando la anisotropía (dependencia de la varianza del modo propio), la inhomogeneidad (dependencia de la ubicación de la entrada) y el escalamiento global (dependencia de $n$) como los tres factores gobernantes.
• Equivalencia de potencia fraccionaria: El trabajo extiende las herramientas de equivalencia determinista a potencias de matrices fraccionarias, permitiendo predicciones de forma cerrada para trayectorias completas de muestreo, no solo para la eliminación de ruido de un solo paso.
• Validación de redes profundas: El artículo confirma que estos principios de RMT lineal gobiernan cualitativamente la consistencia de los modelos UNet y DiT profundos en el régimen de no-memorización, prediciendo dónde y cómo divergen las muestras entre divisiones.

Resultados

• Mecanismo de consistencia: Los experimentos muestran que los modelos de difusión entrenados en divisiones disjuntas generan imágenes visualmente similares a partir de la misma semilla de ruido. Esta similitud es capturada por un predictor Gaussiano lineal (filtro de Wiener) utilizando los momentos empíricos de las divisiones.
• Sobreencogimiento (Overshrinkage): En el régimen de generalización, las muestras generadas exhiben una varianza reducida a lo largo de los modos propios de baja a media magnitud en comparación con la distribución de la población, efectivamente "sobreencogiendo" hacia la media. Este sesgo desaparece a medida que $n$ aumenta y el espectro empírico converge al espectro de la población.
• Anisotropía e Inhomogeneidad:
  • Espectral: El desacuerdo entre modelos entrenados en diferentes divisiones es mayor para los modos propios donde el autovalor $\lambda_k \approx \kappa(\sigma^2)$. Los modos propios inferiores (detalles finos) requieren conjuntos de datos significativamente más grandes para lograr la consistencia en comparación con los modos propios superiores (estructura global).
  • Espacial: Las muestras generadas de semillas de ruido que proyectan fuertemente sobre las direcciones de alta varianza del manifold de datos exhiben mayores desviaciones entre divisiones.
• Alineación de redes profundas: En el régimen de no-memorización ($n \ge 3000$ para FFHQ64), las muestras de redes profundas convergen hacia el predictor lineal. Las predicciones de RMT sobre la inhomogeneidad espacial (qué semillas producen mayores desviaciones) se correlacionan significamente con el MSE empírico entre divisiones en redes profundas (por ejemplo, Spearman $r \approx 0.33$ para UNet en FFHQ64 con $n=30k$).
• Contrafácticos: Cuando los datos de entrenamiento se particionan intencionalmente para que no coincidan en media o covarianza (por ejemplo, estratificando por un componente principal), el efecto de consistencia se rompe, confirmando que las estadísticas Gaussianas compartidas son el motor del fenómeno.

Significancia
El artículo proporciona una base fundamentada para la reproducibilidad en el entrenamiento de difusión. Al vincular las propiedades espectrales de los datos con la estabilidad de los resultados generativos, aclara que la notable consistencia de los modelos de difusión no surge únicamente de los sesgos inductivos arquitectónicos complejos, sino de la estabilidad de las estadísticas Gaussianas subyacentes compartidas entre las divisiones de datos. El trabajo sugiere que la "creatividad" o generalización de los modelos de difusión está constreñida por estas regularidades estadísticas lineales, ofreciendo una explicación teórica de por qué modelos entrenados independientemente suelen mapear la misma semilla de ruido hacia estructuras similares. Este marco ayuda a distinguir entre la verdadera generalización y la memorización, proporcionando una herramienta para predecir la fiabilidad de las muestras generadas basándose en el tamaño del conjunto de datos y su espectro de datos.