A Random Matrix Theory Perspective on the Consistency of Diffusion Models

Sintesi Tecnica: Una Prospettiva della Teoria delle Matrici Casuali sulla Consistenza dei Modelli di Diffusione

Enunciato del Problema
I modelli di diffusione addestrati su sottoinsiemi diversi e non sovrapposti dello stesso dataset producono spesso output sorprendentemente simili quando condizionati dallo stesso seed di rumore, anche utilizzando architetture differenti (ad esempio, UNet vs. DiT). Questo fenomeno di "consistenza" contrasta con altri framework generativi come GAN e VAE, dove le rotazioni nello spazio latente portano a una significativa variabilità tra un'esecuzione e l'altra. Sebbene lavori precedenti abbiano osservato questo effetto, i meccanismi sottostanti — specificamente come la dimensione finita del dataset e le statistiche dei dati modellino la stabilità del denoiser appreso e della mappa di campionamento — rimangono teoricamente non spiegati. Il saggio mira a quantificare l'aspettativa e la varianza di queste mappature apprese attraverso split di dati indipendenti, distinguendo tra memorizzazione (dove i modelli riproducono i campioni di addestramento) e generalizzazione (dove catturano regolarità statistiche universali).

Metodologia
Gli autori impiegano la Teoria delle Matrici Casuali (RMT) per analizzare i modelli di diffusione, partendo da un framework di denoiser lineare trattabile prima di estendere le intuizioni a reti profonde.

1. Setting Lineare e Equivalenza Deterministica: Lo strumento tecnico centrale è l'equivalenza deterministica (DE), che permette di sostituire le matrici di covarianza empiriche casuali ($\hat{\Sigma}$) con surrogati deterministici nel limite high-dimensional ($d, n \to \infty$ con $d/n = \gamma$).

   • Gli autori derivano un'equazione auto-consistente per una scala di rumore rinormalizzata, $\kappa(\sigma^2)$, che sostituisce la varianza del rumore grezzo $\sigma^2$ nella covarianza della popolazione $\Sigma$. Questa relazione è governata dall'equazione di Silverstein:
     $$\kappa(\lambda) - \lambda = \gamma \kappa(\lambda) \text{tr}[\Sigma(\Sigma + \kappa(\lambda)I)^{-1}]$$
   • Questo framework viene esteso alle potenze frazionarie di matrici (specificamente $\Sigma^{1/2}$) necessarie per l'intera traiettoria di campionamento (filtro di Wiener) utilizzando rappresentazioni integrali (formula di Balakrishnan) e identità di equivalenza deterministica a due punti.

2. Derivazioni Teoriche:

   • Aspettativa: La teoria prevede che i dati finiti causino il denoiser appreso a operare effettivamente con un livello di rumore più elevato ($\sigma^2 \to \kappa(\sigma^2)$), portando a un "sovra-restringimento" (overshrinkage) delle direzioni a bassa varianza verso la media del dataset.
   • Fluttuazione (Varianza): La varianza del denoiser attraverso gli split del dataset è mostrata essere fattorizzabile in tre componenti:
     • Anisotropia: L'incertezza è massimizzata lungo i modi eigen dove l'autovalore della popolazione $\lambda_k$ corrisponde al rumore rinormalizzato $\kappa(\sigma^2)$.
     • Inomogeneità: L'incertezza è amplificata per punti di input spostati lungo direzioni ad alta varianza.
     • Scaling Globale: La varianza complessiva scala inversamente con la dimensione del dataset $n$, modificata dagli effetti di rinormalizzazione a $n$ più piccoli.

3. Validazione Empirica: Le previsioni teoriche sono validate contro modelli di diffusione profondi (UNet e DiT) addestrati su vari dataset (FFHQ, AFAFQ, CIFAR, LSUN) a diverse dimensioni di dataset ($n \in \{300, 1000, \dots, 30000\}$). Lo studio distingue tra un regime di memorizzazione (piccolo $n$, dove i modelli riproducono i dati di addestramento) e un regime di rinormalizzazione/generalizzazione (grande $n$, dove i modelli si allineano al predittore gaussiano lineare).

Contributi Chiave

• Origine Lineare della Consistenza: Il saggio dimostra che le statistiche Gaussiane condivise (media e covarianza) attraverso gli split dei dati sono sufficienti a predire l'accordo tra gli split, spiegando perché i denoiser lineari mostrano già un'alta consistenza.
• Rinormalizzazione da Campioni Finiti: Formalizza come i dataset finiti inducano una scala di rumore rinormalizzata $\sigma^2 \to \kappa(\sigma^2)$, spiegando il sistematico sovra-restringimento dei modi a bassa varianza e l'attrazione verso la media del dataset.
• Legge della Varianza: Gli autori derivano una formula di varianza fattorizzata per il disaccordo tra gli split, identificando anisotropia (dipendenza dalla varianza del modo eigen), inomogeneità (dipenza dalla posizione dell'input) e scaling globale (dipendenza da $n$) come i tre fattori governanti.
• Equivalenza di Potenza Frazionaria: Il lavoro estende gli strumenti di equivalenza deterministica alle potenze frazionarie delle matrici, consentendo previsioni in forma chiusa per intere traiettorie di campionamento, non solo per il denoising a singolo step.
• Validazione su Reti Profonde: Il saggio conferma che questi principi RMT lineari governano qualitativamente la consistenza dei modelli profondi UNet e DiT nel regime di non-memorizzazione, prevedendo dove e come i campioni deviano tra gli split.

Risultati

• Meccanismo di Consistenza: Gli esperimenti mostrano che i modelli di diffusione addestrati su split disgiunti generano immagini visivamente simili partendo dallo stesso seed di rumore. Questa somiglianza è catturata da un predittore gaussiano lineare (filtro di Wiener) utilizzando i momenti empirici degli split.
• Sovra-restringimento (Overshrinkage): Nel regime di generalizzazione, i campioni generati mostrano una varianza ridotta lungo i modi eigen medio-bassi rispetto alla distribuzione della popolazione, effettuando efficacemente un "sovra-restringimento" verso la media. Questo bias svanisce all'aumentare di $n$, quando lo spettro empirico converge allo spettro della popolazione.
• Anisotropia e Inomogeneità:
  • Spettrale: Il disaccordo tra i modelli addestrati su diversi split è massimo per i modi eigen dove l'autovalore $\lambda_k \approx \kappa(\sigma^2)$. I modi eigen inferiori (dettagli fini) richiedono dataset significativamente più grandi per raggiungere la consistenza rispetto ai modi eigen superiori (struttura globale).
  • Spaziale: I campioni generati da seed di rumore che proiettano fortemente sulle direzioni ad alta varianza del manifold dei dati esibiscono deviazioni tra gli split più marcate.
• Allineamento delle Reti Profonde: Nei modelli addestrati nel regime di non-memorizzazione ($n \ge 3000$ per FFHQ64), i campioni delle reti profonde convergono verso il predittore lineare. Le previsioni RMT dell'inomogeneità spaziale (quali seed producono maggiori deviazioni) correlano significativamente con l'MSE empirico tra gli split nelle reti profonde (ad esempio, Spearman $r \approx 0.33$ per UNet su FFHQ64 con $n=30k$).
• Controfattuali: Quando i dati di addestramento sono intenzionalmente partizionati per creare un mismatch tra media o covarianza (ad esempio, stratificando per una componente principale), l'effetto di consistenza si interrompe, confermando che le statistiche Gaussiane condivise sono il motore del fenomeno.

Significatività
Il saggio fornisce una base strutturata per la riproducibilità nell'addestramento della diffusione. Collegando le proprietà spettrali dei dati alla stabilità degli output generativi, chiarisce che la straordinaria consistenza dei modelli di diffusione non deriva solo da complessi bias induttivi architettonici, ma dalla stabilità delle statistiche gaussiane sottostanti condivise tra gli split dei dati. Il lavoro suggerisce che la "creatività" o la generalizzazione dei modelli di diffusione è vincolata da queste regolarità statistiche lineari, offrendo una spiegazione teorica del perché modelli addestrati indipendentemente mappano spesso lo stesso seed di rumore verso strutture simili. Questo framework aiuta a distinguere tra vera generalizzazione e memorizzazione, fornendo uno strumento per prevedere l'affidabilità dei campioni generati in base alla dimensione del dataset e allo spettro dei dati.