Riepilogo Tecnico: Comprendere i Modelli di Diffusione Richiede una Riformulazione della Generalizzazione

Enunciato del Problema

Il paper sostiene che la comprensione della generalizzazione nei modelli di diffusione non può basarsi sulla teoria classica dell'apprendimento statistico (ad es. dimensione di VC, complessità di Rademacher) o sul paradigma del "benign overfitting" sviluppato per l'apprendimento supervisionato. Nell'apprendimento supervisionato, l'interpolazione (memorizzazione) e la generalizzazione possono coesistere. Al contrario, per i modelli di diffusione addestrati tramite score matching per la rimozione del rumore, raggiungere il minimo globale del rischio empirico corrisponde alla funzione di score della misura empirica rumorosa—una miscela di Gaussiane centrate sui punti di addestramento. Il campionamento da questo minimo produce copie quasi esatte dei dati di addestramento piuttosto che campioni nuovi.

Sebbene i modelli di diffusione pratici generino dati nuovi e diversificati, implicando che una qualche forma di regolarizzazione prevenga la piena memorizzazione, le spiegazioni teoriche di questo fenomeno rimangono frammentate. La letteratura esistente attribuisce ciò a tre fattori distinti: (i) limitazioni di capacità rispetto alla dimensione del dataset, (ii) regolarizzazione implicita derivante dalla dinamica di ottimizzazione (ad es. arresto anticipato, tasso di apprendimento) e (iii) bias induttivi architetturali. Il paper ipotizza che le interazioni tra questi fattori siano poco comprese e che il campo si sia concentrato eccessivamente sul perché i modelli non memorizzano, piuttosto che su cosa apprendono durante la fase pre-memorizzazione.

Metodologia

Per colmare queste lacune, gli autori conducono uno studio empirico utilizzando architetture U-Net addestrate sul dataset CIFAR-10. Lo studio è progettato come un'indagine a scala intermedia, colmando il divario tra le analisi teoriche su dati Gaussiani e i sistemi pratici su larga scala.

Setup Sperimentale:

• Dati: Vengono utilizzati i primi $N$ campioni del set di addestramento di CIFAR-10, con $N$ che varia tra $\{2048, 4096, 8192, 16384\}$. La valutazione utilizza un set di test fisso di 5.120 campioni.
• Architettura: U-Net con diversi conteggi di parametri ($P \in \{3M, 8M, 26M, 93M, 201M\}$).
• Addestramento: Formulazione del flusso rettificato con 250 passaggi di campionamento e forza di guida senza classificatore pari a 0,0.
• Sweep degli Iperparametri: Variazione sistematica della dimensione del dataset ($N$), della dimensione del modello ($P$), della dimensione del batch ($B \in \{16, 32, 64, 128\}$) e del tasso di apprendimento ($\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$).

Metriche:
Gli autori tracciano quattro quantità chiave sia sulle partizioni di addestramento che di test:

1. Perdita di Score Matching per la Rimozione del Rumore: Calcolata su un singolo batch (addestramento) e sull'intero set (test).
2. Punteggio di Memorizzazione: Il rapporto tra i campioni generati con alta similarità coseno (>0,6) rispetto ai dati di addestramento in uno spazio di caratteristiche auto-supervisionato (SSCD).
3. Distanza Wasserstein Tagliata: Calcolata tra i campioni generati e le partizioni di riferimento nello spazio delle caratteristiche Inception.
4. FID (Fréchet Inception Distance): Calcolata tra i campioni generati e le partizioni di riferimento.

Lo studio definisce il tempo di memorizzazione ($\tau_{mem}$) come il punto in cui la perdita di test inizia a divergere dalla perdita di addestramento. Distingue tra novità (assenza di memorizzazione, $\tau < \tau_{mem}$) e fedeltà (qualità/accuratezza distribuzionale).

Contributi e Risultati Chiave

1. Rivalutazione del "Perché" della Non-Memorizzazione

Gli autori confermano che la transizione verso la memorizzazione è sistematica e osservabile. Validano che il tempo necessario per la memorizzazione ($\tau_{mem}$) scala linearmente con la dimensione del dataset. Ciò supporta la conclusione che la questione del perché i modelli pratici su larga scala non memorizzino sia in gran parte risolta: il tempo di addestramento richiesto per raggiungere la fase di memorizzazione supera semplicemente i budget ragionevoli. Gli autori sostengono che il campo dovrebbe spostarsi dall'esplicare l'assenza di memorizzazione all'analisi della fase pre-memorizzazione.

2. Limiti delle Metriche Standard

Una scoperta critica è che le metriche distribuzionali standard (Wasserstein tagliata, FID) non riescono a disaccoppiare la novità dalla fedeltà.

• Divario Train-Test: A differenza dell'apprendimento supervisionato, il divario train-test nella distanza distribuzionale è non informativo. Poiché i set di addestramento e test sono estratti dalla stessa distribuzione, la distanza dai campioni generati a entrambi i set rimane quasi identica anche mentre il modello passa dalla generazione di immagini nuove alla copia dei dati di addestramento.
• Double Descent: Gli autori osservano un fenomeno di "double descent" nelle distanze distribuzionali (FID e Wasserstein tagliata) per entrambi i set di addestramento e test. Ciò contraddice le teorie classiche del double descent dove le metriche train e test divergono. Invece, il modello raggiunge uno stato intermedio con bassa perdita di addestramento ma scarsa allineamento distribuzionale, suggerendo che il fenomeno è guidato puramente dalla dinamica di ottimizzazione piuttosto che da argomenti legati alla capacità.

3. Ruoli Distinti di Dimensione del Dataset e del Modello

Lo studio rivela che la dimensione del dataset e la dimensione del modello svolgono ruoli opposti nella dinamica di addestramento:

• Dimensione del Dataset: Aumentare $N$ ritarda l'insorgenza della memorizzazione e migliora la fedeltà di picco.
• Dimensione del Modello: Aumentare $P$ accelera l'insorgenza della memorizzazione ma migliora anche la fedeltà di picco.
  Ciò suggerisce che la generalizzazione nei modelli di diffusione non può essere spiegata esclusivamente dal rapporto tra capacità del modello e dimensione del campione; la traiettoria attraverso lo spazio dei parametri plasmata dalla dinamica di ottimizzazione è un fattore distinto.

4. Iperparametri di Ottimizzazione e Fedeltà

Gli autori scoprono che gli iperparametri di ottimizzazione influenzano significativamente la fedeltà prima che si verifichi la memorizzazione:

• Dimensione del Batch: Batch più piccoli portano a una migliore fedeltà di picco (minima distanza distribuzionale inferiore) senza alterare significativamente il tasso di memorizzazione o il tempo di insorgenza. Ciò si allinea con la letteratura sulla "stabilità minima", ma si manifesta lungo la traiettoria di addestramento piuttosto che alla convergenza.
• Tasso di Apprendimento: Tassi di apprendimento più elevati migliorano la fedeltà di picco e ritardano l'insorgenza normalizzata della memorizzazione. Ciò supporta l'ipotesi del "bordo della stabilità", ma ancora una volta, l'effetto è osservato durante la traiettoria, non solo nella soluzione finale.

Significato e Posizionamento

Il paper afferma che il quadro teorico per la generalizzazione nei modelli di diffusione richiede un cambiamento fondamentale. Gli autori sostengono che:

1. Il "Perché" è Risolto: La mancanza di memorizzazione nelle applicazioni su larga scala è spiegata dalla scalabilità lineare del tempo di memorizzazione con la dimensione del dataset combinata con l'arresto anticipato.
2. Il "Cosa" è la Domanda Aperta: La principale sfida teorica è comprendere cosa viene appreso durante la fase pre-memorizzazione e come novità e fedeltà emergono congiuntamente dall'interazione tra ottimizzazione, architettura e geometria dei dati.
3. Necessità di un Nuovo Quadro: I divari di generalizzazione classici (nello spazio della perdita o distribuzionale) sono insufficienti per i modelli generativi. La perdita di addestramento (score matching) è un proxy indiretto per la qualità del campione, e le metriche standard non riescono a distinguere tra un modello che generalizza e uno che memorizza.

Gli autori concludono che la ricerca futura deve concentrarsi sullo sviluppo di metriche che catturino la distinzione tra copia e generalizzazione e sulla formulazione di una teoria della regolarizzazione implicita che descriva le proprietà degli iterati intermedi nello score matching, piuttosto che solo la soluzione finale convergente.