Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold

Sintesi Tecnica: La Generalizzazione del Modello Diffusivo Caratterizzata da Bias Induttivi verso una Varietà a Cresta Dipendente dai Dati

Enunciato del Problema
I modelli diffusivi hanno raggiunto prestazioni all'avanguardia nelle attività generative, tuttavia rimane una questione scientifica critica: quando questi modelli non memorizzano semplicemente i dati di addestramento (ovvero, quando generalizzano), dove risiedono i campioni generati rispetto alla geometria dell'insieme di addestramento? Mentre la teoria classica della generalizzazione si concentra spesso sulla discrepanza tra la distribuzione generata e una distribuzione della popolazione sconosciuta, questo articolo sostiene una prospettiva interamente dipendente dai dati. Gli autori mirano a descrivere esplicitamente e quantitativamente la struttura geometrica che organizza i nuovi campioni prodotti dall'inferenza a tempo inverso, specificamente nei regimi in cui non si verifica memorizzazione.

Metodologia
L'articolo introduce un quadro geometrico centrato su varietà a cresta di densità logaritmica dipendenti dal tempo, costruite a partire dalla distribuzione empirica lisciata dei dati di addestramento.

1. Costruzione della Cresta: Gli autori definiscono una famiglia di insiemi a cresta di densità logaritmica di dimensione $d^*$, $R_t$, derivati dalle distribuzioni marginali in avanti $p_t$. Queste creste rappresentano "massimi locali direzionali" della densità logaritmica, fungendo da geometria di riferimento per il processo di generazione.
2. Meccanismo Raggiungi-Allinea-Scivola: Il contributo teorico fondamentale è la caratterizzazione dell'inferenza a tempo inverso come un processo in tre stadi rispetto a queste creste:
   • Raggiungi: I campioni generati entrano inizialmente in un intorno a tubo della varietà a cresta.
   • Allinea: I campioni si contraggono quindi verso la cresta nelle direzioni normali. L'articolo dimostra che l'entità di questo allineamento è controllata dalla componente normale dell'errore di addestramento (la differenza tra la media posteriore appresa e quella vera proiettata sullo spazio normale).
   • Scivola: Infine, i campioni si muovono lungo la cresta nelle direzioni tangenziali. Questo movimento è controllato dalla componente tangenziale dell'errore di addestramento.
3. Collegamento Addestramento-Geometria: Per collegare la dinamica dell'inferenza all'addestramento, gli autori decompongono la perdita di addestramento in componenti direzionali (normale vs tangenziale). Utilizzano Reti Neurali a Caratteristiche Casuali (RFNN) addestrate mediante discesa del gradiente come setting trattabile e non asintotico per separare esplicitamente gli effetti dell'architettura (errore di approssimazione a larghezza finita) e dell'ottimizzazione (addestramento incompleto dall'inizializzazione).

Contributi Chiave

• Caratterizzazione Geometrica della Generalizzazione: L'articolo stabilisce che la generazione non memorizzante non è casuale ma organizzata da una geometria a cresta dipendente dai dati. Fornisce un preciso meccanismo "raggiungi-allinea-scivola" che spiega come i campioni si concentrino vicino alla cresta e poi si diffondano lungo di essa.
• Decomposizione dell'Errore Direzionale: Gli autori dimostrano che la geometria della generazione è direttamente controllata dalle componenti direzionali dell'errore di addestramento. Nello specifico, l'errore di addestramento normale determina quanto strettamente i campioni si allineano alla cresta, mentre l'errore di addestramento tangenziale determina l'entità della diffusione (scivolamento) lungo la cresta.
• Separazione Architettura vs Ottimizzazione: Nel contesto RFNN, l'articolo mostra che gli errori architetturali a larghezza finita si manifestano principalmente come un "pavimento" per la diffusione tangenziale (prevenendo il collasso sui punti esatti di addestramento), whereas gli errori di ottimizzazione (dipendenti dall'inizializzazione e dalle modalità spettrali) possono ritardare l'allineamento normale.
• Validazione Empirica: Esperimenti su dati sintetici multimodali (punti 2D) e sulla diffusione latente MNIST confermano le previsioni teoriche. I risultati mostrano che i campioni generati esibiscono coerentemente il pattern raggiungi-allinea-scivola, con il grado di diffusione tangenziale controllabile tramite schedule di pesatura della perdita.

Risultati

• Limiti Teorici: L'articolo deriva limiti non asintotici che mostrano come lo spostamento quadratico fuori dalla cresta (errore normale) e la distanza di scorrimento quadratica (errore tangenziale) siano limitati dai contributi cumulativi delle rispettive componenti normale e tangenziale del residuo di addestramento, scalati da fattori dipendenti dal tempo.
• Dati Sintetici: Negli esperimenti 2D con due, tre e quattro punti, i campioni generati sono stati osservati concentrarsi lungo strutture a cresta curve o simili a spigoli piuttosto che collassare sui punti di addestramento. È stato dimostrato che la fase "scivola" è sensibile alla schedule dei pesi della perdita $w(t)$, con diverse schedule che producono gradi variabili di interpolazione tra i punti dati.
• Esperimenti MNIST: Negli esperimenti nello spazio latente ad alta dimensionalità, la distanza media dalla cresta è diminuita rapidamente (fase di allineamento), mentre il movimento tangenziale è diminuito più lentamente e si è stabilizzato. Questo supporta l'affermazione secondo cui l'inferenza trascorre la maggior parte del tempo ad allinearsi alla geometria della cresta, con tempo limitato per uno scorrimento sostanziale verso specifici esempi di addestramento, spiegando così le generazioni intermedie strutturate.

Significato e Affermazioni
L'articolo afferma di offrire un cambiamento di prospettiva dalla discrepanza distribuzionale globale all'organizzazione spaziale dei campioni generati rispetto ai dati osservati. Collegando esplicitamente la geometria della generazione agli errori di addestramento direzionali, il lavoro fornisce una spiegazione meccanicistica del motivo per cui i modelli diffusivi generano campioni non memorizzanti: i bias induttivi della classe di modelli e il processo di ottimizzazione creano specifici errori normali e tangenziali che modellano la traiettoria di generazione.

Gli autori posizionano il loro lavoro come complementare alla letteratura esistente su memorizzazione e bias indotti dall'addestramento. A differenza di lavori che assumono una varietà di popolazione sottostante o si concentrano esclusivamente su metriche di errore aggregate, questo quadro costruisce un oggetto geometrico esplicito e dipendente dal tempo dai dati empirici e analizza la dinamica dell'inferenza rispetto ad esso. L'articolo nota modestamente che la sua decomposizione esplicita a livello di addestramento è attualmente sviluppata per le RFNN come esempio trattabile, fungendo da prova di concetto su come architettura e ottimizzazione modellino congiuntamente la generazione diffusiva attraverso effetti geometrici dipendenti dalla direzione, piuttosto che come modello completo delle moderne architetture profonde.