Adynamical systems view of training generativemodels and the memorization phenomenon

Riepilogo Tecnico: Una Prospettiva di Sistemi Dinamici sull'Addestramento di Modelli Generativi e il Fenomeno della Memorizzazione

Enunciato del Problema
Il documento affronta il fenomeno della "memorizzazione" nei modelli generativi, in particolare nei modelli di diffusione. Sperimentalmente, durante il processo di addestramento, questi modelli entrano occasionalmente in fasi in cui rigenerano gli stessi campioni o campioni altamente simili per durate significative, anziché produrre output diversificati. Mentre la letteratura esistente analizza spesso questo aspetto attraverso la meccanica statistica statica o la termodinamica del paesaggio della funzione di perdita, questo lavoro propone una prospettiva di sistemi dinamici. Gli autori sostengono che la memorizzazione non è meramente una proprietà statica del paesaggio della funzione di perdita, bensì un comportamento emergente dell'evoluzione temporale dell'algoritmo di addestramento, specificamente guidato dall'uso di dimensioni del passo costanti nella Discesa del Gradiente Stocastica (SGD) e dalla presenza di rumore di Markov.

Metodologia e Quadro Teorico
Gli autori costruiscono un quadro teorico basato su tre componenti fondamentali:

1. Dinamica a Due Scale Temporali tramite il Teorema di Austin:
   Attingendo ad Austin [2016], gli autori ipotizzano che negli spazi parametrici ad alta dimensionalità con vincoli di Lipschitz, la funzione di perdita mostri una forte dipendenza da un sottoinsieme di parametri e una debole dipendenza dal resto. Ciò motiva un modello stilizzato in cui la funzione obiettivo $F(z)$ (con $z=(x,y)$) assume la forma $F(z) = f(x, \epsilon y)$ per $0 < \epsilon \ll 1$. Questa struttura induce naturalmente due scale temporali distinte negli aggiornamenti SGD: una scala rapida per $x$ e una scala lenta per $y$.

2. SGD con Rumore di Markov:
   L'algoritmo di addestramento è modellato come uno schema di approssimazione stocastica con rumore di Markov. Il rumore $\{Z_n\}$ origina dal modello generativo stesso (ad esempio, il processo di diffusione), che viene sintonizzato dai parametri. Le probabilità di transizione di questo rumore sono modulate dai parametri correnti. Gli autori utilizzano la teoria dell'approssimazione stocastica con rumore di Markov (Benveniste et al. [1990]; Borkar [2025c]) per analizzare il sistema, notando che il rumore evolve su una scala temporale "naturale" molto più rapida rispetto alla scala temporale "algoritmica" dei parametri.

3. Collasso come Catena di Markov Assorbente:
   Il documento definisce formalmente il "collasso" utilizzando i risultati di Borkar [2025a]. In un contesto di modelli generativi, la sequenza di misure di probabilità generate dal modello forma una catena di Markov omogenea nel tempo. Sotto certe condizioni (specificamente quando il parametro di miscelazione $a=0$), questa catena converge quasi certamente a una misura di Dirac concentrata su un punto casuale. Questo collasso asintotico a un singolo output è la definizione matematica del fenomeno del collasso.

Contributi e Risultati Chiave

• Differenziazione delle Dimensioni del Passo:
  Il documento mette a confronto la SGD con dimensione del passo decrescente (che porta alla convergenza) con la SGD a dimensione del passo costante (oggetto di questo lavoro). Nel regime a dimensione del passo decrescente, il sistema converge a un minimo globale, portando a un collasso puro (Teorema 7). Tuttavia, gli autori sostengono che il fenomeno pratico della memorizzazione è specifico della SGD a dimensione del passo costante.

• Comportamento Asintotico della SGD a Dimensione del Passo Costante:
  Sfruttando risultati recenti di Azizian et al. [2024] e Hwang [1981], gli autori analizzano la distribuzione limite della SGD a dimensione del passo costante. Stabiliscono che:

  • Le iterazioni si concentrano sui minimi di una "funzione di tasso delle grandi deviazioni" (un funzionale energetico), che non necessariamente coincide con il minimo globale della funzione di perdita.
  • La distribuzione stazionaria favorisce minimi "più piatti" (quelli con determinanti minori dell'Hessiana della funzione di tasso), spiegando la preferenza empirica della SGD per minimi più semplici.
  • Il sistema si comporta come un processo di diffusione in cui la dimensione del passo agisce come parametro di temperatura.

• Meccanismo della Memorizzazione (Teorema 11):
  Il risultato centrale è la spiegazione della memorizzazione come un collasso intermittente.

  • Il sistema opera su due scale temporali: la variabile rapida $x$ traccia un minimo locale $\lambda(y)$ della dinamica rapida, mentre la variabile lenta $y$ deriva.
  • Poiché la dimensione del passo è costante, il sistema non converge a un singolo punto. Invece, la variabile lenta $y$ deriva, causando alla variabile rapida $x$ di tracciare un minimo in movimento.
  • Quando la variabile lenta $y$ rimane in una regione in cui la dinamica rapida possiede un attrattore stabile, il sistema esibisce "memorizzazione" (output ripetuti).
  • Tuttavia, poiché $y$ continua a derivare (aiutato dal rumore e dalla scala temporale lenta), il sistema alla fine esce da questa regione, causando una transizione verso un attrattore diverso.
  • Ciò risulta in un comportamento di "oscillazione di rilassamento": lunghi tratti di ripetizione (memorizzazione) interrotti da transizioni relativamente rapide verso nuovi stati. Ciò distingue la memorizzazione dai rari salti guidati dal rumore tra equilibri osservati nella teoria standard di Freidlin-Wentzell; qui, le transizioni sono guidate dalla deriva deterministica della variabile lenta.

• Ruolo del Rumore e della Dimensione del Passo:
  Gli autori spiegano che dimensioni del passo più grandi aumentano il livello di rumore nell'iterazione, il che può interrompere il tracciamento stabile richiesto per la memorizzazione, scoraggiando così il fenomeno. Ciò è coerente con le osservazioni empiriche (ad esempio, Wu et al. [2025]) secondo cui dimensioni del passo elevate mitigano la memorizzazione.

Significato e Affermazioni
Il documento afferma di fornire una "spiegazione di teoria dei sistemi" per la memorizzazione, spostando il focus dall'analisi statica del paesaggio della funzione di perdita alla dinamica temporale dell'algoritmo di apprendimento.

• Prospettiva Unificata: Unifica i fenomeni di "collasso" e "memorizzazione", sostenendo che la memorizzazione è essenzialmente un fenomeno di collasso modulato dallo schema di apprendimento del punteggio e dalla deriva lenta dei parametri, rendendolo intermittente piuttosto che permanente.
• Scale Temporali Emergenti: Evidenzia che le due scale temporali nell'addestramento di modelli generativi ad alta dimensionalità sono proprietà emergenti della struttura del problema (tramite il teorema di Austin) e della dimensione del passo costante, piuttosto che essere imposte artificialmente.
• Portata Modesta: Gli autori riconoscono che il loro modello coinvolge idealizzazioni, come assumere che le misure generate formino un baricentro condizionale e utilizzare una funzione di perdita stilizzata a due scale. Notano che, in realtà, gli errori di approssimazione agiscono come rumore esterno persistente, il che significa che la memorizzazione è spesso una "corruzione del collasso" piuttosto che una concentrazione pura di delta di Dirac. Di conseguenza, la memorizzazione si manifesta come un bias verso versioni rumorose di output passati piuttosto che una duplicazione esatta.

Il lavoro non propone nuovi algoritmi sperimentali o soluzioni ingegneristiche specifiche, ma offre una lente teorica per comprendere perché la memorizzazione si verifica nella SGD a dimensione del passo costante e come essa si relazioni alla dinamica più ampia dell'approssimazione stocastica in alta dimensionalità.