Riepilogo Tecnico: Campionamento con Rumore Colorato per Diffusione (CNS)

Enunciato del Problema

I modelli di diffusione hanno stabilito prestazioni all'avanguardia nella sintesi di immagini, tuttavia le loro traiettorie generative mostrano un fondamentale bias spettrale: risolvono le strutture globali a bassa frequenza nelle fasi iniziali del processo di campionamento e i dettagli fini ad alta frequenza in fasi successive. I risolutori convenzionali di Equazioni Differenziali Stocastiche (SDE) non tengono conto di questa dinamica. Iniettano in modo ingenuo rumore bianco uniforme durante l'intero processo di generazione, trattando tutte le bande di frequenza in modo equivalente. Questo approccio sfrutta male il "budget energetico" finito del processo stocastico, allocando energia rumorosa a bande di frequenza già strutturalmente risolte, trascurando quelle che sono in ritardo. Di conseguenza, le SDE standard spesso non riescono a recuperare perfettamente la densità spettrale di potenza (PSD) della varietà dei dati reali, portando a un "divario spettrale" tra immagini generate e reali.

Le soluzioni esistenti alterano o il framework di addestramento (richiedendo un costoso ri-addestramento) o applicano modifiche al momento dell'inferenza che trattano il risolutore stocastico sottostante come una scatola nera statica (ad esempio, operazioni disaccoppiate per frequenza o aggiustamenti della dimensione del passo). Questi metodi rimangono vincolati dalla loro dipendenza da risolutori spettralmente uniformi.

Metodologia: Campionamento con Rumore Colorato (CNS)

Gli autori propongono il Campionamento con Rumore Colorato (CNS), un nuovo risolutore stocastico senza addestramento che sfrutta attivamente il bias spettrale intrinseco del modello. L'idea centrale è che l'inferenza SDE possa essere riformulata come un trasferimento energetico mirato e disaccoppiato per frequenza.

1. Framework Matematico

Gli autori stabiliscono che l'inferenza di diffusione agisce come un meccanismo di trasferimento che preserva il segnale. Sebbene il rumore iniziale sia preservato in una certa misura, gli incrementi stocastici iniettati dai risolutori SDE lungo l'intera traiettoria vengono mappati direttamente anche nelle caratteristiche spaziali dell'immagine finale. Crucialmente, questa mappatura è disaccoppiata per frequenza: il rumore iniettato in una specifica banda di frequenza si mappa su caratteristiche spaziali in quella stessa banda.

Gli autori dimostrano che il requisito classico di Langevin per il rumore bianco uniforme può essere rilassato in sicurezza. Assicurando che l'energia totale iniettata per passo rimanga normalizzata (un vincolo globale di conservazione della varianza), gli stati intermedi non si discostano dalla distribuzione, anche se cambia la composizione spettrale del rumore.

2. L'Algoritmo CNS

CNS sostituisce l'iniezione di rumore bianco uniforme con una programmazione dinamica dipendente dal passo temporale e dalla frequenza.

• Tracciamento della Progressione: Il metodo utilizza un indice di progresso limitato, $\gamma(f, t)$, che misura quanto della struttura finale di una specifica banda di frequenza è stata risolta dalla rete al passo temporale $t$. Le basse frequenze si risolvono precocemente ($\gamma \to 1$), mentre le alte frequenze si risolvono tardivamente.
• Allocazione Dinamica: CNS calcola un peso di scala $\beta_f(t)$ per ogni banda di frequenza. Questo peso è inversamente proporzionale alla risoluzione strutturale della banda. Nello specifico, il moltiplicatore di varianza è proporzionale al deficit strutturale ($1 - \gamma(f, t)$).
  • Le bande completamente risolte ($\gamma \approx 1$) ricevono meno energia iniettata (attenuazione).
  • Le bande strutturalmente non risolte ($\gamma \approx 0$) ricevono più energia iniettata (amplificazione).
• Vincolo Globale: Per mantenere la stabilità, i pesi di scala sono normalizzati in modo che l'energia media iniettata su tutte le dimensioni rimanga costante: $\frac{1}{D}\sum \beta_f^2(t) = 1$. Questo tratta l'iniezione di rumore come un gioco a somma zero, riallocando energia dalle bande "risolte" alle bande "in ritardo".

3. Implementazione

CNS è implementato come una sostituzione plug-and-play per i risolutori SDE standard (ad esempio, Euler-Maruyama, Heun, SRK). Non richiede ri-addestramento del modello e opera interamente al momento dell'inferenza. L'algoritmo colora dinamicamente l'incremento di rumore ad ogni passo in base al profilo spettrale dello stato corrente.

Contributi Chiave

1. Framework Teorico: Il documento stabilisce un framework matematico che riformula l'iniezione di rumore SDE come un trasferimento energetico mirato. Dimostra che il requisito rigoroso di rumore bianco spettralmente uniforme può essere rilassato per risolvere i divari spettrali senza spingere gli stati intermedi fuori distribuzione.
2. Nuovo Risolutore (CNS): L'introduzione del Campionamento con Rumore Colorato, un risolutore stocastico senza addestramento che alloca dinamicamente l'energia del rumore iniettato verso bande di frequenza strutturalmente non risolte, sfruttando attivamente il bias spettrale del modello.
3. Validazione Empirica: Esperimenti estesi su architetture diverse (SiT, JiT, FLUX) e modalità (spazio dei pixel, spazio latente, testo-immagine) dimostrano che CNS supera significativamente le linee di base standard ODE e SDE.

Risultati Sperimentali

Gli autori valutano CNS su ImageNet-256 e su benchmark testo-immagine (FLUX), misurando le prestazioni tramite Fréchet Inception Distance (FID), FID spaziale (sFID), Inception Score (IS) e metriche di preferenza umana.

• Generazione Condizionata alla Classe (ImageNet-256):
  • SiT-XL/2: CNS riduce l'FID non guidato da 8.26 (SDE) a 6.27.
  • JiT-B/16: CNS riduce l'FID non guidato da 32.39 (SDE) a 26.69.
  • JiT-H/16: CNS riduce l'FID non guidato da 11.88 (SDE) a 8.31.
  • CNS produce anche miglioramenti relativi coerenti nell'FID quando utilizzato con la Guida Senza Classificatore (CFG), con variazioni da ~8% a ~50% rispetto alle linee di base.
• Generazione Testo-Immagine (FLUX):
  • L'integrazione in FLUX.1-dev e FLUX.2-klein migliora i punteggi automatici di preferenza umana (ImageReward) e i punteggi estetici, mantenendo l'allineamento semantico (CLIPScore).
• Robustezza: CNS supera costantemente il campionamento standard su vari passi di discretizzazione e ordini del risolutore (dal 1° al 5° ordine).
• Ortogonalità: CNS apporta miglioramenti anche quando applicato a modelli addestrati con distribuzioni di rumore alternative (ad esempio, Rumore Blu per Modelli di Diffusione), confermandone l'utilità generale.

Significato e Affermazioni

Il documento afferma che CNS affronta un'inefficienza fondamentale nei risolutori SDE di diffusione standard: l'iniezione uniforme e sprecona di rumore bianco. Riconcettualizzando l'inferenza come un trasferimento energetico mirato, CNS guida sistematicamente la distribuzione generata verso la varietà dei dati reali.

Gli autori sottolineano che CNS è una soluzione strettamente plug-and-play. Migliora la fedeltà della generazione e la qualità visiva senza richiedere alcun ri-addestramento del modello o modifica dell'architettura di rete sottostante. Il lavoro suggerisce che il "divario spettrale" nelle immagini generate non è semplicemente un errore numerico, ma il risultato di un'allocazione energetica disallineata, che può essere corretto colorando dinamicamente il rumore per adattarsi alla curva di apprendimento strutturale del modello.

Limitazioni: Gli autori notano che CNS si basa sul framework SDE e pertanto è incompatibile con i risolutori ODE deterministici, che rimangono preferibili per inferenze ultra-veloci a basso numero di passi. Si suggerisce un lavoro futuro per esplorare l'estensione dell'instradamento energetico dipendente dalla frequenza ai paradigmi deterministici e l'applicazione del metodo alla generazione video.