Sintesi Tecnica: Diversificazione della Diffusione con Campionamento a Temperatura e Spostamento del Tempo Correttivo della Varianza

Definizione del Problema

I modelli di diffusione riproducono fedelmente le loro distribuzioni di addestramento ma ereditano intrinsecamente gli squilibri dei dati, rendendo difficile il raggiungimento di modalità rare o sotto-rappresentate durante il campionamento. Sebbene un rimedio naturale all'inferenza sia il campionamento da una distribuzione target ad alta temperatura $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$ (dove $0 < \gamma < 1$) per appiattire i modi dominanti e potenziare quelli rari, l'applicazione ingenua di questo concetto fallisce nella pratica.

La scalatura diretta della funzione di score appresa (ovvero l'uso di $\gamma \nabla_x \log p_t(x)$) raggiunge l'obiettivo macroscopico di riponderare i modi, ma induce un'espansione della varianza microscopica. Questa eccessiva varianza rompe la stretta corrispondenza tra lo score della marginale rumorosa temperata e il processo di diffusione inversa, risultando in campioni fuori manifold, sfocati e di bassa qualità. I metodi esistenti per migliorare la diversità richiedono spesso il riaddestramento, classificatori ausiliari o il filtraggio parallelo delle particelle, il che ne limita l'applicabilità o la fedeltà.

Metodologia: Spostamento del Tempo Correttivo della Varianza

Gli autori propongono lo spostamento del tempo correttivo della varianza (variance-corrective time shifting), un meccanismo privo di addestramento che decupla la riponderazione dei modi dall'inflazione della varianza. L'intuizione centrale è che, sebbene lo score della distribuzione temperata $\nabla_x \log p^{(\gamma)}_t(x)$ non possa essere ottenuto semplicemente scalando lo score originale, esso può essere approssimato accuratamente interrogando la rete a un istante temporale spostato $\tilde{t}$.

Derivazione Teorica

1. Il Disallineamento: Il tempering diretto della marginale rumorosa $p_t(x)^\gamma$ differisce dalla marginale rumorosa dei dati temperati $p^{(\gamma)}_t(x)$. Sotto l'assunto di modi ben separati, il tempering diretto scala efficacemente la varianza delle componenti gaussiane di $1/\gamma$, mentre la vera marginale temperata mantiene lo schema di varianza originale.
2. La Correzione: Per recuperare la desiderata marginale temperata senza inflazione della varianza, il metodo interroga la rete pre-addestrata a un tempo spostato $\tilde{t}$ tale che il livello di rumore soddisfi $\sigma^2_{\tilde{t}} = \gamma \sigma^2_t$.
3. Lo Stimatore dello Score: Lo score per la distribuzione temperata è approssimato come:
   $$\nabla_x \log p^{(\gamma)}_t(x) \approx \gamma \left( -\frac{\epsilon_\theta(x, \tilde{t})}{\sigma^2_{\tilde{t}}} \right)$$
   Questo annulla efficacementamente l'espansione della varianza preservando l'effetto di riponderazione dei modi.

Controllo Coarse-to-Fine (Dal Grossolano al Dettaglio)

Il metodo consente uno schema $\gamma(t)$ applicato nelle diverse fasi del processo di diffusione inversa:

• Fasi Iniziali (Alto Rumore): L'applicazione di $\gamma(t) < 1$ qui guida la diversità compositiva, guidando le particelle di campionamento verso diversi attrattori (modi).
• Fasi Medie/Finali (Basso Rumore): L'applicazione di $\gamma(t) < 1$ qui guida la variazione dell'aspetto locale preservando al contempo la composizione globale e l'identità del modo.

Contributi Chiave

1. Identificazione dell'Espansione della Varianza: Il lavoro identifica che la scalatura ingenua dello score nei modelli di diffusione interrompe il processo di diffusione inversa a causa dell'intesa inflazione della varianza, degradando la qualità del campione.
2. Spostamento del Tempo Correttivo della Varianza: Una correzione a costo zero e priva di addestramento che recupera la desiderata marginale temperata interrogando la rete a un istante temporale spostato, consentendo un efficace campionamento ad alta temperatura.
3. Manopola Pratica della Diversità: Il metodo trasforma il campionamento a temperatura in uno strumento pratico per potenziare la diversità nei backbone di diffusione e di flow-matching pre-addestrati senza necessità di riaddestramento.
4. Controllo Specifico per Fase: Gli autori dimostrano che la tempistica dell'intervento di temperatura permette un controllo coarse-to-fine, distinguendo tra diversità compositiva (iniziale) e variazione locale (finale).

Risultati Sperimentali

Il metodo è stato valutato su varie architetture (DiT, Stable Diffusion 1.5/3.5/XL, Motion Diffusion Models) e modalità (immagini, movimento).

• Diversità vs. Fedeltà: Il metodo migliora costantemente la diversità (misurata tramite lo score di Vendi) con un costo minimo per la qualità del campione e la fedeltà della condizione (misurata tramite punteggio VQA o accuratezza del classificatore).
• Confronto:
  • vs. CADS: Il metodo proposto mantiene una migliore fedeltà al prompt, mentre CADS spesso degrada l'allineamento alla condizione.
  • vs. Feynman-Kac (FK): FK fatica con alte temperature ($\gamma < 1$) negli esperimenti degli autori, producendo spesso campioni inutilizzabili, mentre il metodo proposto rimane stabile.
  • vs. Tempering Diretto/TSR: Senza lo spostamento temporale, valori bassi di $\gamma$ introducono un rumore eccessivo. La correzione tramite spostamento temporale mantiene un'alta qualità del campione pur ottenendo gli stessi guadagni in diversità.
• Performance Quantitativa: Su DiT, SD1.5, SDXL e SD3.5, il metodo ha ottenuto i punteggi migliori o i secondi migliori sia in CMMD (qualità percettiva) che in Vendi (diversità), mantenendo un'alta fedeltà.

Significato e Rivendicazioni

Il documento sostiene che lo spostamento del tempo correttivo della varianza risolva un limite fondamentale nell'applicazione del campionamento a temperatura ai modelli di diffusione. Correggendo l'inflazione della varianza inerente alla scalatura ingenua dello score, il metodo consente agli utenti di esplorare la "coda lunga" della distribuzione dei dati — generando modi rari o diversificati — senza sacrificare la qualità o l'aderenza alla condizione tipiche dei modelli di diffusione.

Gli autori pongono questo lavoro come un passo significativo verso un controllo flessibile all'inferenza, offrendo una "manopola" per la diversità che funziona attraverso diverse famiglie di modelli (inclusi i modelli di flow-matching) senza necessità di riaddestramento o dati ausiliari. Riconoscono che il metodo è limitato dalla capacità del modello sottostante e che il compromesso tra fedeltà e diversità richiede una calibrazione per ogni modello, ma sottolineano che il meccanismo di spostamento temporale proposto rende tale compromesso gestibile ed efficace.