Riepilogo Tecnico: L'inizializzazione è metà della battaglia: Generare Immagini Diverse da una Posteriore del Potenziale di Guida

1. Definizione del Problema

Nonostante l'alta fedeltà dei moderni modelli generativi, inclusi i Modelli di Diffusione e i modelli di Flow Matching, essi soffrono frequentemente di collasso dei modi (mode collapse). Anche variando i seed casuali, i campioni generati spesso convergono verso output stereotipati, limitando il potere creativo e, in casi estremi, portando alla memorizzazione esatta dei dati di addestramento.

Le attuali strategie training-free per migliorare la diversità si concentrano prevalentemente sull'intervento durante la traiettoria di generazione (ad esempio, manipolando le scale di guida o respingendo le traiettorie l'una dall'altra). Gli autori identificano una lacuna critica in questi approcci: l'inizializzazione gaussiana isotropa standard ($x_T \sim \mathcal{N}(0, I)$) è spesso agnostica rispetto al paesaggio del potenziale di guida. Geometricamente, le regioni con un alto potenziale di guida condizionale inducono tassi di contrazione del volume elevati nel flusso generativo. Di conseguenza, traiettorie stocastiche distinte inizializzate in queste regioni ad alto potenziale vengono attratte verso un singolo modo dominante, causando il collasso. Al contrario, gli autori ipotizzano che l'inizializzazione da bacini a basso potenziale permetta alle traiettorie di divergere naturalmente, preservando la diversità.

2. Metodologia: Inizializzazione Inducente la Diversità (DivIn)

Il paper propone DivIn, un metodo training-free applicabile durante l'inferenza che inquadra la selezione del rumore iniziale non come il campionamento da un prior fisso, ma come il campionamento da una posteriore del potenziale di guida.

2.1. Formulazione Teorica

Gli autori definiscono una distribuzione target $p_{\text{diverse}}(x_T | c)$ che ri-pesa il prior gaussiano standard verso regioni ricche di diversità:
$$p_{\text{diverse}}(x_T | c) \propto \exp(-\tau \cdot U(x_T, c)) \cdot p(x_T)$$
dove:

• $p(x_T)$ è lo standard prior gaussiano isotropo.
• $\tau$ è un iperparametro di temperatura che controlla il compromesso tra l'aderenza al prior e la massimizzazione della diversità.
• $U(x_T, c)$ è un potenziale di guida che funge da proxy per l'intensità della guida condizionale all'inizializzazione.

2.2. Il Proxy del Potenziale di Guida

Per garantire robustezza e compatibilità plug-and-play attraverso diversi schemi di inferenza (ad esempio, variazioni nel numero di step) e architetture (Diffusione vs. Flow Matching), il potenziale $U(x_T, c)$ è definito nello spazio dei dati stimato utilizzando un potenziale di Tweedie generalizzato:
$$U(x_T, c) = \|\hat{x}_0(x_T, c) - \hat{x}_0(x_T, \emptyset)\|^2$$
Qui, $\hat{x}_0$ rappresenta la stima di denoising a singolo step dei dati puliti. Questa metrica misura la distanza euclidea tra le stime di denoising condizionale e incondizionale. Minimizzare questo potenziale penalizza gli stati iniziali in cui la guida condizionale esercita un'attrazione eccessivamente forte verso un modo dominante, orientando l'inizializzazione verso regioni più piatte del paesaggio.

2.3. Campionamento tramite Dinamica di Langevin

Poiché il campionamento diretto da $p_{\text{diverse}}$ è intrattabile, DivIn impiega la Dinamica di Langevin per transizionare iterativamente i campioni dal prior gaussiano iniziale verso la target posteriore. La regola di aggiornamento per lo stato latente $x_T$ all'iterazione $k$ è:
$$x_T^{(k+1)} = x_T^{(k)} - \eta \left( \tau \nabla_{x_T^{(k)}} U(x_T^{(k)}, c) + x_T^{(k)} \right) + \sqrt{2\eta}\xi^{(k)}$$
Questo meccanismo bilancia tre forze:

1. Forza di Diversità ($-\tau \nabla U$): Spinge il latente lontano dai bacini ad alto potenziale verso regioni più piatte.
2. Vincolo del Prior ($-x_T$): Ancora il latente all'interno del manifold valido della distribuzione normale originale, prevenendo la deriva fuori dal manifold.
3. Rumore Stocastico ($\sqrt{2\eta}\xi$): Inietta rumore per sfuggire a minimi locali superficiali e incoraggiare l'esplorazione.

A differenza dei metodi di ottimizzazione deterministici (ad esempio, Sharpness-Aware Initialization, SAIL) che collassano il volume della distribuzione cercando un singolo seed ottimale, DivIn esegue un campionamento della posteriore distributiva, preservando l'entropia e abilitando una vera diversità.

3. Contributi Chiave

1. Identificazione dell'Inizializzazione come Fattore Critico: Il paper rivela che il collasso dei modi è significativamente guidato dalla geometria del paesaggio di inizializzazione, specificamente l'attrazione delle traiettorie verso regioni ad alto potenziale definite dalla guida condizionale.
2. Formulazione della Posteriore del Potenziale di Guida: Gli autori formulano l'inizializzazione ottimale come una posteriore pesata sulla diversità che ri-pesa il prior standard, utilizzando un potenziale di Tweedie generalizzato che è robusto alle variazioni degli step di inferenza e unifica le architetture Diffusion e Flow Matching.
3. Algoritmo DivIn: Un algoritmo plug-and-play, training-free, che sfrutta la dinamica di Langevin per campionare da questa posteriore. È ortogonale ai metodi di diversità basati sulla traiettoria esistenti.
4. Giustificazione Teorica: Il paper fornisce un'analisi teorica (Teorema A.3) che collega l'alta nitidezza condizionale (curvatura) alla rapida perdita di entropia durante il processo inverso, dimostrando che il campionamento da regioni a basso potenziale preserva il volume della distribuzione.

4. Risultati Sperimentali

Esperimenti estesi sono stati condotti su ImageNet-1K (da classe a immagine) e un dataset di prompt generali (da testo a immagine) utilizzando Stable Diffusion v1.4 e Stable Diffusion 3.5 Medium (Flow Matching).

• Miglioramento della Diversità: DivIn supera costantemente i metodi di inizializzazione baseline (come SAIL) e i metodi basati sulla traiettoria (Particle Guidance, CADS, Interval Guidance) in metriche di diversità come Vendi Score, Recall e Coverage.
  • Su ImageNet (SD v1.4), DivIn ha raggiunto un Vendi Score di 4.688 (rispetto a 4.265 del modello base), superando SAIL (4.549) e i metodi di traiettoria.
  • Su text-to-image (SD v3.5), DivIn ha aumentato il Vendi Score da 1.803 a 1.864 per il modello base.
• Preservazione della Qualità: A differenza di molti metodi di diversità che scambiano la qualità per la diversità, DivIn mantiene o migliora la fedeltà delle immagini. Ha ottenuto il FID più basso (16.158) tra i baseline standalone su ImageNet e ha mantenuto alti punteggi CLIP e Aesthetic nei compiti text-to-image.
• Ortogonalità e Frontiera di Pareto: Un risultato chiave è che DivIn è ortogonale agli interventi basati sulla traiettoria. Combinare DivIn con metodi come PG, CADS o IG espande significativamente la frontiera di Pareto diversità-qualità, raggiungendo una maggiore diversità allo stesso livello di fedeltà rispetto ai singoli metodi.
• Efficienza: DivIn comporta un overhead computazionale minimo. Con un singolo step di Langevin ($K=1$), aggiunge solo circa il 3% al tempo di calcolo per immagine (ad esempio, da 0.754s a 0.779s), mentre i metodi di ottimizzazione deterministica come SAIL richiedono spesso più complessi campionamenti di rifiuto o approssimazioni del secondo ordine.
• Stabilità: A differenza di SAIL, che è sensibile alle soglie di early stopping e può portare ad artefatti ad alta frequenza a causa di latenti off-manifold, DivIn rimane stabile e preserva la gaussianità dello spazio latente.

5. Significato e Rivendicazioni

Il paper sostiene che l'inizializzazione sia "metà della battaglia" nella generazione di immagini diverse. Spostando l'attenzione dalla traiettoria di generazione al paesaggio di inizializzazione, DivIn affronta una causa radice del collasso dei modi che i metodi basati sulla traiettoria trascurano.

Gli autori sottolineano che:

• DivIn è una strategia universale, plug-and-play, compatibile sia con i modelli di diffusione standard che con i moderni modelli di Flow Matching.
• Fornisce una fonte distinta di diversità non catturata dagli interventi sulla traiettoria, permettendo la scoperta di modi diversificati che il campionamento standard manca.
• Il metodo bilancia efficacemente il compromesso tra diversità e qualità, spingendo la frontiera di Pareto verso l'esterno senza penalizzare l'allineamento semantico o la fedeltà dell'immagine.
• Offre un'alternativa più robusta all'ottimizzazione deterministica del seed (come SAIL) mantenendo l'entropia distributiva attraverso il campionamento stocastico.

Il paper conclude che, sebbene DivIn attualmente dipenda da un iperparametro di temperatura e aggiunga un overhead minimo all'inferenza, esso rappresenta un cambiamento fondamentale nel modo in cui la diversità generativa può essere potenziata, offendo uno strumento ortogonale potente ai meccanismi di campionamento esistenti.