Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

Panoramica

Il paper affronta un problema critico nella generazione condizionale tramite modelli di diffusione: la degradazione della qualità dell'immagine quando si utilizzano modelli che sono stati sottoposti a fine-tuning (per compiti specifici come l'editing o la sintesi di viste multiple). Gli autori dimostrano che il processo di fine-tuning danneggia le "conoscenze pregresse" (priors) non condizionali del modello, compromettendo l'efficacia della tecnica Classifier-Free Guidance (CFG).

---

1. Il Problema: Degradazione dei Priors Incondizionali

Nella pratica comune, per addestrare un modello condizionale (es. basato su testo o immagini), si prende un modello base (come Stable Diffusion) e lo si sottopone a fine-tuning. Durante questo processo, si utilizza la tecnica CFG, che richiede al modello di imparare sia la predizione del rumore condizionale ($\epsilon_\theta(x_t, c)$) sia quella incondizionale ($\epsilon_\theta(x_t, \emptyset)$).

Gli autori osservano due problemi principali:

1. Capacità limitata: Il modello deve condividere la sua capacità neurale tra compiti condizionali e incondizionali. Poiché il dropout della condizione durante il training è basso (5-20%), il modello dedica pochissima "larghezza di banda" alla comprensione del caso incondizionale.
2. Perdita di qualità: Il risultato è che il modello fine-tuned perde la capacità di generare immagini realistiche quando non riceve una condizione. Poiché la formula della CFG combina entrambi i termini, questa scarsa qualità incondizionale "inquina" e degrada drasticamente la qualità della generazione condizionale finale.

---

2. Metodologia: Sostituzione del Rumore Incondizionale

La soluzione proposta è semplice, elegante e training-free (non richiede ulteriore addestramento). Invece di usare il rumore incondizionale degradato del modello fine-tuned, gli autori suggeriscono di utilizzare il rumore incondizionale proveniente da un modello con priors più ricchi e robusti.

La formula proposta:
Invece della classica CFG:
$$\epsilon_\theta^{(\gamma)}(x_t, c) = \epsilon_\theta(x_t, \emptyset) + \gamma(\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \emptyset))$$

Gli autori propongono:
$$\epsilon_{\theta, \psi}^{(\gamma)}(x_t, c) = \epsilon_\psi(x_t, \emptyset) + \gamma(\epsilon_\theta(x_t, c) - \epsilon_\psi(x_t, \emptyset))$$

Dove:

• $\epsilon_\theta$ è il rumore condizionale del modello fine-tuned.
• $\epsilon_\psi$ è il rumore incondizionale di un modello base (o di un altro modello pre-addestrato con ottimi priors).

Scoperta sorprendente: Il modello $\psi$ non deve necessariamente essere il modello da cui è derivato $\theta$. Può essere un modello con architettura diversa (es. passare da un UNet a un DiT come PixArt-$\alpha$), purché abbia una capacità di generazione incondizionale superiore.

---

3. Contributi Chiave

• Identificazione di un difetto sistemico: Dimostrano che il fine-tuning tramite CFG crea un "collo di bottiglia" nelle prestazioni incondizionali che danneggia la generazione condizionale.
• Soluzione Plug-and-Play: Introducono un metodo di campionamento che migliora la qualità senza modificare i pesi del modello originale.
• Versatilità Architetturale: Dimostrano che la combinazione di rumore funziona anche tra modelli con architetture differenti (es. combinando modelli basati su UNet con modelli basati su Transformer/DiT).

---

4. Risultati Sperimentali

Il metodo è stato testato su diverse tipologie di modelli condizionali:

• Zero-1-to-3 (Sintesi di viste multiple): Miglioramento significativo della coerenza della luce e della forma (misurato tramite LPIPS e PSNR).
• Versatile Diffusion (Variazioni di immagini): Riduzione drastica della saturazione eccessiva e delle distorsioni degli oggetti (miglioramento del FID).
• DiT (Generazione condizionata da classe): Miglioramento del FID su dataset come Food101 e SUN397.
• DynamiCrafter (Text-to-Video): Migliore coerenza temporale e qualità estetica nei video generati.
• InstructPix2Pix (Image Editing): Maggiore fedeltà alle istruzioni testuali mantenendo l'identità dell'immagine originale.

---

5. Significato e Conclusioni

Il lavoro ha un impatto significativo perché suggerisce che non è necessario addestrare modelli incondizionali complessi insieme a quelli condizionali. Si può sfruttare la potenza di modelli pre-esistenti per "guidare" meglio i modelli specializzati.

Sebbene il metodo introduca un leggero overhead computazionale (perché bisogna caricare un secondo modello in memoria e eseguire una predizione extra), il guadagno in termini di qualità visiva e fedeltà del compito giustifica ampiamente il costo, rendendolo uno strumento estremamente utile per l'applicazione pratica di modelli di diffusione specializzati.