Riepilogo Tecnico: CFG-OEC (Guida Libera dal Classificatore con Correzione dell'Errore Ortogonale)

1. Enunciato del Problema

La Guida Libera dal Classificatore (CFG) è lo standard de facto per il campionamento condizionato nei modelli di diffusione, consentendo la generazione di campioni con proprietà desiderate (ad esempio, allineamento al testo) senza richiedere un classificatore esterno. Tuttavia, gli autori identificano una mismatch strutturale fondamentale tra l'obiettivo di addestramento e la procedura di campionamento nella CFG.

Durante l'addestramento, un singolo modello apprende sia le previsioni condizionate ($\epsilon_\theta(x_t | y)$) che quelle incondizionate ($\epsilon_\theta(x_t)$) tramite dropout stocastico della condizione. Al momento del campionamento, la CFG costruisce un predittore guidato come combinazione lineare di queste due modalità apprese:
$$\epsilon_\theta^{(w)}(x_t | y) = w \epsilon_\theta(x_t | y) + (1-w) \epsilon_\theta(x_t)$$
Il documento sostiene che questo predittore guidato non è un obiettivo diretto di addestramento. Di conseguenza, anche se le previsioni condizionate e incondizionate individuali sono accurate, la loro combinazione lineare al momento del campionamento introduce un errore strutturale di campionamento. Questo errore deriva dall'interazione tra gli errori di previsione condizionale e incondizionata, un componente non esplicitamente controllato o penalizzato durante il processo di addestramento standard.

2. Metodologia

2.1 Decomposizione dell'Errore

Gli autori analizzano l'errore di campionamento decomponendo l'Errore Quadratico Medio (MSE) del predittore guidato in tre componenti:

1. Errore Base: La somma ponderata dei quadrati delle norme degli errori di previsione condizionale e incondizionata. Questi sono minimizzati durante l'addestramento.
2. Errore Incrociato: Un termine di interazione determinato dal prodotto scalare (allineamento) dei vettori di errore condizionale e incondizionato: $2w(1-w)\langle \Delta_c, \Delta_{uc} \rangle$.

L'analisi rivela che l'errore incrociato è una componente strutturale non banale dell'errore di campionamento. A seconda della scala di guida $w$, questo termine può aumentare l'errore totale (ad esempio, quando $w \in (0,1)$) o ridurlo incidentalmente (quando $w > 1$), ma in entrambi i casi, non è controllato dall'obiettivo di addestramento.

2.2 Correzione dell'Errore Ortogonale (OEC)

Per mitigare questo errore strutturale, il documento propone CFG-OEC, che mira a eliminare il termine di errore incrociato imponendo l'ortogonalità tra i vettori di errore condizionale e incondizionato.

• Meccanismo Teorico: Il metodo proietta il vettore di errore incondizionato $\Delta_{uc}$ sul sottospazio ortogonale al vettore di errore condizionale $\Delta_c$. Rimuovendo la componente di $\Delta_{uc}$ che si allinea con $\Delta_c$, il termine di interazione $\langle \Delta_c, \Delta_{uc} \rangle$ viene ridotto a zero.
• Garanzia Teorica: Poiché la proiezione ortogonale non aumenta la norma di un vettore, questa correzione riduce l'errore totale di campionamento senza aumentare la componente di errore base.

2.3 Implementazione Pratica: Proxy e Miscelazione Dinamica

Nella generazione di immagini nel mondo reale, il rumore vero $\epsilon^*_t$ non è disponibile, rendendo impossibile il calcolo diretto dei vettori di errore. Gli autori introducono due meccanismi pratici:

1. Proxy Basato sulla Previsione: Invece della verità fondamentale, il metodo costruisce proxy per gli obiettivi di rumore utilizzando l'estrapolazione lineare da passi temporali adiacenti ($t$ e $t+1$). Nello specifico, $\hat{\epsilon}_t \approx 2\epsilon_\theta(x_t) - \epsilon_\theta(x_{t+1})$. Questi proxy fungono da surrogati per stimare le tendenze direzionali locali dei vettori di errore.
2. Miscelazione Dinamica: Per garantire la stabilità, il metodo non applica la correzione alla cieca. Calcola la similarità del coseno ($s$) tra i vettori di errore basati sui proxy. Se l'allineamento è troppo forte (indicando potenziale imprecisione o instabilità del proxy), la correzione viene attenuata. La previsione incondizionata finale è una miscela dinamica del vettore corretto e della previsione originale del modello, ponderata da $s$.

3. Contributi Chiave

• Analisi Strutturale: Il documento fornisce una decomposizione teorica dell'errore di campionamento CFG, identificando l'"errore incrociato" come una limitazione strutturale distinta e non controllata derivante dal mismatch tra addestramento e campionamento.
• Algoritmo CFG-OEC: Un nuovo metodo di correzione al momento del campionamento che ortogonalizza i vettori di errore per ridurre il termine di interazione, garantendo teoricamente una riduzione dell'errore di campionamento.
• Costruzione del Proxy: Un framework pratico per applicare la correzione ortogonale in contesti ad alta dimensionalità senza accesso al rumore vero, utilizzando previsioni del modello estrapolate.
• Stabilizzazione Dinamica: Un meccanismo per controllare adattivamente l'intensità della correzione in base all'allineamento degli errori proxy, bilanciando l'efficacia della correzione con la stabilità.

4. Risultati Sperimentali

Gli autori validano CFG-OEC attraverso sia esperimenti teorici controllati che compiti di generazione di immagini su larga scala.

• Ambiente Controllato (GMM 2D): In un Modello di Miscela Gaussiana 2D dove la verità fondamentale è accessibile, gli esperimenti confermano la decomposizione teorica dell'errore. L'errore incrociato rappresenta circa il 10–15% dell'errore base in regimi a bassa guida. La correzione ortogonale riduce costantemente l'errore totale di campionamento attraverso varie scale di guida.
• Generazione di Immagini (Stable Diffusion v1.5 & XL):
  • Metriche: Valutazione sul set di validazione MSCOCO 10k utilizzando FID (fedeltà dell'immagine) e punteggi CLIP (allineamento al testo).
  • Prestazioni: CFG-OEC supera la CFG standard e la recente baseline CFG++ su più campionatori (DDIM, UniPC, DPM-Solver++).
  • Regime a Bassa Guida: I miglioramenti più significativi sono osservati nei regimi a bassa guida (ad esempio, $w=0.5$), dove l'errore incrociato è più dannoso.
  • Regime ad Alta Guida: Il metodo rimane competitivo, mostrando miglioramenti sia in FID che in CLIP a scale più elevate (ad esempio, $w=5.0, 7.5$), sebbene alcuni regimi mostrino un lieve compromesso tra fedeltà e allineamento.
  • Qualità Visiva: I risultati qualitativi mostrano che CFG-OEC riduce gli artefatti strutturali (ad esempio, arti extra, testo illeggibile, oggetti disallineati) e produce strutture più coerenti rispetto a CFG++.

5. Significato e Affermazioni

Il documento afferma che CFG-OEC offre una soluzione pratica e teoricamente motivata a una specifica fonte strutturale di errore nei modelli di diffusione.

• Insight Teorico: Sposta il focus dal semplice aggiustamento delle scale di guida o dei vincoli geometrici alla risoluzione della struttura fondamentale dell'errore indotta dalla combinazione lineare delle previsioni condizionate e incondizionate.
• Utilità Pratica: Il metodo è semplice da implementare, non richiede il riaddestramento del modello di diffusione ed è compatibile con i campionatori e i modelli esistenti.
• Robustezza: La strategia di miscelazione dinamica garantisce che la correzione rimanga stabile anche quando le stime proxy sono imperfette, rendendola adatta al deployment nel mondo reale.

Gli autori concludono che, sebbene un addestramento migliorato riduca l'entità degli errori individuali, CFG-OEC fornisce un meccanismo necessario per controllare l'interazione tra questi errori, consentendo così un campionamento condizionato più stabile e coerente.