Spectral Collapse in Diffusion Inversion

Titolo: Collasso Spettrale nell'Inversione Diffusiva

Autori: Nicolas Bourriez, Alexandre Vérine, Auguste Genovesio (ENS PSL, Parigi)

1. Il Problema: Il Collasso Spettrale

Il lavoro affronta un limite fondamentale delle tecniche di inversione deterministica (come DDIM) nei modelli di diffusione, specificamente nel contesto della traduzione immagine-immagine non accoppiata (unpaired image-to-image translation) da un dominio "spettralmente sparso" a uno "spettralmente denso".

• Contesto: In compiti come la super-risoluzione (es. da microscopia a bassa risoluzione ad alta risoluzione) o la conversione da schizzo a immagine, l'immagine di input contiene meno informazioni (mancanza di alte frequenze/texture) rispetto all'output desiderato.
• Il Fenomeno: Quando si tenta di invertire un'immagine sparsa (bassa risoluzione) per ottenere il rumore latente $z_T$ necessario alla generazione, il processo deterministico fallisce nel "sbiancare" completamente il segnale. Invece di recuperare una distribuzione di rumore gaussiana isotropa (come previsto dal prior del modello), il latente recuperato conserva un residuo strutturale a bassa frequenza dell'input.
• Conseguenze: Questo fenomeno, denominato Collasso Spettrale, porta a una mancanza di varianza stocastica necessaria per generare nuove texture. Di conseguenza, il campionamento condizionale produce immagini di output sovra-smussate, prive di dettagli realistici e povere di texture, bloccate nella struttura a bassa frequenza dell'input.
• Il Dilemma Esistente: Le alternative stocastiche (che iniettano rumore per ripristinare la varianza) riescono a recuperare le texture, ma rompono il legame semantico con l'input, causando uno spostamento strutturale (structural drift) o "allucinazioni strutturali" dove il contenuto generato si discosta semanticamente dalla fonte.

2. Metodologia Proposta: Orthogonal Variance Guidance (OVG)

Per risolvere il compromesso tra fedeltà strutturale e realismo delle texture, gli autori propongono l'Orthogonal Variance Guidance (OVG), un metodo di inferenza che corregge la dinamica dell'ODE (Equazione Differenziale Ordinaria) del modello di diffusione.

• Analisi Teorica: Gli autori dimostrano che il collasso spettrale è intrinseco alla previsione del rumore ($\epsilon$-prediction) in regimi a basso rapporto segnale-rumore (SNR), dovuta al "bias spettrale" delle reti neurali (che apprendono le basse frequenze più velocemente). Al contrario, la previsione del segnale pulito ($x_0$-prediction, come in EDM) è più robusta ma tende comunque a drift strutturale se non controllata.
• Meccanismo OVG:
  1. Due Obiettivi di Correzione:
     • Correzione Alta Frequenza (Gaussianità): Penalizza la deviazione dell'energia del rumore previsto dal valore teorico atteso per una distribuzione gaussiana, forzando il recupero della varianza necessaria per le texture.
     • Correzione Bassa Frequenza (Struttura): Penalizza la deriva nella stima del segnale pulito ($\hat{x}_0$) rispetto all'input di riferimento a bassa risoluzione, preservando la struttura semantica.
  2. Proiezione Ortogonale: I gradienti derivanti da questi due obiettivi possono essere conflittuali. OVG utilizza una tecnica di proiezione ortogonale (ispirata al PCGrad nel multi-task learning): quando i gradienti sono in conflitto (similitudine del coseno negativa), proietta la correzione della varianza (alta frequenza) nello spazio nullo del gradiente strutturale.
  3. Risultato: Questo permette di iniettare energia stocastica per le texture senza alterare la disposizione semantica o strutturale dell'immagine di input.

3. Contributi Chiave

1. Identificazione del Collasso Spettrale: Analisi empirica sistematica che identifica il collasso spettrale come il collo di bottiglia principale per la qualità nella traduzione da domini sparsi a densi, dimostrando che il latente invertito non è gaussiano ma strutturato.
2. Analisi del Target di Addestramento: Dimostrazione che i modelli basati su EDM (che prevedono $x_0$) sono intrinsecamente più robusti al collasso spettrale rispetto ai modelli DDIM classici (che prevedono $\epsilon$), ma soffrono comunque di drift strutturale senza guida aggiuntiva.
3. Metodo OVG: Introduzione di una tecnica di guida all'inferenza che ripristina la distribuzione gaussiana richiesta per le texture realistiche mantenendo la fedeltà strutturale, risolvendo il trade-off struttura-testura.
4. Validazione Estensiva: Sperimentazione su dataset reali (microscopia BBBC021 e schizzi-oggetti Edges2Shoes) che conferma la superiorità del metodo rispetto alle tecniche deterministiche e stocastiche esistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su:

• BBBC021: Dataset di microscopia biologica per super-risoluzione (fattori $\times8, \times16, \times32$).
• Edges2Shoes: Traduzione da mappe di bordi a immagini di scarpe.

Risultati Quantitativi e Qualitativi:

• Recupero delle Texture: OVG ripristina efficacemente le alte frequenze (misurato tramite High-Frequency Score - SHF), superando i metodi deterministici che producono immagini sfocate.
• Fedeltà Strutturale: A differenza dei metodi stocastici puri (come TABA o ReNoise) che migliorano le texture ma degradano la struttura (basso Low-Frequency Score - SLF), OVG mantiene un'alta fedeltà strutturale.
• Pareto Frontier: OVG espande il fronte di Pareto, permettendo di massimizzare contemporaneamente sia la realismo delle texture che la fedeltà strutturale, un risultato non raggiungibile dai baselines.
• Robustezza: Il metodo funziona sia con architetture U-Net che DiT (Diffusion Transformer) e sia nello spazio latente che nello spazio dei pixel, confermando che il problema è intrinseco alla dinamica di inversione deterministica e non all'architettura.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Ridefinisce la comprensione dell'inversione: Sposta il focus dalla semplice correzione degli errori di discretizzazione (obiettivo dei lavori precedenti come EDICT) alla gestione delle proprietà spettrali del latente invertito.
• Abilita nuove applicazioni: Risolve il problema critico della generazione di dettagli realistici in compiti dove l'input è intrinsecamente povero di informazioni (es. imaging medico, restauro artistico), permettendo di "allucinare" texture plausibili senza perdere l'identità dell'oggetto originale.
• Soluzione Pratica: OVG è un metodo "plug-and-play" che può essere applicato durante l'inferenza senza bisogno di riaddestrare il modello di diffusione, rendendolo immediatamente utilizzabile nella comunità.

In sintesi, il paper dimostra che la chiave per una traduzione immagine-immagine di alta qualità risiede nel controllo rigoroso della dinamica della varianza nello spazio latente, bilanciando la necessità di rumore stocastico per le texture con la necessità di stabilità per la struttura.