Riepilogo Tecnico: Diffusione Condizionata sotto Vincoli Lineari

Enunciato del Problema

Il lavoro affronta il problema del campionamento condizionato zero-shot per problemi inversi lineari (ad esempio, inpainting di immagini, super-risoluzione) utilizzando modelli di diffusione preaddestrati. In questi scenari, un'osservazione $y$ è correlata a un segnale pulito $Z$ tramite un operatore lineare $A$ tale che $y = AZ$. L'obiettivo è campionare dalla distribuzione condizionata $\text{Law}(Z \mid AZ = y)$.

I metodi esistenti basati sulla proiezione (ad esempio, DDRM, DDNM) impongono la coerenza con la misurazione correggendo analiticamente la componente "normale" del segnale (la parte determinata da $A$) durante il processo di diffusione inversa. Tuttavia, gli autori sostengono che la sola coerenza con la misurazione è insufficiente. Mentre la componente normale è fissata dall'osservazione, la componente "tangente" (la parte nello spazio nullo di $A$) rimane indeterminata. I metodi standard basati sulla proiezione lasciano che la dinamica tangente sia governata interamente dal score incondizionato preaddestrato. Ciò porta a un bias nello spazio tangente, dove la massa di probabilità viene distribuita in modo errato lungo l'insieme affine ammissibile, accumulando spesso errori derivanti dalle modalità dominanti del prior incondizionato che sono irrilevanti per la specifica osservazione.

Metodologia

Gli autori propongono un framework di campionamento in due fasi basato su una decomposizione normale–tangente della funzione di score condizionata sotto rumore gaussiano.

1. Decomposizione Normale–Tangente

Per un processo di diffusione a esplosione di varianza (VE) $X_t = Z + W_t$, lo score condizionato $s^*_t(x)$ può essere decomposto in componenti normale ($P_\perp$) e tangente ($P_\parallel$) rispetto allo spazio riga di $A$:

• Componente Normale: Lo score normale $P_\perp s^*_t(x)$ è disponibile in forma chiusa tramite la formula di Tweedie e l'osservazione $b = P_\perp Z$. È dato da $\frac{1}{t}P_\perp(b - x)$.
• Componente Tangente: Lo score tangente $P_\parallel s^*_t(x)$ è sconosciuto. I metodi basati sulla proiezione lo approssimano con lo score tangente incondizionato $P_\parallel s_t(x)$.

Gli autori identificano che l'errore nel campionamento zero-shot standard deriva dalla sostituzione dello score tangente condizionato sconosciuto con quello incondizionato. Questa approssimazione è più problematica a livelli elevati di rumore, dove lo score incondizionato aggrega informazioni da tutte le modalità dei dati, potenzialmente trascinando il campione verso cluster irrilevanti.

2. Campionatore Proposto: Inizializzazione Langevin Proiettata + Denoising Guidato

Per mitigare questo bias, gli autori propongono un algoritmo in tre passaggi (Algoritmo 1):

1. Inizializzazione a Rumore Intermedio ($t^*$): Invece di avviare il processo inverso dal livello di rumore più alto ($T$), il campionatore inizia a un livello di rumore "sicuro" intermedio $t^*$. A questo livello, la componente normale è campionata esattamente dalla legge condizionata $\text{Law}(P_\perp X_{t^*} \mid P_\perp Z = b)$.
2. Miscelazione Langevin Sottosmorzata Proiettata: Prima di iniziare il denoising inverso, il campionatore esegue una breve fase di dinamiche Langevin sottosmorzate proiettate (utilizzando l'integratore BAOAB) vincolate all'insieme affine definito dalla componente normale rumorosa. Questo passaggio utilizza lo score incondizionato proiettato $P_\parallel s_{t^*}$ per miscelare la componente tangente. L'obiettivo è produrre un'inizializzazione che sia già ben miscelata lungo la varietà ammissibile e coerente con il vincolo, riducendo l'accumulo di errori di disallineamento dello score tangente.
3. Denoising Inverso Guidato: Dall' stato inizializzato a $t^*$, il campionatore esegue un denoising inverso guidato fino a $t=0$. Le dinamiche utilizzano la deriva normale esatta (per imporre il vincolo) e lo score tangente incondizionato preaddestrato (per guidare le direzioni tangenti).

Contributi Chiave

Il lavoro apporta quattro contributi principali:

1. Decomposizione Teorica: Deriva una rigorosa decomposizione normale–tangente per la diffusione condizionata affine, mostrando che lo score normale è determinato esattamente dalla misurazione, isolando lo score tangente come unica fonte di errore di approssimazione in contesti zero-shot.
2. Proposta Algoritmica: Introduce un campionatore che combina una correzione normale esatta con una fase di inizializzazione Langevin proiettata. Questa fase miscela esplicitamente le direzioni tangenti a un livello di rumore intermedio prima del denoising guidato, affrontando l'accumulo di bias osservato nei metodi di proiezione ingenui.
3. Limiti di Errore Informazionali: Gli autori dimostrano un limite di errore pathwise (Teorema 4) che mostra come la divergenza di Kullback–Leibler (KL) tra il percorso condizionato ideale e il percorso surrogato sia limitata superiormente dalla informazione mutua condizionata $I(Z_\parallel; Z_\perp \mid X_{t^*})$. Ciò fornisce un criterio informazionale: il metodo è accurato quando la dipendenza statistica residua tra le componenti tangente e normale è piccola al livello di rumore scelto.
4. Garanzie Terminali: Sotto un'ipotesi di modello a miscela gaussiana latente, il lavoro fornisce un limite KL terminale (Teorema 9) che separa l'errore in un termine di inizializzazione e un termine pathwise. Inoltre, sotto una condizione di separazione sul codice latente (Teorema 11), gli autori dimostrano che entrambi i termini di errore decadono esponenzialmente con il rapporto separazione-rumore, stabilendo regimi in cui il metodo è altamente accurato.

Risultati Sperimentali

Il metodo proposto, denominato LCDM-BAOAB, è stato valutato su problemi inversi di imaging lineare standard (inpainting e super-risoluzione 8×) sui dataset CelebA-HQ, LSUN Church e ImageNet.

• Baseline: Il metodo è stato confrontato con DDNM, una forte baseline zero-shot basata sulla proiezione.
• Metriche: Le prestazioni sono state misurate utilizzando la Fréchet Inception Distance (FID) e la Learned Perceptual Image Patch Similarity (LPIPS) con un budget computazionale corrispondente (100 valutazioni della funzione di rete).
• Risultati:
  • LCDM-BAOAB ha costantemente superato DDNM su tutti i dataset e compiti.
  • I miglioramenti sono stati più significativi su ImageNet e per la super-risoluzione 8×, scenari caratterizzati da un'alta ambiguità nello spazio tangente (molte immagini ad alta risoluzione coerenti con la stessa osservazione a bassa risoluzione).
  • I risultati visivi hanno mostrato che LCDM-BAOAB ha prodotto ricostruzioni più pulite e coerenti con meno artefatti di texture rispetto a DDNM, in particolare in scenari ad alta ambiguità.

Significato e Affermazioni

Il lavoro afferma che imporre la coerenza con la misurazione nelle direzioni normali non è sufficiente per risolvere problemi inversi lineari fortemente mal posti con priori di diffusione. L'ostacolo centrale è l'ambiguità nello spazio tangente, dove lo score incondizionato non riesce a distribuire correttamente la massa di probabilità lungo l'insieme ammissibile.

Il significato di questo lavoro risiede in:

• Identificazione della Fonte del Bias: Isola l'approssimazione dello score tangente come il meccanismo specifico che causa il bias nei metodi zero-shot esistenti.
• Garanzie Indipendenti dalla Dimensione: I limiti teorici sono indipendenti dalla dimensione, dipendendo invece dall'informazione mutua condizionata e dalla sensibilità del condizionamento tangente al codice normale.
• Efficacia Pratica senza Fine-Tuning: Il metodo raggiunge prestazioni zero-shot all'avanguardia sfruttando il condizionamento al momento dell'inferenza e la miscelazione Langevin, senza richiedere un fine-tuning specifico per il compito o l'apprendimento di modelli aggiuntivi.
• Giustificazione Teorica per la Miscelazione Tangente: Fornisce una giustificazione teorica del motivo per cui la miscelazione nelle direzioni tangenti a livelli di rumore intermedi migliora la qualità del campionamento, collegando questo miglioramento alla riduzione della dipendenza statistica residua tra componenti osservate e non osservate.