Sintesi Tecnica: Stima del Punteggio Posteriore Esatto per la Risoluzione di Problemi Inversi Lineari

Definizione del Problema

I problemi inversi lineari comportano il recupero di un segnale ignoto $x_0$ da misurazioni rumorose $y = Ax_0 + \eta$, dove $A$ è un operatore diretto noto e $\eta$ è il rumore di osservazione. Questi problemi sono pervasivi nell'imaging (ad es. inpainting, super-risoluzione, deblurring) e sono spesso mal posti, il che significa che più segnali sono coerenti con la stessa osservazione. L'obiettivo è campionare dalla distribuzione posteriore $p(x_0|y)$ piuttosto che trovare una singola stima puntuale, per catturare l'incertezza e bilanciare la fedeltà ai dati con la plausibilità del prior.

Sebbene i modelli di diffusione e basati su flow forniscano potenti prior di dati imparando a invertire la corruzione gaussiana, essi forniscono intrinsecamente lo score incondizionato $\nabla_{x_t} \log p(x_t)$. Risolvere i problemi inversi richiede lo score posteriore $\nabla_{x_t} \log p(x_t|y)$. Gli approcci esistenti si dividono in due categorie con significative limitazioni:

1. Metodi senza addestramento (ad es. DPS, DDNM, $\Pi$GDM) mantengono un denoiser preaddestato fisso e applicano correzioni approssimative di adattamento alla misurazione (ad es. passi di gradiente, proiezioni) ad ogni passo inverso. Questi introducono bias, portando spesso a eccessiva levigatezza (oversmoothing), strutture allucinate o incertezza scarsamente calibrata.
2. Metodi basati sull'addestramento (ad es. Palette, InDI) addestrano un nuovo modello condizionale da zero o tramite distillazione. Sebbene espressivi, questi spesso abbandonano la struttura di denoising del prior, richiedendo alla rete di apprendere la dipendenza dall'operatore end-to-end, il che impedisce un efficiente warm-starting da checkpoint preaddestrati e aumenta i costi di addestramento.

Metodologia: Exact Posterior Score (EPS)

Il documento deriva un'espressione in forma chiusa per l'esatto score posteriore sotto problemi inversi gaussiani lineari e interpolanti gaussiani generali. L'intuizione centrale è che il campionamento posteriore rimane un problema di denoising, ma con un input consapevole della misurazione e una covarianza del rumore anisotropa dipendente dall'operatore.

Derivazione Teorica

Gli autori dimostrano che lo score posteriore al tempo $t$ può essere espresso come:
$$\nabla_{x_t} \log p(x_t|y) = \frac{1}{\beta_t^2} \left( \alpha_t D_{\Sigma^\star(t)}(\mu^\star(x_t, y, t)) - x_t \right)$$
dove:

• $D_{\Sigma^\star(t)}$ è un denoiser anisotropo che stima $E[x_0 | x_0 + \xi = \mu^\star]$ con $\xi \sim \mathcal{N}(0, \Sigma^\star(t))$.
• $\mu^\star(x_t, y, t)$ è il pivot posteriore, una fusione pesata sulla precisione dello stato rumoroso corrente $x_t$ e della misurazione $y$.
• $\Sigma^\star(t)$ è la covarianza posteriore, derivata dai parametri del problema inverso ($A, \sigma_y$) e dallo schema di diffusione ($\alpha_t, \beta_t$).

Fondamentalmente, $\mu^\star$ agisce come una statistica sufficiente per $(x_t, y)$, e $\Sigma^\star$ cattura l'incertezza anisotropa: le direzioni osservate da $A$ diventano più certe, mentre le direzioni non osservate (nel nucleo di $A$) rimangono incerte.

L'Obiettivo di Addestramento EPS

Gli autori definiscono l'Exact Posterior Score (EPS) come un obiettivo di addestramento che sfrutta questa identità:

1. Trasformazione dell'Input: Invece di addestrare sulla standard input rumorosa $x_t$, la rete viene addestrata sul pivot $\mu^\star(x_t, y, t)$.
2. Rumore Anisotropo: I target di addestramento sono il denoising di $\mu^\star$ sotto la specifica covarianza anisotropa $\Sigma^\star(t)$.
3. Simulazione Efficiente: Un contributo teorico chiave (Proposizione 3) mostra che la necessaria corruzione anisotropa è indotta naturalmente dalla costruzione in forma chiusa di $\mu^\star$. Pertanto, è possibile addestrare utilizzando lo standard rumore isotropo di campionamento ($x_t = \alpha_t x_0 + \beta_t \epsilon$) e calcolare $\mu^\star$ analiticamente, evitando la necessità di campionare direttamente il rumore anisotropo.
4. Architettura: L'architettura della rete è identica ai denoiser preaddestrati standard, con i canali di input espansi per concatenare il pivot $\mu^\star$ e l'osservazione grezza $y$. Ciò consente a EPS di essere addestrato da zero o, più efficientemente, di essere fine-tuned da un denoiser incondizionato preaddestrato.

Inferenza

In fase di inferenza, EPS utilizza lo stesso sampler (ad es. Euler ODE) del backbone sottostante. L'unica modifica consiste nel sostituire la chiamata standard al denoiser $D_\theta(x_t, t)$ con $D_\theta(\mu^\star(x_t, y, t), y, t)$. Ciò richiede nessun gradiente di verosimiglianza, nessuna proiezione e nessun loop di ottimizzazione interno durante il campionamento.

Contributi Chiave

1. Identità dello Score Posteriore Esatto: La derivazione di uno score posteriore in forma chiusa per problemi inversi gaussiani lineari, mostrando che il campionamento posteriore si riduce al denoising sotto un pivot traslato con una covarianza anisotropa.
2. Algoritmo EPS: Un obiettivo di addestramento e un algoritmo di campionamento che preservano la struttura di input/output dei denoiser standard. Permette un efficiente fine-tuning da checkpoint preaddestrati e utilizza il sampler del backbone invariato durante l'inferenza.
3. Efficienza e Prestazioni: EPS raggiunge risultati allo stato dell'arte con significativamente meno valutazioni del denoiser (NFE) rispetto ai sampler basati sul gradiente. Converge in $\sim20$ step, mentre i baseline come DPS o $\Pi$GDM richiedono spesso oltre 100 step per avvicinarsi a prestazioni simili.
4. Limite di Alto Rumore: Il metodo fornisce un estimatore a singolo step per la media posteriore $E[x_0|y]$ nel limite di alto rumore, offrendo una stima puntuale MMSE-ottimale veloce senza campionamento iterativo.

Risultati Sperimentali

Gli autori valutano EPS su cinque problemi inversi lineari (inpainting casuale, inpainting a scatola, super-risoluzione 4$\times$, deblurring gaussiano, deblurring di movimento) attraverso i dataset FFHQ e ImageNet.

• Metriche: EPS supera sia i metodi senza addestramento (DPS, DAPS, DDNM, $\Pi$GDM, MPGD) che i metodi basati sull'addestramento (Palette) in termini di fedeltà puntuale (PSNR, SSIM), qualità percettiva (LPIPS, FID) e calibrazione distributiva (CRPS, MMD).
• Efficienza di Campionamento: EPS raggiunge il suo plateau di prestazioni entro $\sim20$ NFE. Al contrario, i baseline basati sul campionamento continuano a migliorare lentamente fino a 100 NFE e spesso non riescono a raggiungere l'asintoto di EPS.
• Efficienza di Addestramento: Quando sottoposto a fine-tuning da un checkpoint preaddestrato, EPS converge in una frazione delle iterazioni richieste da altri metodi basati sull'addestramento (ad es. Palette), grazie alla preservazione della geometria di denoising preaddestrata.
• Tempo di Esecuzione: EPS è il risolutore di problemi inversi più veloce tra i metodi confrontati, eseguendosi quasi alla stessa velocità di wall-clock del denoiser incondizionato preaddestrato (circa 1.006$\times$), poiché evita i passaggi all'indietro richiesti dai metodi basati sul gradiente.
• Ablazioni: Gli esperimenti confermano che il pivot traslato $\mu^\star$ è il fattore critico per le prestazioni, e che la geometria anisotropa appresa da EPS è essenziale, poiché lo zero-shot pivoting (usando un denoiser preaddestrato senza fine-tuning) produce risultati scarsi.

Significato e Rivendicazioni

Il documento afferma che EPS fornisce un approccio principato e calibrato al campionamento posteriore per problemi inversi lineari. Derivando la geometria posteriore esatta, colma il divario tra l'efficienza dei metodi senza addestramento e l'espressività dei metodi basati sull'addestramento.

• Allineamento Strutturale: A differenza dei metodi di addestramento condizionale che costringono la rete a imparare un nuovo percorso condizionale da zero, EPS adatta il prior preaddestrato alla specifica geometria anisotropa indotta dalla misurazione. Ciò consente un rapido fine-tuning e il riutilizzo di potenti prior incondizionati.
• Trasparenza: Il pivot e la covarianza in forma chiusa offrono un controllo trasparente per analizzare il sampler, separando esplicitamente le direzioni misurate da quelle non osservate.
• Praticità: Il metodo non richiede complessi loop di campionamento o computazioni di gradiente durante l'inferenza, rendendolo adatto ad applicazioni a bassa latenza.

Gli autori riconoscono i limiti: la derivazione esatta assume un operatore diretto lineare e un rumore di osservazione gaussiano. Operatori non lineari o rumore non gaussiano richiederebbero una linearizzazione locale o un addestramento contro la vera verosimiglianza, per i quali la forma chiusa non si applica direttamente. Inoltre, i backbone di diffusione latente richiedono attenzione poiché il decoder può rendere non lineari nello spazio dei pixel gli operatori lineari dello spazio latente.