Sintesi Tecnica: La Fisica è Importante nel PnP: Garanzie di Recupero con i Denoiser MMSE e NN

1. Definizione del Problema

Il documento affronta il problema inverso lineare mal posto di recuperare un vettore casuale $x \in \mathbb{R}^n$ da un'osservazione $y \in \mathbb{R}^m$ governata dal modello diretto:
$$y = Ax + e$$
dove $A: \mathbb{R}^n \to \mathbb{R}^m$ è un operatore lineare, ed $e$ è un rumore gaussiano con media nulla e una matrice di covarianza $\Sigma_E$ possibilmente non diagonale e definita positiva. Il problema è mal condizionato e potenzialmente non unico se $A$ non è iniettiva.

Gli autori investigano il paradigma Plug-and-Play (PnP), specificamente l'iterazione di splitting forward-backward (FBS). A differenza degli approcci classici che si affidano a funzionali di regolarizzazione espliciti, il PnP sostituisce l'operatore prossimale con un operatore di denoising $\hat{D}$. L'iterazione generale considerata è:
$$x_{k+1} = \hat{D}(x_k + \gamma B(y - Ax_k))$$
dove $\gamma > 0$ è un passo (step size) e $B \in \mathbb{R}^{n \times m}$ è un operatore lineare. La sfida centrale affrontata è stabilire rigorose garanzie di recupero (limiti di errore) per questa iterazione quando il denoiser è l'estimatore del Minimo Errore Quadratico Medio (MMSE - Minimum Mean Square Error), ed estendere tali risultati ai casi in cui l'MMSE è approssimato da una rete neurale (NN).

Una distinzione critica di questo lavoro è il trattamento della distribuzione del rumore. Mentre molti studi esistenti sull'analisi PnP assumono che il denoiser sia addestrato su rumore gaussiano isotropo ($\sigma^2 I$), questo articolo considera il rumore gaussiano degenerato con strutture di covarianza generali, riconoscendo che il rumore iniettato nel denoiser durante l'iterazione PnP dipende dall'operatore diretto $A$ e dalla scelta di $B$.

2. Metodologia

2.1 Il Framework del Denoiser MMSE

Gli autori definiscono l'ottimale denoiser $\hat{D}$ come l'estimatore MMSE di $X$ dato un'osservazione rumorosa $Z = X + \Upsilon$, dove $\Upsilon \sim \mathcal{N}(0, \Sigma_\Upsilon)$. Fondamentalmente, $\Sigma_\Upsilon$ non è assunto essere isotropo; può essere degenerato e viene scelto per corrispondere alla distribuzione del termine di rumore $\gamma B e$ generato durante l'iterazione PnP.

L'estimatore MMSE è definito come la media condizionata a posteriori:
$$\hat{D}_\mu(z) = \mathbb{E}[X | Z=z] = \frac{\int x \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}{\int \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}$$
dove $\phi$ è il kernel della densità gaussiana adattato al sottospazio $V = \text{Im}(\Sigma_\Upsilon)$.

2.2 Assunzioni Chiave

L'analisi si basa su diverse assunzioni strutturali:

• Compattezza: Il supporto della distribuzione a priori $\mu_X$ è compatto e limitato da $M$.
• Consistenza del Sottospazio: Il supporto di $\mu_X$ risiede nel sottospazio $V$ generato dalla covarianza del rumore $\Sigma_\Upsilon$.
• Proprietà dell'Operatore: La matrice $BA$ è simmetrica e semidefinita positiva. L'operatore $B$ mappa in $V$.
• Iniettività Restretta: L'intersezione del nucleo di $BA$ e del cono tangente dell'involucro convesso del supporto di $\mu_X$ è banale, garantendo l'invertibilità sull'insieme rilevante.

2.3 Analisi delle Approssimazioni tramite Reti Neurali

Riconoscendo che l'esatto estimatore MMSE è computazionalmente intrattabile in alta dimensione, gli autori estendono la loro analisi a denoiser parametrizzati da reti neurali ReLU. Utilizzano la teoria dell'approssimazione per limitare la larghezza, la profondità e l'ampiezza dei pesi necessari a una rete per approssimare la funzione identità (e quindi il denoiser MMSE) sul supporto della distribuzione a priori con una specifica precisione $\epsilon$.

3. Contributi Principali

Il documento presenta tre contributi primari, andando oltre la visione "black-box" dei denoiser PnP:

1. Regolarità e Stabilità dei Denoiser MMSE:
   Gli autori stabiliscono che il denoiser MMSE è Lipschitz continuo e, sotto specifiche condizioni (rumore gaussiano con covarianza non degenere), cocoercitivo. Ciò fornisce una rigorosa giustificazione teorica per la "non-espansività ferma" spesso imposta euristicamente nei metodi PnP. Dimostrano anche la stabilità del denoiser rispetto alla misura a priori (continuità di Wasserstein).

2. Garanzie di Recupero per PnP con MMSE:
   Il documento deriva limiti di errore di punto (pointwise) e di distanza di Wasserstein per l'iterazione PnP-FBS.

   • Limiti Pointwise: Il limite di errore dipende dal numero di condizionamento dell'operatore $BA$ ristretto al cono tangente dell'insieme delle soluzioni, dal livello di rumore e dall'errore di campionamento della distribuzione a priori empirica.
   • Limiti di Wasserstein: La distribuzione delle iterazioni converge alla vera distribuzione a priori. Il limite include esplicitamente un termine della metrica di Bures, che misura la discrepanza tra la distribuzione del rumore utilizzata per addestrare il denoiser ($\Upsilon$) e il rumore effettivo nell'iterazione ($\gamma B E$).

3. La Necessità di Denoiser Consapevoli della Fisica (Physics-Aware):
   Un risultato teorico centrale di questo lavoro è che il denoiser non può essere scelto in modo agnostico rispetto alla fisica. La scelta dell'operatore $B$ e della covarianza del rumore $\Sigma_\Upsilon$ usata per costruire il denoiser deve essere accoppiata. Nello specifico, per un rendimento ottimale, il denoiser deve essere addestrato su statistiche di rumore che corrispondano al rumore trasformato dell'osservazione $\gamma B E$. La scelta standard $B = A^\top$ implica implicitamente che il denoiser sia agnostico rispetto al modello diretto, il che gli autori dimostrano portare a limiti di recupero subottimali, a meno che non siano soddisfatte specifiche condizioni.

4. Risultati Principali

4.1 Recupero Pointwise

Il Teorema 3.2 fornisce un limite sull'errore di ricostruzione $\|x_k - x\|$. L'errore converge a un vicinato della soluzione determinato da:

• Amplificazione del Rumore: Proporzionale a $\gamma \|B\| \|e\|$.
• Performance del Denoiser: Relativa alla distanza tra il segnale vero e i campioni di addestramento empirici.
• Condizionamento: Il tasso di convergenza $q$ dipende dal numero di condizionamento di $BA$ sull'insieme delle soluzioni.
  Fondamentalmente, il limite è valido anche se il denoiser non è una contrazione, a patto che il numero di condizionamento di $BA$ sia sufficientemente favorevole rispetto alla costante di Lipschitz del denoiser.

4.2 Recupero Distribuizionale

Il Teorema 3.6 stabilisce i limiti sulla distanza quadratica di Wasserstein attesa $W_2^2(\hat{\mu}_k, \mu_X)$ tra la distribuzione delle iterazioni e la vera distribuzione a priori. Il limite rivela che l'errore è minimizzato quando la covarianza del rumore di addestramento $\Sigma_\Upsilon$ corrisponde alla covarianza del rumore di iterazione $\gamma^2 B \Sigma_E B^\top$. Se tale corrispondenza è perfetta, il termine della metrica di Bures svanisce, migliorando significativamente il limite.

4.3 Approssimazione tramite Rete Neurale

Il Teorema 3.11 estende i limiti pointwise al caso in cui il denoiser MMSE sia sostituito da una rete neurale addestrata. Il limite di errore include termini per:

• L'errore di approssimazione della rete (dipendente da $\epsilon$).
• Le costanti di Lipschitz della rete.
• L'errore di campionamento dei dati di addestramento.
  Gli autori derivano requisiti specifici per la profondità e la larghezza della rete per raggiungere una desiderata precisione di approssimazione, mostrando che le garanzie di recupero rimangono valide purché la rete sia sufficientemente espressiva.

5. Significato e Rivendicazioni

Il documento sostiene che la sua analisi sposti fondamentalmente la comprensione dei metodi PnP, dimostrando che la fisica è importante.

• Rifiuto dell'Agnosticismo: Gli autori sostengono che la pratica comune di addestrare denoiser su rumore generico (ad esempio, gaussiano isotropo) e applicarli a problemi inversi con arbitrarie operazioni dirette $A$ e covarianze $\Sigma_E$ è teoricamente errata. Il denoiser deve essere "consapevole della fisica" (physics-aware), ovvero la sua distribuzione di rumore di addestramento deve allinearsi con il rumore effettivo introdotto dall'operatore $B$ nell'iterazione PnP.
• Assunzioni Rilassate: Sfruttando le proprietà specifiche dell'estimatore MMSE (cocoercività e limiti di Lipschitz derivati dalla distribuzione a priori), gli autori derivano garanzie di recupero senza richiedere la forte assunzione che il denoiser sia una mappatura di contrazione o un operatore prossimale di un funzionale convesso.
• Limiti Quantitativi: Il documento fornisce limiti di errore espliciti e non asintotici che quantificano i compromessi tra il condizionamento del problema inverso, la qualità del denoiser (e dei suoi dati di addestramento) e il livello di rumore.

In conclusione, il lavoro fornisce una solida base teorica per i metodi Plug-and-Play, enfatizzando che la progettazione del denoiser e la scelta dell'operatore di splitting $B$ sono intrinsecamente legate al modello diretto e alle statistiche del rumore del problema inverso specifico che si sta risolvendo.