Trainable Nonexpansive Denoisers for Contractive Image Reconstruction

Sintesi Tecnica: Denoiser Nonespansivi Addestrabili per la Ricostruzione di Immagini Contrattiva

Definizione del Problema
La ricostruzione di immagini da misurazioni lineari rumorose e incomplete è un problema inverso mal posto fondamentale nella computer vision, che comprende compiti quali deblurring, super-risoluzione e MRI. Gli approcci variazionali classici risolvono $\min_x f(x) + g(x)$, dove $f$ è un termine di fedeltà ai dati e $g$ è un regolarizzatore. Tuttavia, progettare regolarizzatori espliciti efficaci è difficile. I metodi Plug-and-Play (PnP) affrontano questo problema sostituendo l'operatore prossimale di $g$ con un denoiser generico $D$. Sebbene il PnP scoli il denoiser dal modello forward, permettendo il riutilizzo di reti pre-addestrate, esso spesso manca di garanzie di convergenza quando $D$ viene trattato come una scatola nera.

Gli approcci esistenti per garantire la convergenza tipicamente impongono vincoli di Lipschitz (specificamente, la nonespansività, dove la costante di Lipschitz è $\le 1$) solo empiricamente sui dati di addestramento tramite termini di penalità. Questi vincoli "soft" non forniscono garanzie al di fuori della distribuzione di addestramento, portando potenzialmente a comportamenti instabili o alla divergenza durante la ricostruzione. Al contrario, imporre vincoli di Lipschitz globali su architetture non lineari ad alte prestazioni (come DRUNet o DnCNN) degrada significativamente le prestazioni di denoising. La sfida centrale è costruire un denoiser che sia globalmente nonespansivo per progettazione, mantenendo al contempo una sufficiente espressività per una ricostruzione di alta qualità.

Metodologia
Gli autori propongono un framework principato per la costruzione di una famiglia parametrica di denoiser che siano globalmente nonespansivi per progettazione. Il metodo si basa sullo sfruttamento dell'azione delle permutazioni sul reticolo dell'immagine.

1. Aggregazione Basata su Permutazioni:
   Il denoiser $D$ è costruito aggregando versioni permutate dell'immagine di input. Sia $G$ un gruppo di permutazioni che agisce sul reticolo dell'immagine $\Omega$. Per un'immagine rumorosa $x$ e un'immagine di riferimento $\xi$, il denoiser calcola un'aggregazione pesata:
   $$D(x; \xi) = \left( \sum_{\pi \in G} N_\theta(\xi, \pi \cdot \xi) \odot (\pi \cdot x) \right) \oslash \left( \sum_{\pi \in G} N_\theta(\xi, \pi \cdot \xi) \right)$$
   Qui, $N_\theta$ è una rete neurale leggera che predice pesi positivi basati sull'immagine di riferimento $\xi$ e sulle sue varianti permutate. La non linearità è confinata alla predizione dei pesi (dipendente da $\xi$), mentre l'aggregazione su $x$ rimane lineare.

2. Condizioni Strutturali per la Nonespansività:
   Per garantire che l'operatore risultante sia nonespansivo (costante di Lipschitz $\le 1$), gli autori impongono specifiche condizioni strutturali:

• Positività: L'output della rete $N_\theta$ deve essere strettamente positivo.
• Condizione di Coerenza Inversa (ICC): I pesi devono soddisfare $N_\theta(\xi, \pi \cdot \xi) = \pi \cdot N_\theta(\xi, \pi^{-1} \cdot \xi)$. Ciò assicura che l'operatore di aggregazione lineare sottostante sia simmetrico.
• Symmetrizzazione: Poiché il passaggio di normalizzazione nella definizione di $D$ può rompere la simmetria, gli autori applicano un protocollo di simmetrizzazione $\phi(D)$ (basato su Sreehari et al., 2016) per produrre un operatore simmetrico e stocastico $D_{sym}$.
• Insieme di Permutazione: L'insieme $G$ è scelto affinché sia chiuso rispetto all'inversione e per evitare elementi di ordine-2 non triviali (involuzioni) che renderebbero la ICC eccessivamente restrittiva. Gli autori utilizzano un insieme di traslazioni locali $T[R]$ che soddisfa tali requisiti.

3. Ricostruzione Convergente:
   Il denoiser simmetrizzato $D_{sym}$ viene integrato nel framework PnP-HQS (Half-Quadratic Splitting). Gli autori dimostrano che, sotto ipotesi moderate (incluso la proprietà di non-annichilimento dell'operatore forward), l'operatore di iterazione a punto fisso $T = D_{sym} \circ \text{prox}_{\rho f}$ è contrattivo. Ciò garantisce la convergenza globale verso un punto fisso unico.

4. Addestramento e Implementazione:
   La rete $N_\theta$ è addestrata end-to-end per minimizzare l'Errore Quadratico Medio (MSE) del compito di denoising. Durante la ricostruzione, viene impiegata una fase di "warm-up" in cui l'immagine di riferimento $\xi$ viene aggiornata iterativamente per migliorare la qualità dei pesi; una volta che il riferimento si stabilizza, viene congelato per soddisfare le condizioni teoriche di contrazione.

Contributi Chiave

• Design di Denoiser Nonespansivi: Il paper propone un framework per costruire denoiser che siano globalmente nonespansivi per progettazione, evitando la necessità di stimare o vincolare la costante di Lipschitz della rete durante l'addestramento.
• Garanzie Teoriche: Gli autori dimostrano che l'operatore di ricostruzione formato integrando il loro denoiser con PnP-HQS è contrattivo sotto ipotesi moderate, garantendo la convergenza globale.
• Prestazioni Empiriche: Il metodo proposto raggiunge una qualità di ricostruzione competitiva su problemi inversi standard (deblurring e super-risoluzione) rispetto ai baseline allo stato dell'arte.

Risultati Sperimentali
Gli esperimenti sono stati condotti su dataset standard (CBSD10) per compiti di deblurring e super-risoluzione sotto vari livelli di rumore $\nu \in \{0.03, 0.05\}$ e kernel di blur.

• Denoising: A livelli di rumore elevati ($\sigma = 50/255$), il denoiser proposto supera significativamente BM3D e rimane competitivo con l'unconstrained DRUNet, preservando efficacemente i dettagli fini.
• Ricostruzione: Nei compiti di deblurring e super-risoluzione, il metodo "Ours" raggiunge punteggi PSNR comparabili o superiori ai recenti baseline convergenti (ad esempio, ADMM+CoCo-DRUNet, IHQS+SPC-DRUNet, GSPnP+GSDRUNet).
• Stabilità: A differenza dei baseline a vincolo soft (ad esempio, SPC-DRUNet, CoCo-DRUNet) che si affidano a vincoli empirici e possono mostrare divergenza nella pratica, il metodo proposto rimane stabile in tutti gli scenari testati grazie alla sua nonespansività globale.
• Efficienza: L'uso di traslazioni locali e la strategia ICC (accoppiando $\pi$ e $\pi^{-1}$) riduce l'overhead computazionale. Il passaggio di simmetrizzazione aggiunge tempo di esecuzione, ma il caching degli output della rete mitiga l'impatto.

Significatività e Rivendicazioni
Il paper sostiene di risolvere il compromesso tra espressività e garanzie di convergenza nei metodi PnP. Sfruttando le azioni dei gruppi di permutazione, gli autori dimostrano che è possibile costruire un denoiser altamente espressivo e addestrabile che sia provabilmente nonespansivo senza fare affidamento su vincoli empirici che falliscono al di fuori della distribuzione di addestramento. Il framework di ricostruzione risultante offre una "forte forma di garanzia di convergenza" (contrazione) che esclude la divergenza, fornendo un approccio più affidabile e fidato per applicazioni di imaging computazionale dove la stabilità è essenziale. Il lavoro fa avanzare lo sviluppo di metodi di machine learning interpretabili e affidabili per i problemi inversi.