Provably Contractive and High-Quality Denoisers for Convergent Restoration

1. Il Problema

Il recupero di immagini (image restoration) mira a ricostruire un'immagine pulita da osservazioni degradate (rumore, sfocatura, super-risoluzione, ecc.). Sebbene le reti neurali convoluzionali (CNN) e basate su trasformatori (come DnCNN, Restormer) abbiano raggiunto prestazioni all'avanguardia (SOTA) in termini di qualità visiva e metriche PSNR/SSIM, soffrono di una mancanza di garanzie di stabilità.

• Trade-off Robustezza-Accuratezza: I modelli esistenti sono spesso sensibili a piccole perturbazioni negli input (es. compressione JPEG, sottocampionamento cromatico, rumore del sensore), portando a degradazioni significative o artefatti.
• Mancanza di Convergenza Garantita: Nell'ambito dei metodi iterativi "Plug-and-Play" (PnP), dove un denoiser appreso sostituisce il passo di regolarizzazione, l'uso di denoiser non vincolati può portare alla divergenza dell'algoritmo.
• Limiti degli Approcci Esistenti: Le reti con vincoli di Lipschitz (es. 1-Lipschitz) offrono stabilità teorica, ma spesso sacrificano drasticamente la qualità del recupero o non forniscono garanzie di contrattività globale (Lipschitz < 1) end-to-end.

2. Metodologia Proposta

Gli autori propongono un'architettura di denoising provabilmente contrattiva (globale Lipschitz < 1) che mantiene un'alta qualità di ricostruzione. La metodologia si basa su tre pilastri principali:

A. Architettura Contrattiva (Layer Prossimali e Wavelet)

Il cuore del metodo è la costruzione di un singolo layer contrattivo $T$ composto da:

1. Passo Gradiente e Prossimale Wavelet: Un blocco basato su un'iterazione Forward-Backward Splitting (FBS) che utilizza una regolarizzazione convessa basata sulle wavelet.
   • Viene applicata una trasformata wavelet ortogonale $W$.
   • Viene eseguita una soglia soft ($\mathcal{S}_\Lambda$) solo sui coefficienti ad alta frequenza (dettagli), lasciando invariati quelli a bassa frequenza.
   • Questo blocco è teoricamente $(1-\alpha)$-contrattivo, dove $\alpha \in (0,1)$ è il passo di apprendimento.
2. Convoluzione Scalata (Scaled Convolution): Per rifinire le caratteristiche, viene utilizzata una convoluzione i cui pesi sono normalizzati esattamente in modo che la norma dell'operatore (norma spettrale) sia $\le 1$.
   • La normalizzazione è calcolata nello spazio delle frequenze (tramite FFT 2D) per garantire che il massimo valore singolare sia $\le 1$.
   • Viene introdotta una scala aggiuntiva $\epsilon$ per garantire che il layer complessivo sia strettamente contrattivo (Lipschitz < 1).

B. Composizione di Layer

L'intera rete è composta dalla composizione sequenziale di $M$ di questi layer contrattivi. Grazie al Lemma 2 (composizione di operatori Lipschitz), se ogni layer è contrattivo, l'intera rete è garantita come contrattiva.

C. Integrazione Plug-and-Play (PnP)

Il denoiser viene utilizzato come operatore di regolarizzazione all'interno di algoritmi iterativi come PnP-FBS (Forward-Backward Splitting). Poiché il denoiser è contrattivo, l'algoritmo di restauro è teoricamente garantito a convergere verso un punto fisso, a differenza dei denoiser non vincolati che possono divergere.

3. Contributi Chiave

1. Primo Denoiser Contrattivo ad Alte Prestazioni: È il primo metodo a dimostrare che un denoiser con garanzie di contrattività globale può competere in accuratezza con modelli SOTA non vincolati (come Restormer e DnCNN), riducendo il divario di prestazioni a livelli trascurabili.
2. Robustezza Certificata: Il modello garantisce che perturbazioni di ingresso di ampiezza $\|\delta\| \le \epsilon$ causino al massimo una variazione $\epsilon$ nell'output. Questo è dimostrato sperimentalmente su perturbazioni reali come compressione JPEG e sottocampionamento cromatico, dove i modelli SOTA falliscono.
3. Convergenza PnP Garantita: L'uso del denoiser in schemi iterativi PnP assicura la convergenza dell'algoritmo di restauro, risolvendo un problema fondamentale nell'uso di reti profonde come regolarizzatori.
4. Architettura Ibrida: Combina tecniche di "unrolling" (scomposizione di algoritmi di ottimizzazione) con convoluzioni controllate per Lipschitz, creando un modello che impara sia la struttura delle wavelet che le caratteristiche profonde.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset standard (BSD68, Set12, Urban100, Kodak24, CBSD68) per denoising, deblurring e super-risoluzione.

• Denoising (Standalone):
  • Il modello proposto supera tutti i baselines 1-Lipschitz esistenti (D-FBS, D-DRS, eSN-ReLU).
  • Rispetto ai modelli non vincolati (Restormer, DnCNN), il divario è minimo (tipicamente 0.8-1.5 dB di PSNR in meno), ma il modello proposto offre stabilità certificata.
  • Qualitativamente, preserva texture fini e dettagli meglio dei modelli 1-Lipschitz tradizionali (che tendono a sovrappiattire l'immagine) e senza gli artefatti dei modelli non vincolati sotto perturbazioni.
• Robustezza alle Perturbazioni:
  • Sotto compressione JPEG (90% qualità) e sottocampionamento cromatico, il modello proposto mantiene prestazioni stabili, mentre Restormer e DnCNN mostrano un crollo significativo della qualità (PSNR) e aumento degli artefatti.
• Restauro Iterativo (PnP):
  • Deblurring e Super-Risoluzione: Il denoiser proposto, inserito in PnP-FBS, raggiunge le migliori prestazioni (PSNR/SSIM) su benchmark colorati, superando sia i baselines contrattivi che quelli non vincolati.
  • Convergenza: Mentre i denoiser non vincolati divergono nelle iterazioni PnP, il modello proposto converge monotonicamente, confermando la teoria.
• Ablation Study:
  • La profondità della rete ($M=30$) è ottimale.
  • La rimozione del blocco prossimale wavelet degrada drasticamente le prestazioni, confermando l'importanza della struttura basata sull'ottimizzazione.
  • Il passo di apprendimento $\alpha$ viene appreso dinamicamente per layer, adattandosi alla complessità del segnale.

5. Significato e Impatto

Questo lavoro sfida l'assunzione comune secondo cui l'imposizione di vincoli di stabilità rigorosi (come la contrattività) degrada inevitabilmente la qualità dell'output. Dimostra che è possibile progettare modelli di visione artificiale verificabili e stabili senza sacrificare significativamente le prestazioni.

• Impatto Teorico: Colma il divario tra la teoria degli operatori non espansivi (necessaria per la convergenza PnP) e la pratica delle reti profonde ad alte prestazioni.
• Impatto Pratico: Offre una soluzione affidabile per applicazioni critiche (medicina, difesa, sorveglianza) dove la stabilità del modello di fronte a rumore o degradazioni impreviste è tanto importante quanto la qualità dell'immagine ricostruita.
• Futuro: Apre la strada allo sviluppo di reti di restauro end-to-end che combinano garanzie di stabilità matematica con la capacità di apprendimento profondo.

In sintesi, gli autori hanno creato un denoiser che è matematicamente garantito per essere stabile e convergente, ma che empiricamente funziona quasi quanto i migliori modelli non vincolati, risolvendo il compromesso storico tra robustezza e accuratezza nel restauro delle immagini.