Riepilogo Tecnico: Rimozione del Rumore dalle Immagini Basata sulla Percezione tramite Compressione Generativa

1. Enunciato del Problema

La rimozione del rumore dalle immagini mira a eliminare il rumore preservando i dettagli strutturali e il realismo percettivo. Tuttavia, i metodi tradizionali ottimizzati per metriche di distorsione pixel per pixel (ad esempio, Errore Quadratico Medio o PSNR) producono spesso ricostruzioni eccessivamente sfocate, in particolare in presenza di rumore intenso o di spostamenti della distribuzione. Ciò accade perché la sola minimizzazione della distorsione è insufficiente per la qualità percettiva; il compromesso Tasso-Distorsione-Percezione (RDP) formalizza il fatto che la minimizzazione della distorsione senza considerare i vincoli percettivi porta alla perdita di fini texture e delle statistiche naturali delle immagini.

I metodi esistenti di ripristino percettivo, come le Conditional Wasserstein GAN (WGAN), possono soffrire di un addestramento instabile e di una cattura inadeguata della diversità delle immagini naturali. Al contrario, i modelli di diffusione offrono un addestramento stabile e una forte copertura delle modalità, ma richiedono l'integrazione con i principi di compressione per gestire efficacemente la natura strutturata del rumore rispetto ai segnali naturali.

2. Metodologia

Il documento propone un framework di compressione generativa in cui la rimozione del rumore è ottenuta ricostruendo le immagini da rappresentazioni latenti codificate in entropia. La premessa fondamentale è che i segnali naturali presentano una bassa complessità, mentre il rumore è non strutturato. Operando un compressore a un livello di distorsione corrispondente alla forza del rumore, il rumore ad alta complessità viene soppresso mentre il contenuto strutturato viene preservato.

Gli autori introducono due istanze complementari di questo framework:

2.1. Denoiser di Compressione Condizionata su WGAN (CGanDeCompress)

Questo approccio integra la compressione con perdita appresa con l'addestramento avversario condizionato.

• Architettura: Un codificatore ($E$) mappa un ingresso rumoroso $y$ in una rappresentazione latente quantizzata $z$. Un decodificatore ($G$) ricostruisce l'immagine denoizzata $\hat{x}$ da $z$.
• Controllo del Tasso: La latente $z$ viene codificata in entropia utilizzando un modello di probabilità appreso $P$, producendo un tasso $r(z) = -\log P(z)$.
• Obiettivo di Addestramento: Il sistema minimizza una funzione di perdita combinata:
  $$L_{EGP} = \mathbb{E}_y[\lambda r(z) + d(x, \hat{x}) - \beta \log D(\hat{x}, z)]$$
  dove $d(x, \hat{x})$ combina la perdita MSE e la Similarità Appresa delle Patch di Immagini Percettive (LPIPS). Un discriminatore WGAN condizionato $D$ distingue le immagini ricostruite dalle immagini pulite condizionate su $z$, promuovendo il realismo percettivo.
• Controllo: I parametri $\lambda$ e $\beta$ controllano esplicitamente il compromesso tasso-distorsione-percezione (RDP).

2.2. Ricostruzione Condizionata su Diffusione (DiffDeCompress)

Questo approccio sfrutta i modelli di diffusione come prior generativi guidati da latenti compressi.

• Architettura: Un codificatore stocastico mappa $y$ in una latente compatta $z$. Un decodificatore modella la distribuzione condizionata $p(x_0|z)$ tramite un processo di diffusione inverso.
• Processo: Il processo inverso è condizionato su $z$, guidando la traiettoria di rimozione del rumore verso ricostruzioni semanticamente coerenti, mentre le variabili latenti intermedie permettono la sintesi di dettagli su scala fine.
• Obiettivo di Addestramento: Il modello ottimizza un limite superiore variazionale sulla verosimiglianza negativa logaritmica della diffusione, arricchito con una perdita LPIPS esplicita:
  $$L = \rho L_p + (1-\rho)L_c$$
  dove $L_p$ è la perdita LPIPS e $L_c$ include il vincolo di tasso e la perdita di ricostruzione della diffusione.

3. Contributi Teorici

Il documento stabilisce garanzie non asintotiche per la rimozione del rumore basata sulla massima verosimiglianza (ML) tramite compressione in presenza di rumore gaussiano bianco additivo (AWGN).

• Limiti dell'Errore di Ricostruzione: Gli autori derivano limiti superiori sull'errore di ricostruzione $\|x - \hat{x}\|$ in termini di tasso di compressione $R$, distorsione $D(P)$ e livello di percezione $P$. Il limite indica che, con alta probabilità, l'errore è vicino al limite teorico distorsione-percezione $D(P)$.
• Probabilità di Errore di Decodifica: Il documento fornisce un limite sulla probabilità che il denoiser ML selezioni una parola codice errata, mostrando che tale probabilità diminuisce esponenzialmente con il tasso di compressione $R$.
• Connessione alla Teoria RDP: Il quadro teorico collega esplicitamente le prestazioni di rimozione del rumore alla teoria RDP, dimostrando che i metodi proposti operano entro i limiti teorici dei compromessi distorsione-percezione.

4. Risultati Sperimentali

I metodi sono stati valutati su rumore gaussiano sintetico (dataset KODAK e DIV2K) e rumore del mondo reale (Fluorescence Microscopy Dataset e Smartphone Image Denoising Dataset - SIDD).

• Rumore Sintetico:

  • Qualità Percettiva: Entrambi i metodi proposti hanno costantemente superato le linee di base classiche (BM3D) e basate sull'apprendimento (N2C, N2N, Deep Decoder) nelle metriche percettive (FID, LPIPS, PI).
  • Compromesso Distorsione: Sebbene i metodi supervisionati come N2C abbiano raggiunto PSNR/SSIM più elevati, hanno mostrato punteggi FID e LPIPS significativamente più alti, indicando output eccessivamente sfocati. I metodi proposti hanno mantenuto prestazioni di distorsione competitive raggiungendo al contempo un realismo percettivo superiore.
  • Specifiche: A $\sigma=15$, CGanDeCompress ha raggiunto il FID e LPIPS più bassi. A livelli di rumore più elevati ($\sigma=50$), DiffDeCompress ha ottenuto la migliore qualità percettiva (PI più basso) su KODAK, mentre CGanDeCompress ha eccelluto nella similarità distribuzionale (FID) su DIV2K.

• Rumore del Mondo Reale:

  • Sui dataset FMD e SIDD, CGanDeCompress ha dimostrato robustezza agli spostamenti di dominio e al rumore complesso del mondo reale.
  • FMD: LPIPS è migliorato da 0,439 (rumoroso) a 0,035, con PSNR che è aumentato da 28,45 dB a 36,71 dB.
  • SIDD: LPIPS è ridotto da 0,646 a 0,093, e PSNR è aumentato da 26,35 dB a 32,70 dB, con guadagni significativi nella similarità strutturale (SSIM).

5. Significato e Affermazioni

Il documento afferma che il framework di compressione generica proposto colma con successo il divario tra la rimozione del rumore guidata dalla distorsione e quella guidata dalla percezione. Interpretando la rimozione del rumore come una proiezione su una classe di segnali a bassa complessità indotta da un codec con perdita, il metodo ottiene:

1. Controllo Esplicito: La capacità di gestire esplicitamente il compromesso RDP attraverso modelli di compressione appresi.
2. Fedeltà Percettiva: La generazione di texture realistiche e dettagli fini che spesso vengono persi nei metodi ottimizzati per MSE.
3. Fondamento Teorico: L'istituzione di limiti non asintotici che collegano il tasso di compressione all'errore di rimozione del rumore, validando l'approccio attraverso principi teorico-informatici.
4. Robustezza: Prestazioni coerenti su benchmark sintetici e scenari reali complessi che coinvolgono spostamenti di dominio e distribuzioni di rumore complesse.

Gli autori concludono che la compressione generativa offre un paradigma robusto per la rimozione del rumore dalle immagini basata sulla percezione, ottenendo una fedeltà percettiva migliorata senza sacrificare prestazioni di distorsione competitive.