Degradation-Aware and Structure-Preserving Diffusion for Real-World Image Super-Resolution

1. Il Problema: Super-Risoluzione Immagini nel Mondo Reale

La Super-Risoluzione di Immagini Singole (SISR) mira a ricostruire un'immagine ad alta risoluzione (HR) partendo da una versione a bassa risoluzione (LR). Sebbene i modelli basati su regressione pixel-per-pixel ottengano buoni risultati metrici (PSNR), tendono a produrre texture eccessivamente lisce e poco realistiche.
I recenti modelli Diffusion Probabilistici hanno dimostrato una capacità eccezionale nel sintetizzare dettagli ad alta frequenza e texture realistiche. Tuttavia, il loro trasferimento al contesto "mondo reale" presenta sfide significative:

• Degradazioni Complesse: Le immagini reali soffrono di degradazioni eterogenee, sconosciute e spazialmente variabili (sfocatura, rumore, artefatti di compressione JPEG), a differenza dei benchmark sintetici che usano spesso un downsampling bicubico fisso.
• Ambiguità nella Restaurazione: I metodi esistenti trattano l'input LR come un segnale di condizionamento monolitico, senza decouplare esplicitamente il contenuto dell'immagine dai pattern di degradazione sottostanti. Questo porta a risultati ambigui o "allucinazioni" (texture innaturali).
• Perdita di Struttura: L'addestramento standard dei modelli diffusion applica rumore gaussiano uniforme a tutto lo spazio latente. Questo ignora l'eteroschedasticità spaziale: le regioni strutturali (bordi, contorni) sono più sensibili al rumore rispetto alle aree piatte. Il rumore uniforme tende a cancellare prematuramente i segnali geometrici critici, costringendo il modello a "reinventare" la geometria invece di raffinarla.

2. Metodologia Proposta

Gli autori propongono un framework di diffusione per la SISR che integra due moduli leggeri e mirati: Degradation-aware Token Injection (DTI) e Spatially Asymmetric Noise Injection (SANI). Questi moduli migliorano il processo di condizionamento e l'addestramento senza richiedere modifiche fondamentali all'architettura del backbone diffusion.

A. Degradation-aware Token Injection (DTI)

Questo modulo mira a fornire al modello un'esplicita conoscenza delle caratteristiche di degradazione dell'immagine di input.

• Estrazione del Descrittore: Viene estratto un vettore compatto di 6 dimensioni ($\mathbf{d} \in \mathbb{R}^6$) direttamente dall'immagine LR (in scala di grigi). Le componenti includono:
  1. Severità della sfocatura (varianza del Laplaciano).
  2. Livello di rumore additivo.
  3. Artefatti di blocco JPEG.
  4. Densità dei bordi (gradiente di Sobel).
  5. Luminosità media.
  6. Contrasto.
• Iniezione nel Token: Questo vettore viene mappato in un token di condizionamento tramite un adattatore MLP leggero (due strati) e iniettato nel ramo di cross-attention delle immagini (sia in ControlNet che in UNet), insieme ai token semantici.
• Vantaggio: Permette al modello di adattare la strategia di restauro in base al tipo specifico di corruzione presente nell'immagine, riducendo l'ambiguità.

B. Spatially Asymmetric Noise Injection (SANI)

Questa strategia modifica il processo di addestramento per preservare la struttura geometrica.

• Mappatura dei Bordi: Viene calcolata una mappa di forza dei bordi ($\mathbf{E}$) dall'immagine LR utilizzando filtri di Sobel.
• Modulazione del Rumore: Invece di applicare rumore gaussiano uniforme, l'ampiezza del rumore viene modulata spazialmente:
  $$\boldsymbol{\epsilon}' = \boldsymbol{\epsilon} \odot (1 - \lambda \mathbf{E})$$
  Dove $\lambda$ controlla la forza della modulazione.
• Effetto: Le regioni ricche di bordi ricevono meno rumore (fino a una riduzione della varianza del $\lambda^2$), preservando i "scheletri geometrici" dell'immagine durante l'addestramento. Le aree lisce mantengono il rumore standard per permettere la generazione di texture.
• Coerenza: Sebbene il rumore di addestramento sia modificato, il processo di inferenza rimane standard, sfruttando la robustezza intrinseca dei modelli diffusion pre-addestrati a piccole variazioni nella distribuzione del rumore.

3. Risultati Sperimentali

Il metodo è stato valutato sui benchmark DIV2K e RealSR (con fattore di ingrandimento x4), confrontato con lo stato dell'arte (Real-ESRGAN, SeeSR, StableSR, DiffBIR, ecc.).

• Qualità Percettiva: Il metodo proposto eccelle nelle metriche no-reference (NIQE, NRQM, PI, CLIP-IQA, MUSIQ), ottenendo spesso i migliori risultati o risultati in pareggio. Questo indica una texture più naturale e dettagli strutturali più nitidi.
• Trade-off Percezione-Distorsione: Come previsto dalla teoria, il metodo sacrifica leggermente le metriche basate sulla distorsione (PSNR, SSIM) rispetto ai metodi basati su regressione, ma offre un compromesso molto favorevole, producendo risultati visivamente più realistici e meno "sfocati".
• Efficienza:
  • Parametri: L'aggiunta di DTI introduce solo 0.217M parametri in più (un aumento dello 0.01% rispetto al baseline).
  • Tempo di Inferenza: L'aumento di latenza è trascurabile (+0.10 secondi per immagine), rendendo il metodo pratico per l'uso reale.
  • SANI: Non introduce alcun costo computazionale in fase di inferenza, poiché agisce solo durante l'addestramento.

4. Contributi Chiave

1. DTI (Token Injection): Un meccanismo leggero che codifica esplicitamente le statistiche di degradazione in token di condizionamento, permettendo al modello di gestire in modo mirato diverse corruzioni reali.
2. SANI (Noise Injection): Una strategia di addestramento consapevole della struttura che riduce il rumore nelle regioni di bordo, preservando la coerenza geometrica senza penalizzare la generazione di texture nelle aree lisce.
3. Validazione Sperimentale: Dimostrazione che l'approccio combinato migliora costantemente la qualità percettiva e l'integrità strutturale su framework diffusion esistenti con un overhead computazionale minimo.

5. Significato e Conclusioni

Questo lavoro affronta una delle principali limitazioni dei modelli diffusion per la super-risoluzione reale: la mancanza di consapevolezza esplicita sulla degradazione e la sensibilità eccessiva delle strutture al rumore.

• Innovazione Concettuale: Sposta il paradigma dal trattare la degradazione come un rumore da rimuovere implicitamente a modellarla esplicitamente come un segnale di condizionamento interpretabile.
• Impatto Pratico: Offre una soluzione efficiente per applicazioni come il miglioramento fotografico e la creazione di contenuti, dove il realismo visivo è prioritario rispetto alla fedeltà pixel-per-pixel.
• Limitazioni: Il metodo eredita i costi di inferenza elevati tipici dei modelli diffusion multi-step. Inoltre, il descrittore di degradazione è basato su regole fisse (hand-crafted) e potrebbe non essere sufficiente per degradazioni miste estremamente complesse o mai viste prima, un'area indicata per futuri lavori (es. descrittori appresi).

In sintesi, DASP-SR dimostra che un'attenta progettazione del condizionamento e del rumore di addestramento può显著提升 (significativamente migliorare) le capacità dei modelli diffusion nella restaurazione di immagini reali, mantenendo un equilibrio ottimale tra fedeltà strutturale e realismo percettivo.