Single Image Reflection Removal with Patch Reflectance Prior

Sintesi Tecnica: Rimozione delle Riflessioni da Singola Immagine con Prior di Riflettanza a Patch

Enunciato del Problema
La Rimozione delle Riflessioni da Singola Immagine (SIRR) mira a recuperare un'immagine di trasmissione pulita ($T$) da una singola immagine di input ($I$) in cui la scena è sovrapposta a una riflessione ($R$). Ciò è formulato come $I = g(T) + f(R)$, dove $g(\cdot)$ e $f(\cdot)$ rappresentano degradazioni diverse come sfocatura, assorbimento della luce, rifrazione ed effetti della profondità di campo. Il compito è mal posto a causa delle variabili sconosciute e della mancanza di verità fondamentale (ground truth) negli scenari del mondo reale.

I metodi esistenti spesso si basano su ipotesi prior specifiche (ad esempio, sparsità del gradiente dell'immagine, indizi di ghosting o regolarità relativa) per separare i livelli. Tuttavia, queste ipotesi falliscono frequentemente in ambienti reali complessi dove le caratteristiche della riflessione variano significativamente (ad esempio, riflessioni nitide rispetto a quelle sfocate, distanze variabili degli oggetti e illuminazione naturale). Inoltre, la scarsità di dati reali ha portato a una eccessiva dipendenza da dataset sintetici, causando una mancanza di robustezza nei modelli quando applicati a scene reali diverse e non strutturate.

Metodologia
Gli autori propongono un framework che evita ipotesi prior rigide e specifiche a favore di un Prior Generale di Intensità della Riflessione. Questo prior definisce la forza del fenomeno della riflessione in una regione locale, piuttosto che assumere un tipo specifico di degradazione (come sfocatura o ghosting). Il framework è composto da due componenti principali:

1. Definizione del Prior di Intensità della Riflessione:
   Invece del rapporto standard tra riflessione e trasmissione (che può produrre valori infiniti per riflessioni forti), gli autori ridefiniscono l'intensità della riflessione come un punteggio normalizzato compreso tra 0 e 1:
   $$\text{IntensitàRiflessione} = \frac{\text{Media}(R)}{\text{Media}(R) + \text{Media}(T)}$$
   Questa metrica è calcolata per ogni patch regionale per tenere conto della natura non uniforme delle riflessioni nelle immagini sovrapposte.

2. Rete di Estrazione del Prior di Riflessione (RPEN):
   RPEN è progettata per stimare il prior di intensità della riflessione per ogni patch di un'immagine di input.

   • Architettura: Utilizza un backbone ResNext101 pre-addestrato su ImageNet per comprendere immagini regolari non riflesse.
   • Addestramento: La rete viene fine-tunata su un dataset composto da immagini sintetiche (create sovrapponendo riflessioni da CEILNet su immagini PASCAL VOC) e immagini reali dal dataset CDR.
   • Raffinamento: Viene adottato un approccio a cascata utilizzando il Pooling Spaziale Piramidale Atrous (ASPP) sulle caratteristiche di alto livello per catturare le relazioni globali tra le patch e raffinare la stima dell'intensità per ciascuna delle 49 ($7 \times 7$) patch.

3. Rete di Rimozione delle Riflessioni basata su Prior (PRRN):
   PRRN utilizza il prior di intensità della riflessione stimato per rimuovere le riflessioni in modo adattivo.

   • Architettura: Impiega una semplice struttura Transformer U-Net, nota per il successo nei compiti di ripristino delle immagini.
   • Incorporazione del Prior: Il prior di intensità della riflessione per ogni patch viene codificato nelle caratteristiche utilizzando un meccanismo di incorporamento sinusoidale (simile alla codifica posizionale nei transformer).
   • Elaborazione Adattiva: Le caratteristiche prior codificate vengono iniettate nella rete tramite livelli Affini per Caratteristica (FWA) all'interno dei ResBlock. Questo guida la rete a concentrarsi sulle regioni di riflessione e a rimuovere il rumore in modo adattivo alla regione durante i processi di upsampling e downsampling.

Contributi Chiave

• Prior Generale di Intensità della Riflessione: Il documento introduce una definizione di prior libera da ipotesi specifiche sui tipi di riflessione (ad esempio, sfocatura o ghosting), concentrandosi invece sulla forza locale del fenomeno della riflessione.
• Framework RPEN e PRRN: Gli autori propongono una pipeline a due stadi in cui RPEN estrae i priori regionali di intensità della riflessione, e PRRN utilizza questi priori all'interno di un'architettura Transformer U-Net per eseguire la rimozione.
• Analisi basata su Patch: Lo studio dimostra che la segmentazione delle immagini in patch permette l'apprendimento di priori di riflessione non uniformi, il che è cruciale per gestire scenari reali diversi.
• Creazione del Dataset: È stato creato un dataset di priori di intensità della riflessione per addestrare il modulo RPEN.

Risultati Sperimentali
Il metodo è stato valutato sul dataset CDR (Categorizzato, Diverso e Reale), nonché sui benchmark Real20, SIR2 e Nature.

• Prestazioni: Il proposto PRRN+RPEN ha raggiunto una precisione all'avanguardia (SOTA) nella maggior parte dei benchmark. Sul set di test CDR, ha raggiunto un PSNR di 24,31 (rispetto a 22,04 del precedente migliore YTMT-UCS) e un SSIM di 0,815.
• Robustezza: Il metodo ha mostrato prestazioni eccezionali nella categoria SRST (Riflessione Nitida, Trasmissione Nitida), dove molti metodi basati su prior falliscono a causa della mancanza di indizi specifici come il ghosting. Ha inoltre performato bene nelle situazioni di BRST (Riflessione Sfocata) e nelle situazioni di riflessione forte.
• Studi Ablativi:
  • Risoluzione delle Patch: Gli esperimenti hanno mostrato che, sebbene l'addestramento di RPEN con patch più piccole (risoluzione più alta) sia più impegnativo, l'uso di verità prior a grana fine come input per PRRN migliora significativamente l'accuratezza della rimozione.
  • Impatto di RPEN: L'aggiunta del modulo RPEN a PRRN ha portato a un aumento di 0,87 dB nel PSNR. L'analisi visiva utilizzando LayerCAM ha confermato che RPEN guida la rete a concentrare l'attenzione sulle regioni di riflessione effettive, mentre PRRN senza RPEN tende a concentrarsi su aree non di riflessione.

Significato e Affermazioni
Il documento afferma che il suo significato principale risiede nel affrontare i limiti dei metodi SIRR esistenti che si basano su ipotesi prior specifiche, spesso fragili. Definendo un prior generale di intensità della riflessione e apprendendolo tramite RPEN, l'approccio proposto raggiunge la robustezza in scenari reali diversi dove le caratteristiche della riflessione sono imprevedibili. Gli autori notano che, sebbene il loro approccio raggiunga una precisione SOTA, l'accuratezza di previsione del prior di intensità della riflessione in certi casi potrebbe potenzialmente essere migliorata in futuro attraverso design RPEN multi-risoluzione. Il lavoro sottolinea che la rimozione adattiva alla regione delle riflessioni, guidata da priori di intensità appresi piuttosto che da ipotesi fisse, è un passo critico in avanti per il ripristino delle immagini nel mondo reale.