Real-World Scene Recovery for Scattering-Degraded Images Using Spatial and Frequency Priors

Riepilogo Tecnico: Recupero di Scene Reali da Immagini Degradate da Scattering mediante Priors Spaziali e in Frequenza

Enunciato del Problema
Il recupero di scene da immagini degradate da effetti di scattering, come nebbia, tempeste di sabbia, condizioni subacquee e ambienti di telerilevamento, rimane una sfida fondamentale nella visione artificiale. Queste degradazioni introducono componenti velanti additive e riducono la trasmissione diretta, portando a un contrasto ridotto, distorsione cromatica e perdita di dettagli strutturali. Ciò compromette significativamente la percezione visiva e le prestazioni di compiti a valle come il rilevamento e la segmentazione di oggetti. Le soluzioni esistenti ricadono generalmente in due categorie: metodi basati su priors e metodi basati sull'apprendimento. Gli approcci basati su priors si affidano spesso a un singolo prior progettato per scenari specifici (ad esempio, nebbia diurna), fallendo nel generalizzare attraverso degradazioni da scattering diverse ed eterogenee. Al contrario, i metodi basati sull'apprendimento, sebbene potenti, richiedono tipicamente dati di addestramento sintetici su larga scala, soffrono di divari di dominio quando applicati a scenari reali e richiedono risorse computazionali sostanziali.

Metodologia: Priors Spaziali e in Frequenza (SFP)
Gli autori propongono un nuovo framework, i Priors Spaziali e in Frequenza (SFP), progettato per recuperare scene da immagini reali degradate da scattering senza fare affidamento su dati di addestramento sintetici su larga scala. Il framework opera attraverso tre fasi principali:

1. Prior nel Dominio Spaziale (SDP):

   • Osservazione: Gli autori osservano che l'inverso di un'immagine degradata da scattering ($1 - I(x)$) rivela una proiezione lungo la sua direzione spettrale che correla con la trasmissione della scena sottostante.
   • Meccanismo: La direzione spettrale $S(x)$ è modellata come i gradienti dei tre canali di colore. Il metodo proietta l'immagine degradata invertita su questa direzione spettrale per stimare la mappa di trasmissione della scena $t(x)$.
   • Ripristino: Una volta stimati $t(x)$ e la luce atmosferica globale $A$, la radianza della scena $J(x)$ viene recuperata invertendo il Modello di Scattering Atmosferico (ASM).

2. Priors nel Dominio in Frequenza (FDP):

   • Osservazione 1 (Componenti DC): Nelle immagini chiare, l'intensità media delle componenti a Corrente Continua (DC) tra i canali approssima il valore medio DC dell'immagine degradata corrispondente.
   • Osservazione 2 (Basse Frequenze Radiali): Nelle immagini chiare, le basse frequenze radiali (all'interno di una banda stretta, $\rho(x) < 0.001$) contribuiscono solo per una piccola proporzione (circa l'1%) allo spettro complessivo. Proporzioni più elevate indicano una degradazione severa.
   • Meccanismo: Basandosi su queste osservazioni, viene costruita una maschera adattiva $M_C(x)$ per eseguire un potenziamento nel dominio in frequenza. I parametri della maschera sono determinati in modo adattivo per allineare le componenti DC e ripristinare la proporzione delle basse frequenze alla linea di base attesa dell'1%, compensando efficacemente l'attenuazione indotta dallo scattering.

3. Strategia di Fusione Ponderata:

   • L'immagine finale recuperata è ottenuta fondendo l'immagine ripristinata nel dominio spaziale, l'immagine potenziata nel dominio in frequenza e l'input originale.
   • La fusione viene eseguita nello spazio colore Lab. Per i canali $a$ e $b$, i pesi sono assegnati in base alla neutralità cromatica (valori medi vicini allo zero). Per il canale $L$ (luminanza), viene utilizzata una trasformata wavelet discreta (DWT), mantenendo le componenti a bassa frequenza dal risultato spaziale e fondendo le componenti ad alta frequenza utilizzando una strategia di valore massimo.
   • Viene applicata una post-elaborazione (correzione gamma e compressione HDR) per migliorare la coerenza visiva.

Contributi Chiave

• Nuovo Framework: L'introduzione di SFP, che sfrutta congiuntamente priors complementari nei domini spaziale e in frequenza, superando i limiti degli approcci a dominio singolo o prior singolo.
• Nuovi Priors:
  • Un prior spaziale che sfrutta le proprietà spettrali per proiettare l'immagine degradata invertita sulla direzione spettrale, approssimando la trasmissione della scena.
  • Due priors in frequenza che utilizzano le caratteristiche statistiche delle componenti DC e delle basse frequenze radiali per costruire una maschera adattiva per un potenziamento consapevole della degradazione.
• Generalizzazione: Il metodo ottiene prestazioni superiori in diversi scenari reali (nebbia, tempesta di sabbia, subacqueo, telerilevamento) senza richiedere dataset di addestramento sintetici su larga scala.
• Capacità Plug-and-Play: Il prior nel dominio in frequenza può essere integrato con priors esistenti nel dominio spaziale per migliorarne le prestazioni, dimostrando flessibilità.

Risultati Sperimentali
Sono stati condotti esperimenti estesi su diversi dataset reali, inclusi FTD, DHQ, HSTS, Fattal (nebbia); DID, DAWN (tempesta di sabbia); UIEB, U45, UCCS, UHTS (subacqueo); e UAV, RRSHID, RRSD (telerilevamento). Inoltre, il metodo è stato testato su dataset a degradazione mista (RUSH) e su scene nebbiose notturne complesse (NHRW, RealNightHaze).

• Prestazioni Quantitative: SFP ha costantemente superato oltre 50 metodi dello stato dell'arte (sia basati su priors che basati sull'apprendimento) su più metriche (NIMA, FADE, NIQE, UCIQE). Ad esempio, su dataset reali nebbiosi, ha migliorato i punteggi NIMA medi di circa lo 0,66% e ridotto il FADE del 17,64%. Su dataset subacquei, ha migliorato i punteggi UCIQE del 6,70%.
• Qualità Visiva: I confronti visivi hanno dimostrato che SFP rimuove efficacemente la nebbia e il bias cromatico preservando i dettagli strutturali fini e mantenendo un aspetto cromatico naturale, evitando gli artefatti alone o il sovrapotenziamento comuni in altri metodi.
• Compiti a Valle: Il framework ha migliorato significativamente le prestazioni nei compiti di visione di alto livello. Utilizzato come fase di pre-elaborazione per il rilevamento di oggetti (YOLOv8), SFP ha raggiunto la massima precisione media tra le categorie (Persona, Bicicletta, Auto, Moto, Autobus) rispetto ad altri metodi di rimozione della nebbia. Ha inoltre migliorato i risultati nel rilevamento di punti chiave e nella segmentazione di immagini.

Significato e Affermazioni
Il documento afferma che SFP affronta le limitazioni critiche dei metodi esistenti: la mancanza di adattabilità nei priors a dominio singolo e la scarsa generalizzazione dei metodi basati sui dati verso scenari reali. Modellando congiuntamente le caratteristiche di degradazione nei domini spaziale e in frequenza, SFP fornisce una soluzione robusta e priva di parametri che non dipende da risorse computazionali pesanti o da dati sintetici. Gli autori sottolineano che il metodo è particolarmente efficace in scenari di degradazione complessi e accoppiati, come la nebbia notturna, e funge da fase di pre-elaborazione affidabile per migliorare l'affidabilità dei sistemi basati sulla visione nelle applicazioni reali.