Riassunto Tecnico: Apprendimento dell'Incertezza Indotta da Perturbazione Agnostico rispetto al Backbone per la Dehazing di Immagini Real-World End-to-End

Problema

La de-hazing (rimozione della foschia) di immagini real-world rimane un problema mal posto e complesso a causa della natura spazialmente non uniforme, dipendente dall'illuminazione e fisicamente ambigua della degradazione da foschia. Sebbene le attuali reti di restauro end-to-end formulino tipicamente la de-hazing come una mappatura deterministica da un'osservazione nebbiosa a un target pulito, esse spesso falliscono nell'esplorare esplicitamente l'incertezza nascosta all'interno delle caratteristiche degradate, dei priori della foschia e dei campioni negativi cross-domain. Anche con dataset real-world accoppiati (ad es. I-HAZE, O-HAZE, Dense-Haze), la sola ricostruzione pixel-wise può risultare in strutture eccessivamente smussate o deviazioni cromatiche perché l'apprendimento supervisionato standard non tiene conto della variabile sensibilità di diversi canali di feature e posizioni spaziali alla foschia. Inoltre, i metodi esistenti spesso mancano di meccanismi per verificare se un'immagine restaurata sia fisicamente coerente con il processo di formazione della foschia osservato o per separare efficacemente i target puliti dalle degradazioni nei domini reale e sintetico nello spazio delle feature.

Metodologia: Framework BPUL

Gli autori propongono il Backbone-Agnostic Perturbation-Induced Uncertainty Learning (BPUL), un framework plug-and-play progettato per modellare l'incertezza delle feature sensibili alla degradazione senza richiedere una riprogettazione del backbone di restauro sottostante. BPUL è composto da tre componenti complementari:

1. Modulatore di Incertezza Indotta da Perturbazione Apprendibile (LPUM)

LPUM è il modulo centrale di inferenza inserito nei livelli intermedi di un backbone di restauro (CNN, Transformer o ibrido). Opera tramite:

• Perturbazione Stocastica: Iniezione di perturbazioni stocastiche apprendibili nelle mappe delle feature intermedie. Stima le distribuzioni di perturbazione per canale e per spazio utilizzando il campionamento riparametrizzato (predicendo media e log-deviazione standard).
• Risposta all'Incertezza: Confronto della risposta originale della feature con la risposta perturbata allineata inversamente per calcolare una mappa di discrepanza. Questa discrepanza misura la sensibilità di specifici canali e posizioni spaziali alle perturbazioni legate alla foschia.
• Modulazione delle Feature: Conversione di queste discrepanze in pesi di modulazione (tramite mappature con gating sigmoidale) che scalano adattivamente le feature. Le risposte stabili indicano contenuti affidabili, mentre i cambiamenti bruschi dopo la perturbazione evidenziano le regioni sensibili alla degradazione che richiedono modulazione.

2. Modulo di Ricostruzione Guidato dall'Incertezza e Informato dai Prior (PURM)

PURM funge da vincolo durante la fase di training per imporre la coerenza fisica. Ricostruisce l'osservazione nebbiosa originale ($\hat{I}$) a partire dall'immagine restaurata ($\hat{J}$) utilizzando il modello di scattering atmosferico:
$$\hat{I}(x) = \hat{T}(x)\hat{J}(x) + (1 - \hat{T}(x))\hat{A}(x)$$

• Iniezione di Prior: Utilizza stime del Dark Channel Prior (DCP) per la trasmissione ($T_d$) e la luce atmosferica ($A_d$), iniettandole tramite concatenazione e modulazione affine latente.
• Accoppiamento dell'Incertezza: Fondamentalmente, PURM eredita i segnali di perturbazione ($N_c, N_s$) generati dall'LPUM del backbone (tramite un blocco I-LPUM ereditato) invece di apprendere nuove perturbazioni. Ciò assicura che le regioni identificate come sensibili durante la de-hazing in avanti influenzino anche la ricostruzione inversa della foschia.
• Loss: Una perdita di ricostruzione ($L_{rec}$) minimizza la differenza tra l'immagine nebbiosa ricostruita e l'input originale.

3. Perdita Contrastiva Dual-space Diversificata per il Dominio e Consapevole della Distribuzione (D3CL)

D3CL regolarizza le distribuzioni delle feature sia nello spazio di restauro pulito che nello spazio di ricostruzione della foschia.

• Dual-space: Applica l'apprendimento contrastivo sia sull'output de-hazed ($\hat{J}$) che sull'immagine nebbiosa ricostruita ($\hat{I}$).
• Negativi Diversificati: Inveve di utilizzare solo l'input nebbioso accoppiato come negativo, impiega:
  • Negativi real-world: Immagini nebbose non corrispondenti da altri coppie di training per modellare il più ampio dominio di degradazione real-world.
  • Negativi sintetici: Per coprire le distribuzioni di foschia sintetica.
• Feature Stocastiche: Per approssimare in modo efficiente le rappresentazioni consapevole della distribuzione, le feature percettive (estratte tramite VGG-19 congelata) vengono perturbate in base alla loro ampiezza di attivazione, evitando costose inferenze Monte Carlo.
• Obiettivo: La perdita spinge l'ancora verso il positivo (pulito o originale nebbioso) e la allontana dai negativi reali e sintetici in uno spazio percettivo consapevole della perturbazione.

Training vs. Inferenza: L'intero framework (LPUM + PURM + D3CL) è utilizzato durante il training. Durante l'inferenza, viene mantenuto solo il backbone potenziato dal leggero LPUM; PURM e D3CL vengono scartati, garantendo un overhead computazionale aggiuntivo minimo.

Contributi Chiave

1. Framework BPUL: Introduzione di un framework di apprendimento dell'incertezza agnostico rispetto al backbone che modella esplicitamente l'incertezza delle feature sensibili alla degradazione attraverso perturbazioni stocastiche apprendibili.
2. LPUM: Un modulo che stima le risposte di incertezza per canale e per spazio dalle discrepanze indotte dalla perturbazione, consentendo una modulazione adattiva delle feature senza alterare l'architettura del backbone.
3. PURM: Un modulo di ricostruzione che impone un vincolo di coerenza fisica bidirezionale ricostruendo l'osservazione nebbiosa dal risultato restaurato, guidato da prior di trasmissione/atmosferici e segnali di incertezza condivisi.
4. D3CL: Una perdita contrastiva dual-space che regolarizza sia lo spazio pulito che quello nebbioso utilizzando negativi reali e sintetici all'interno di uno spazio percettivo consapevole della perturbazione.
5. Validazione Empirica: Esperimenti estesi che dimostrano come BPUL migliori costantemente molteplici backbone rappresentativi (MIMOUNet, IRNeXt, HOGformer-S, VIVNet) su cinque benchmark accoppiati real-world.

Risultati Sperimentali

Gli autori hanno valutato BPUL su cinque benchmark accoppiati real-world: Dense-Haze, I-HAZE, O-HAZE, NH-HAZE e LMHaze.

• Performance: BPUL ha migliorato costantemente tutti e quattro i backbone testati. In media, ha migliorato MIMOUNet di 1.13 dB / 0.031 SSIM, IRNeXt di 0.96 dB / 0.021 SSIM, HOGformer-S di 1.48 dB / 0.061 SSIM e VIVNet di 1.09 dB / 0.038 SSIM.
• Generalità: Il metodo ha mostrato robustezza attraverso diversi tipi di degradazione (indoor/outdoor, omogenea/non omogenea, intensità variabili) e diverse architetture di backbone (CNN, Transformer, ibride).
• Efficienza: Poiché PURM e D3CL sono vincoli utilizzabili solo durante il training, il costo di inferenza è marginale, limitato solo alle operazioni leggere di LPUM.
• Studi di Ablazione:
  • Rimuovendo uno dei due rami (canale o spazio) in LPUM, le prestazioni sono peggiorate, confermando la necessità di una modellazione congiunta.
  • La rimozione della generazione di perturbazione apprendibile ha ridotto il PSNR, evidenziando l'importanza delle distribuzioni apprese.
  • In PURM, la rimozione degli input dei prior o della modulazione dell'incertezza ha abbassato significativamente le prestazioni, e la condivisione delle perturbazioni tra i moduli forward e backward si è rivelata superiore alla stima indipendente.
  • L'ablation di D3CL ha mostrato che l'uso di negativi reali non corrispondenti, negativi sintetici e feature VGG stocastiche ha migliorato progressivamente i risultati, con la formulazione dual-space completa che ha fornito i guadagni migliori.

Significato e Rivendicazioni

Il paper sostiene che BPUL fornisca un approccio generale ed efficiente per rafforzare le reti di de-hazing real-world. Esplicitamente apprendendo l'incertezza sensibile alla degradazione e imponendo una coerenza di degradazione bidirezionale, il framework affronta l'ambiguità intrinseca della foschia real-world che le mappature deterministiche spesso trascurano. Gli autori sottolineano che BPUL è agnostico rispetto al backbone, il che significa che può essere integrato in reti di restauro allo stato dell'arte esistenti con un intervento architettonico minimo, fornendo al contempo sostanziali guadagni nel restauro. L'approccio sposta il paradigma dal puro restauro deterministico al processamento consapevole dell'incertezza, offrendo un modo rigoroso per gestire le ambiguità fisiche della foschia real-world senza incorrere in un significativo overhead di inferenza.