Riepilogo Tecnico: WREN - Miglioramento di Immagini in Bassa Luminosità tramite Strutture Simili a Doppia U-Net Basate sulla Teoria di Retinex

1. Definizione del Problema

Il miglioramento di immagini in bassa luminosità (LLIE) è critico per applicazioni quali la visione notturna, la ricerca e il soccorso, e la sorveglianza, dove spesso si verificano incidenti stradali, disastri e crimini in ambienti bui. I metodi LLIE esistenti soffrono tipicamente di tre sfide primarie:

1. Decomposizione Retinex Non Banale: La decomposizione di un'immagine in riflettanza (colore intrinseco) e illuminazione (condizioni di luce) non è univoca e presenta un problema mal posto.
2. Instabilità nell'Apprendimento End-to-End: L'addestramento congiunto delle fasi di compensazione dell'illuminazione e di raffinamento porta spesso a una convergenza instabile.
3. Sensibilità alla Gamma Dinamica: Molti metodi allo stato dell'arte non riescono a generalizzare su diverse condizioni di illuminazione, risultando spesso in un sovra-miglioramento o in un sotto-miglioramento quando la gamma dinamica della scena di test differisce dai dati di addestramento.

Un limite specifico identificato negli approcci attuali in due fasi (decomposizione seguita da raffinamento) è l'over-smoothing (sovra-levigatura). Poiché la fase di raffinamento opera sull'immagine sintetizzata a luce normale (il prodotto di riflettanza e illuminazione), essa assume implicitamente che il rumore esista nella mappa di riflettanza. Tuttavia, secondo la teoria di Retinex, la mappa di riflettanza dovrebbe essere priva di rumore. Di conseguenza, la levigatura dell'immagine combinata degrada involontariamente la mappa di riflettanza, compromettendo texture e dettagli.

2. Metodologia: Architettura WREN

Gli autori propongono WREN, una rete neurale progettata per aderire rigorosamente ai principi della teoria di Retinex per superare l'over-smoothing e la sensibilità alla gamma dinamica. WREN impiega una struttura a doppia U-Net composta da due sottoreti:

3.1. Rete di Decomposizione Retinex ($U_1$)

Questa rete utilizza un encoder condiviso con due decoder separati per decomporre l'immagine in bassa luminosità in ingresso ($I_{low}$) in:

• Mappa di Riflettanza ($R$): Rappresenta il colore intrinseco della superficie.
• Mappa di Illuminazione ($L_{low}$): Rappresenta l'intensità della luce incidente.

Scelta Progettuale Chiave: A differenza di altri approcci che raffinano la mappa di riflettanza, WREN mantiene la mappa di riflettanza decomposta $R$ invariata. Ciò segue rigorosamente l'assunto di Retinex secondo cui la riflettanza è invariante rispetto alle condizioni di luce e dovrebbe essere priva di rumore.

3.2. Rete di Compensazione dell'Illuminazione ($U_2$)

Questa rete si concentra esclusivamente sul miglioramento della mappa di illuminazione ($L_{low}$) ottenuta da $U_1$. Impiega un'architettura U-Net personalizzata con i seguenti componenti specifici:

• Blocco Transformer: Inserito tra l'encoder e il decoder per catturare caratteristiche non locali e promuovere la fluidità dell'illuminazione non locale, favorendo la riduzione del rumore.
• Blocchi di Attenzione: Integrati per concentrarsi sulle caratteristiche rilevanti.
• Filtri Guidati Addestrabili: Utilizzati nel decoder per denoisare fortemente le regioni a bassa luminosità preservando al contempo bordi e texture.
• Blocchi Residui: Utilizzati per mantenere l'integrità delle caratteristiche.

L'immagine migliorata finale viene ricostruita ricombinando la mappa di riflettanza invariata ($R$) e la mappa di illuminazione migliorata ($L_{normal}$) tramite moltiplicazione elemento per elemento: $I_{recon} = R \odot L_{normal}$.

3.3. Funzioni di Perdita (Loss Functions)

WREN è addestrato end-to-end utilizzando una funzione di perdita composita progettata per la robustezza:

• Perdita di Decomposizione ($L_{decomp}$): Include un termine di fedeltà di ricostruzione e una perdita Invariante di Scala (SI). La perdita SI è cruciale poiché è matematicamente invariante alla riscalatura globale della mappa di illuminazione, fornendo robustezza contro i cambiamenti di gamma dinamica.
• Perdita di Miglioramento ($L_{enh}$): Una combinazione di Similarità Strutturale Multi-Scala (MS-SSIM), perdita percettiva (caratteristiche VGG-16), distanza del colore CIE $L^*a^*b^*$ e una penalità hinge per evitare che i valori superino 1.0.

3. Contributi Chiave

1. Struttura a Doppia U-Net: Un'architettura innovativa che separa la decomposizione dal miglioramento dell'illuminazione, aderendo rigorosamente all'assunto di Retinex secondo cui la riflettanza è priva di rumore e invariante.
2. Addestramento Invariante di Scala: L'introduzione di una funzione di perdita invariante di scala che garantisce la robustezza del modello attraverso diverse gamme dinamiche e condizioni di illuminazione, affrontando un punto di debolezza comune nei metodi LLIE esistenti.
3. Denoising Mirato dell'Illuminazione: Isolando la mappa di illuminazione per il miglioramento tramite blocchi Transformer e filtri guidati, il metodo evita gli artefatti di over-smoothing tipicamente causati dal raffinamento dell'immagine combinata.

4. Risultati Sperimentali

Gli autori hanno valutato WREN su cinque dataset: LOLv1, SICE, LIEQ, NTIRE 2024 e MIT-Adobe FiveK. Il modello è stato addestrato su LOLv1 e testato su tutti i dataset per dimostrare la generalizzazione.

• Prestazioni Quantitative: WREN ha raggiunto risultati allo stato dell'arte (SOTA) in tutte le metriche (PSNR, SSIM, LPIPS e MAE) rispetto a sei baseline (ReDDiT, Retinexformer, RetinexNet, SNR-Net, KinD++, Zero-DCE e LIME). In particolare, ha superato il recente metodo ReDDiT di oltre 1 dB in PSNR e oltre 0.1 in LPIPS.
• Prestazioni Qualitative:
  • Regioni Scure: WREN ha performato in modo comparabile ai migliori metodi nelle regioni puramente scure.
  • Illuminazione Mista: In scene con illuminazione mista (es. cielo e terreno scuro), WREN ha migliorato con successo le aree a bassa luminosità senza sovraesporre le regioni a luce normale. Al contrario, metodi come Retinexformer hanno causato spostamenti di colore nel cielo, mentre altri (ReDdiT, RetinexNet, ecc.) hanno prodotto immagini sovraesposte.
  • Gestione del Rumore: A differenza dei metodi che amplificano il rumore del sensore (es. RetinexNet, LIME), WREN sopprime efficacemente il rumore nelle regioni scure senza introdurre fastidiosi cambiamenti di colore.

5. Significato e Rivendicazioni

Il documento afferma che la significatività di WREN risiede nella sua capacità di raggiungere prestazioni robuste e allo stato dell'arte su molteplici dataset con diverse gamme dinamiche, seguendo rigorosamente gli assunti teorici di Retinex. Decoupling (disaccoppiando) il raffinamento dell'illuminazione dalla preservazione della riflettanza, il metodo elimina gli artefatti di over-smoothing che limitano i compiti di computer vision a valle. Gli autori sottolineano che il loro approccio fornisce una soluzione end-to-end stabile che è meno sensibile alle gamme dinamiche specifiche dei dati di addestramento rispetto ai metodi LLIE basati sul deep learning esistenti.