Sintesi Tecnica: Miglioramento delle Immagini in Bassa Luminosità tramite Attenzione Multi-scala combinata con la Trasformata di Fourier (MSFT)

1. Definizione del Problema

Il miglioramento delle immagini in bassa luminosità (Low-light Image Enhancement - LLIE) mira a recuperare immagini di alta qualità e con illuminazione normale da input catturati in ambienti caratterizzati da illuminazione insufficiente, come interni bui o scene esterne con variazioni drammatiche di luminosità. Queste condizioni portano alla degradazione della luminanza, a una sostanziale sfocatura dell'immagine e al rumore.

I metodi esistenti basati sul deep learning per la LLIE affrontano diverse limitazioni:

• Recupero di Texture e Illuminazione: Molti faticano ad acquisire accuratamente le distribuzioni di illuminazione del mondo reale e a ripristinare simultaneamente i dettagli fini della texture.
• Limitazioni Adattive: I metodi mainstream spesso non riescono ad adattare l'illuminazione in modo adattivo sulla base delle informazioni di texture regionale, portando a problemi di sovraesposizione o sottoesposizione.
• Dipendenza da Calcolo e Prior: Sebbene i modelli di diffusione offrano un alto realismo, spesso dipendono da processi di degradazione assunti o da pesanti prior pre-addestrati, limitandone l'applicabilità in scenari reali dove la degradazione è ambigua. Inoltre, i metodi che si affidano a prior semantici richiedono spesso risorse computazionali eccessive.
• Gestione del Rumore e dello Sfondo: Tecniche come l'ottimizzazione consapevole del SNR migliorano il rapporto segnale-rumore ma spesso non riescono a catturare informazioni su scala profonda o ad aumentare adeguatamente le regioni di sfondo contenenti elementi di primo piano aurorali.

2. Metodologia

Gli autori propongono MSFT (Multi-scale Attention combined with the Fourier Transform), una rete di deep learning supervisionata nel dominio della frequenza. L'architettura è un framework a due stadi a forma di U che integra Reti Neurali Convoluzionali (CNN) e Transformer, guidata dai principi della trasformata di Fourier.

Componenti Architetturali Core

A. Attenzione Multi-scala Guidata dalla Trasformata di Fourier (FTG-MSA)
Questo è il modulo di recupero centrale integrato nelle scale della rete. Sfrutta l'osservazione che l'ampiezza nel dominio della frequenza codifica le informazioni di luminosità, mentre la fase si riferisce ai dettagli strutturali.

• Costruzione della Guida: La rete crea una mappa di luminosità delle caratteristiche a quattro canali concatenando l'immagine a bassa luminosità con una mappa prior del valore massimo di grigio (derivata dallo strato di illuminazione tramite la teoria di Retinex).
• Fusione di Frequenza: Il modulo esegue la Trasformata Rapida di Fourier (FFT) sia sulle caratteristiche dell'immagine a bassa luminosità che sulla mappa di guida a quattro canali. Aggiunge lo spettro di ampiezza della mappa di guida allo spettro di ampiezza dell'immagine a bassa luminosità preservando la fase dell'immagine a bassa luminosità.
• Trasformazione Inversa: Una FFT inversa (IFFT) ricostruisce la mappa delle caratteristiche guidata, che funge da prior di luminosità per prevenire sovra o sotto esposizioni.
• Meccanismo di Attenzione: Questa informazione di ampiezza fusa guida un meccanismo di auto-attenzione multi-testa (multi-head self-attention). I pesi dell'attenzione sono calcolati dinamicamente per estrarre selettivamente le caratteristiche rilevanti, arricchendo il contenuto dell'immagine pur preservando la texture.

B. Attenzione Sinergica Multi-forma (MSSA)
Progettato per estrarre informazioni di texture su scala profonda e integrare caratteristiche sparse ad alta dimensionalità, il modulo MSSA è inserito nella scala con il maggior numero di canali. Comprende tre componenti collegate in serie:

1. Attenzione Sinergica Spaziale e di Canale (SCSA): Pesa adattivamente l'importanza dei canali e aumenta le informazioni spaziali critiche.
2. Attenzione Multi-forma (MSA): Consiste in Attenzione Quadrata Dilatata (DSA) e Attenzione Rettangolare Dilatata (DRA) in parallelo.
   • DSA: Utilizza un'attivazione tangente iperbolica (Tanh) invece della Softmax per evitare i limiti del filtro passa-basso, potenziando le componenti ad alta frequenza.
   • DRA: Aggrega le informazioni in regioni rettangolari per catturare caratteristiche multi-forma.
3. CMUNeXt: Un modulo leggero che estrae informazioni globali attraverso tutti i canali simultaneamente, riducendo i parametri e i costi computazionali pur integrando l'informazione spaziale-canale.

C. Struttura della Rete
L'architettura complessiva è una struttura a forma di U a tre scale.

• Encoding: Le immagini a bassa luminosità e la mappa di guida a quattro canali vengono elaborate attraverso strati convoluzionali e blocchi FTGT (Fourier Transform-Guided Transformer) per generare caratteristiche gerarchiche.
• Decoding: Le caratteristiche multi-scala dell'encoder vengono inviate direttamente ai corrispondenti canali del decoder per guidare la ricostruzione, eliminando la necessità di ulteriore estrazione di caratteristiche e riducendo la ridondanza.
• Funzione di Perdita (Loss Function): Il modello è addestrato utilizzando la perdita di Charbonier per minimizzare l'errore tra l'output migliorato e la verità di base (ground truth).

3. Contributi Chiave

1. Architettura MSFT: La proposta di una rete integrata a due stadi che combina le trasformate di Fourier con un framework U-net cross-mixed CNN-Transformer. Questo design ibrido bilancia l'efficienza della CNN nel catturare caratteristiche locali con la capacità del Transformer di modellare il contesto globale.
2. Modulo FTG-MSA: La progettazione di un meccanismo di auto-attenzione che incorpora l'informazione di ampiezza nel dominio della frequenza come segnale di guida dinamico. Ciò consente alla rete di regolare adattivamente i pesi di miglioramento in base al valore massimo di grigio nelle aree a bassa luminosità, prevenendo artefatti di esposizione.
3. Modulo MSSA: L'introduzione di un modulo di attenzione sinergica multi-forma nello spazio di guida ad alta dimensionalità. Questo modulo integra efficacementamente informazioni sparse, omogeneizza la densità dei canali ed estrae informazioni di texture su scala profonda utilizzando una combinazione di SCSA, MSA (DSA/DRA) e CMUNeXt.
4. Prestazioni Superiori: Esperimenti estesi dimostrano che MSFT supera i metodi allo stato dell'arte (SOTA) su molteplici dataset (LOL, SID, SMID, SDSD) in termini di PSNR e SSIM, in particolare nella preservazione dei dettagli della texture e nel ripristino dell'illuminazione senza sovraesposizione.

4. Risultati Sperimentali

Gli autori hanno valutato MSFT su sette dataset: LOL-v1, LOL-v2-real, LOL-v2-synthetic, SID, SMID, SDSD-indoor e SDSD-outdoor.

• Prestazioni Quantitative:
  • Sul dataset SDSD-outdoor, MSFT ha raggiunto un PSNR di 41.76 dB e un SSIM di 0.988. Ciò rappresenta un miglioramento di 11.92 dB rispetto a Retinexformer e un miglioramento del 13.80% in SSIM.
  • Rispetto al metodo supervisionato SOTA Retinexformer, MSFT ha ottenuto guadagni significativi di PSNR in tutti i benchmark, compresi tra 0.11 dB e 11.92 dB.
  • Rispetto al metodo non supervisionato Retinexformer, i miglioramenti sono ancora più pronunciati, con guadagni fino a 16.48 dB su determinati dataset.
• Efficienza:
  • MSFT ha 1.25 milioni di parametri e 18.07 GFLOPs. È relativamente basso rispetto ad altri modelli ad alte prestazioni come SNR-Net (4.01M parametri, 26.35 GFLOPs) e offre un migliore equilibrio tra prestazioni e costo computazionale.
• Studi di Ablazione:
  • La rimozione della guida Retinex (input a quattro canali) ha causato un calo significativo delle prestazioni (ad esempio, ~9 dB su SDSD-outdoor), validando l'importanza dei prior di illuminazione.
  • La rimozione del modulo MSSA ha portato a declini sostanziali sia in PSNR che in SSIM, confermando il suo ruolo nella somiglianza strutturale e nel ripristino della texture.
  • La rimozione della componente FFT all'interno di FTGT ha causato il calo di prestazioni più severo, provando che la guida nel dominio della frequenza è indispensabile per la coerenza globale.
• Risultati Qualitativi: I confronti visivi mostrano che MSFT cattura efficacemente le texture dello sfondo e mantiene un'illuminazione realistica, mentre altri metodi introducono spesso punti scuri, artefatti o sovraesposizione nelle regioni luminose.

5. Significato e Limitazioni

Significato:
L'articolo sostiene che MSFT fornisce una soluzione robusta per il miglioramento della bassa luminosità fondendo efficacemente l'informazione di ampiezza nel dominio della frequenza con meccanismi di attenzione multi-scala. Offre un riferimento per la costruzione di modelli che utilizzano l'attenzione guidata dal dominio della frequenza per ripristinare immagini degradate, raggiungendo un equilibrio tra un preciso recupero dell'illuminazione e un miglioramento dettagliato della texture senza l'ingente carico computazionale dei modelli di diffusione o i limiti delle strutture ViT fisse.

Limitazioni:
Gli autori riconoscono diverse restrizioni:

• Inquinamento Luminoso: Il metodo è limitato nella gestione di immagini inquinate da luce intensa, poiché fatica a rimuovere il rumore dalle parti sovraesposte.
• Elaborazione Real-time: Non è sufficientemente efficiente per l'elaborazione in tempo reale in scenari di luce naturale.
• Dipendenza dai Dati: Il modello richiede una grande quantità di dati accoppiati per l'addestramento e non è attualmente adatto per campi di aumento non supervisionati privi di dati accoppiati.
• Sensibilità al Rumore: Il modello non tiene conto di immagini acquisite in scenari con forte inquinamento da rumore; richiede dataset accoppiati relativamente puliti o pre-puliti.

Lavoro Futuro:
Gli autori suggeriscono le seguenti direzioni di ricerca:

• Integrare veramente la trasformata di Fourier nel livello di attenzione per eseguire i calcoli dell'attenzione direttamente nel dominio della frequenza (usando gli spettri di ampiezza e fase).
• Esplorare l'applicazione dei modelli di diffusione nel dominio della frequenza, potenzialmente ottimizzando la struttura di diffusione per ridurre le risorse computazionali pur sfruttando le loro capacità generative per il miglioramento non supervisionato.