Riepilogo Tecnico: Miglioramento delle Immagini Subacquee in Tempo Reale tramite l'Attenzione a Doppio Percorso Guidata dalla Frequenza

Problematica

Il miglioramento delle immagini subacquee (UIE) in tempo reale è essenziale per la fotografia mobile, i veicoli autonomi subacquei (AUV) e i sistemi di visione embedded. Queste applicazioni richiedono modelli con bassa latenza, impronta di memoria compatta e consumo energetico minimo. Sebbene le recenti reti neurali convoluzionali (CNN) ultra-leggere basate sulla ri-parametrizzazione strutturale (ad es., RepVGG, MobileOne) soddisfino questi vincoli di efficienza, esse operano principalmente nel dominio spaziale. Questo approccio ignora la natura sensibile alla frequenza della degradazione subacquea, dove l'assorbimento della luce rimodella le distribuzioni spettrali globali (influenzando il colore) e lo scattering attenua le componenti ad alta frequenza (erodendo i bordi). I metodi esistenti sensibili alla frequenza spesso si affidano ad architetture pesanti o a complesse decomposizioni in frequenza che introducono un overhead computazionale incompatibile con l'implementazione edge in tempo reale e con risorse limitate. Inoltre, i classici meccanismi di attenzione ultra-leggeri (ad es., SENet, CBAM) mancano di una modellazione esplicita della frequenza, mentre gli attuali modelli ri-parametrizzabili tendono a perdere la diversità direzionale e spettrale quando i rami si fondono in singoli kernel durante l'inferenza.

Metodologia

Gli autori propongono un framework UIE leggero che integra la modellazione nel dominio della frequenza in un'architettura CNN ri-parametrizzabile senza incorrere in overhead di inferenza. Il framework è composto da due componenti primarie:

1. Convoluzione Ri-parametrizzabile Multi-Ramo con Prior DCT Fissi (MBRConv-DCT)

Questo modulo potenzia la capacità di rappresentazione spettrale delle standard convoluzioni ri-parametrizzabili.

• Meccanismo: Durante l'addestramento, MBRConv-DCT aggiunge un ramo dedicato lineare contenente kernel Discrete Cosine Transform (DCT) $3 \times 3$ fissi e non-DC. Questi kernel codificano risposte di frequenza direzionali strutturate (orizzontali, verticali, diagonali) che spaziano dalle basse alle alte frequenze.
• Addestramento: Il ramo include una convoluzione pointwise apprendibile e un gate scalare (inizializzato a zero) per garantire che il ramo non disturbi le fasi iniziali dell'addestramento.
• Inferenza: Fondamentalmente, il ramo DCT è interamente lineare. Durante la fase di ri-parametrizzazione, questi kernel fissi e i pesi appresi vengono fusi analiticamente in un kernel di convoluzione standard $3 \times 3$. Di conseguenza, MBRConv-DCT arricchisce la sensibilità del modello ai segnali di frequenza direzionale durante l'addestramento, ma introduce zero parametri o FLOP aggiuntivi durante l'inferenza.

2. Attenzione a Doppio Percorso Guidata dalla Frequenza (FGDPA)

Questo modulo esegue una modulazione adattiva delle caratteristiche fondendo indizi spaziali e spettrali.

• Percorso di Frequenza: Per garantire l'invarianza di risoluzione e la stabilità, la mappa delle caratteristiche in input viene sottocampionata a una griglia fissa di $32 \times 32$. Viene applicata una Trasformata di Fourier Discreta (FFT) 2D per ottenere uno spettro di magnitudo compresso in scala logaritmica. Il pooling medio globale aggrega queste statistiche per formare un descrittore spettrale compatto. Questo descrittore guida la modulazione dei canali direttamente nel dominio della frequenza, evitando il costo computazionale delle FFT inverse.
• Percorso Spaziale: Un ramo parallelo opera puramente nel dominio spaziale, utilizzando il pooling max e l'average pooling per generare una mappa di salienza spaziale.
• Fusione: I due percorsi vengono combinati tramite un meccanismo di gating ibrido statico e apprendibile. La mappa di attenzione finale è una somma pesata e un prodotto elemento per elemento della modulazione del canale guidata dalla frequenza e della mappa di salienza spaziale.
• Efficienza: Il ramo di frequenza opera a una risoluzione costante di $32 \times 32$ e tutte le convoluzioni sono $1 \times 1$, garantendo un overhead di runtime minimo.

Il framework mantiene il modulo Feature Self-Transform (FST) da MobileIE per migliorare le interazioni non lineari delle caratteristiche. L'intera rete adotta una struttura di addestramento ri-parametrizzabile che collassa in un modello feed-forward leggero per l'inferenza.

Contributi Chiave

1. Modulo FGDPA: Un meccanismo di attenzione ultra-leggero che costruisce un descrittore spettrale invariante rispetto alla risoluzione partendo dalle magnitudo FFT a risoluzione fissa. Sfrutta statistiche spettrali globali per guidare la modulazione dei canali senza ricorrere a FFT inverse, catturando in modo efficiente i segnali di degradazione globale.
2. MBRConv-DCT: Una convoluzione ri-parametrizzabile multi-ramo che inietta prior direzionali DCT fissi durante l'addestramento. Questo ramo lineare è analiticamente collassabile, arricchendo la diversità spettrale senza aggiungere costi di inferenza.
3. Integrazione della Guida in Frequenza: Il lavoro dimostra che la guida esplicita in frequenza può essere integrata perfettamente in CNN ultra-leggere e ri-parametrizzabili, raggiungendo prestazioni allo stato dell'arte con soli 4,23K parametri.

Risultati Sperimentali

Il metodo proposto è stato valutato sul dataset UIEB (supervisionato) e sui dataset EUVP e UIQS (non supervisionati/no-reference).

• Prestazioni: Sul benchmark UIEB, il modello ha raggiunto 23,97 dB PSNR e 0,9155 SSIM, superando il più forte concorrente leggero (MobileIE) di oltre 1,1 dB mantenendo un numero di parametri comparabile (~4,2K). Ha inoltre superato il molto più grande U-Shape Transformer (31,5M di parametri) sia nelle metriche basate sulla distorsione che in quelle percettive (LPIPS più basso di 0,1188).
• Generalizzazione: Sui dataset del mondo reale (EUVP e UIQS), il modello ha dimostrato una robustezza superiore, ottenendo punteggi UIQM e UCIQE allo stato dell'arte su EUVP e classificandosi secondo complessivamente su UIQS.
• Efficienza: Il modello opera a 628+ FPS a una risoluzione di $480 \times 640$ su una NVIDIA RTX 3090. Su una piattaforma embedded (Jetson AGX Orin), raggiunge 106,9 FPS con una latenza di 9,35 ms.
• Studi di Ablazione: Rimuovere la magnitudo della frequenza dal percorso di attenzione ha causato un calo significativo delle prestazioni (da 23,97 dB a 22,81 dB), confermando che la modulazione del canale consapevole della frequenza è indispensabile. I kernel DCT fissi hanno fornito un robusto bias induttivo spettrale, con le prestazioni che sono rimaste stabili attraverso diversi conteggi di kernel ($K=2$ a $8$).

Significato e Rivendicazioni

L'articolo sostiene che la modellazione esplicita della frequenza può essere integrata efficacemente in CNN ultra-leggere senza sacrificare le prestazioni in tempo reale. Utilizzando prior spettrali strutturati (tramite MBRConv-DCT) e statistiche FFT leggere (tramite FGDPA), il framework proposto affronta la degradazione specifica, sensibile alla frequenza, delle immagini subacquee che i modelli puramente spaziali trascurano.

Gli autori posizionano questo lavoro come una soluzione al "gap di efficienza-efficacia" nei modelli ri-parametrizzabili ultra-leggeri attuali. Dimostrano che i guadagni di prestazione in questo dominio non richiedono necessariamente l'aumento della profondità del modello o del numero di parametri, ma piuttosto il miglioramento dell'efficienza rappresentativa di ogni singolo parametro attraverso un design consapevole della frequenza. I risultati suggeriscono un forte potenziale per il dispiegamento di questi modelli su piattaforme con risorse limitate come droni subacquei e sistemi robotici embedded.