Technische Samenvatting: Real-time Verbetering van Onderwaterbeelden via Frequentie-gestuurde Dual-Path Attention

Probleemstelling

Real-time verbetering van onderwaterbeelden (Underwater Image Enhancement, UIE) is essentieel voor mobiele fotografie, autonome onderwatervoertuigen (AUV's) en embedded visiesystemen. Deze toepassingen vereisen modellen met een lage latentie, een compact geheugenvoetafdruk en een minimaal energieverbruik. Hoewel recente ultra-lichtgewicht Convolutional Neural Networks (CNN's) gebaseerd op structurele re-parameterisatie (bijv. RepVGG, MobileOne) aan deze efficiëntiebeperkingen voldoen, opereren zij primair in het ruimtelijke domein. Deze benadering negeert de frequentiegevoelige aard van onderwaterdegradatie, waarbij lichtabsorptie de globale spectrale verdelingen vormgeeft (wat kleur beïnvloedt) en verstrooiing hoogfrequente componenten dempt (wat randen erodeert). Bestaande frequentiebewuste methoden vertrouwen vaak op zware architecturen of complexe frequentiedecomposities die een computationele overhead introduceren die incompatibel is met real-time, resource-beperkte edge-implementatie. Bov�ien missen klassieke lichtgewicht attention-mechanismen (bijv. SENet, CBAM) expliciete frequentiemodellering, terwijl huidige re-parameteriseerbare modellen de neiging hebben om directionele en spectrale diversiteit te verliezen wanneer takken samensmelten tot enkele kernels tijdens de inferentie.

Methodologie

De auteurs stellen een lichtgewicht UIE-framework voor dat frequentiedomein-modellering integreert in een re-parameteriseerbare CNN-architectuur zonder inferentie-overhead te veroorzaken. Het framework bestaat uit twee primaire componenten:

1. Multi-Branch Reparameterizable Convolution met Fixed DCT Priors (MBRConv-DCT)

Deze module verbetert de spectrale representatiecapaciteit van standaard re-parameteriseerbare convoluties.

• Mechanisme: Tijdens de training voegt MBRConv-DCT een specifieke lineaire tak toe met vaste, niet-DC $3 \times 3$ Discrete Cosine Transform (DCT) kernels. Deze kernels coderen gestructureerde directionele frequentierespons (horizontaal, verticaal, diagonaal) reikend van lage tot hoge frequenties.
• Training: De tak bevat een leerbare pointwise convolutie en een scalaire gate (geïnitialiseerd op nul) om ervoor te zorgen dat de tak de vroege training niet verstoort.
• Inferentie: Cruciaal is dat de DCT-tak volledig lineair is. Tijdens de re-parameterisatiefase worden deze vaste kernels en geleerde gewichten analytisch samengevoegd tot een standaard $3 \times 3$ convolutiekernel. Bijgevolg verrijkt MBRConv-DCT het model met gevoeligheid voor directionele frequentiekenmerken tijdens de training, maar introduceert het nul extra parameters of FLOPs tijdens de inferentie.

2. Frequency-Guided Dual-Path Attention (FGDPA)

Deze module voert adaptieve feature-modulatie uit door ruimtelijke en spectrale kenmerken te fuseren.

• Frequentiepad: Om resolutie-invariantie en stabiliteit te garanderen, wordt de input feature map gedownsampled naar een vast $32 \times 32$ grid. Een 2D Fast Fourier Transform (FFT) wordt toegepast om een log-gecomprimeerd magnitudespectrum te verkrijgen. Global average pooling aggregeert deze statistieken om een compact spectraal descriptor te vormen. Deze descriptor stuurt kanaalmodulatie direct in het frequentiedomein aan, waardoor de computationele kosten van inverse FFT's worden vermeden.
• Ruimtelijk pad: Een parallelle tak opereert puur in het ruimtelijke domein, waarbij max- en average pooling worden gebruikt om een ruimtelijke saliency map te genereren.
• Fusie: De twee paden worden gecombineerd via een statische, leerbare hybride gating-mechanisme. De uiteindelijke attention map is een gewogen som en een elementgewijze product van de frequentie-gestuurde kanaal-attention en de ruimtelijke saliency map.
• Efficiëntie: Het frequentiepad werkt op een constante resolutie van $32 \times 32$, en alle convoluties zijn $1 \times 1$, wat zorgt voor minimale runtime-overhead.

Het framework behoudt de Feature Self-Transform (FST) module van MobileIE om niet-lineaire feature-interacties te verbeteren. Het gehele netwerk neemt een re-parameteriseerbare trainingsstructuur aan die tijdens de inferentie inklapt tot een lichtgewicht feed-forward model.

Belangrijkste Bijdragen

1. FGDPA Module: Een ultra-lichtgewicht attention-mechanisme dat een resolutie-invariante spectrale descriptor construeert uit vaste $32 \times 32$ FFT-magnitudes. Het maakt gebruik van globale spectrale statistieken om kanaalmodulatie te sturen zonder inverse FFT's, waardoor globale degradatiekenmerken efficiënt worden gevangen.
2. MBRConv-DCT: Een multi-branch re-parameteriseerbare convolutie die vaste niet-DC DCT directionele priors injecteert tijdens de training. Deze lineaire tak is analytisch inklapbaar, waardoor de spectrale diversiteit wordt verrijkt zonder extra inferentiekosten.
3. Integratie van Frequentie-sturing: Het werk toont aan dat expliciete frequentiesturing naadloos kan worden geïntegreerd in ultra-lichtgewicht re-parameteriseerbare CNN's, waarbij state-of-the-art prestaties worden behaald met slechts 4,23K parameters.

Experimentele Resultaten

De voorgestelde methode werd geëvalueerd op de UIEB dataset (gesuperviseerd) en de EUVP en UIQS datasets (ongesuperviseerd/geen referentie).

• Prestaties: Op de UIEB benchmark behaalde het model 23,97 dB PSNR en 0,9155 SSIM, waarmee het de sterkste lichtgewicht concurrent (MobileIE) met meer dan 1,1 dB versloeg bij een vergelijkbaar aantal parameters (~4,2K). Het overtrof ook de veel grotere U-Shape Transformer (31,5M parameters) in zowel distortiegebaseerde als perceptuele metrieken (laagste LPIPS van 0,1188).
• Generalisatie: Op real-world datasets (EUVP en UIQS) toonde het model een superieure robuustheid, waarbij het state-of-the-art UIQM- en UCIQE-scores behaalde op EUVP en tweede werd op UIQS.
• Efficiëntie: Het model werkt op 628+ FPS bij een resolutie van $480 \times 640$ op een NVIDIA RTX 3090. Op een embedded platform (Jetson AGX Orin) bereikt het 106,9 FPS met een latentie van 9,35 ms.
• Ablatie-studies: Het verwijderen van de frequentie-magnitude uit het attention-pad veroorzaakte een significante prestatiedaling (van 23,97 dB naar 22,81 dB), wat bevestigt dat frequentiebewuste kanaalmodulatie onmisbaar is. De vaste DCT-kernels boden een robuuste spectrale inductieve bias, waarbij de prestaties stabiel bleven over verschillende aantallen kernels ($K=2$ tot $8$).

Betekenis en Claims

Het artikel claimt dat expliciete frequentiemodellering effectief kan worden geïntegreerd in ultra-lichtgewicht CNN's zonder de real-time prestaties op te offeren. Door gebruik te maken van gestructureerde spectrale priors (via MBRConv-DCT) en lichtgewicht FFT-gebaseerde statistieken (via FGDPA), adresseert het voorgestelde framework de specifieke frequentiegevoelige degradatie van onderwaterbeelden die ruimtelijke modellen missen.

De auteurs positioneren dit werk als een oplossing voor de "efficiëntie-effectiviteitskloof" in huidige ultra-lichtgewicht re-parameteriseerbare modellen. Ze demonstreren dat prestatiewinsten in dit domein niet noodzakelijkerwijs een verhoging van de modeldiepte of het aantal parameters vereisen, maar eerder een verbetering van de representatieve efficiëntie van elke parameter door frequentiebewust ontwerp. De resultaten suggereren een sterk potentieel voor de implementatie van deze modellen op resource-beperkte platforms zoals onderwatervoertuigen en embedded robotische systemen.