Leveraging Phase Information to Boost Unrolled Network Learning for Image Deblurring

Technische Samenvatting: UPADNet – Unrolled Phase and Amplitude Decomposition Network voor Image Deblurring

Probleemstelling
Image deblurring (het verwijderen van bewegingsonscherpte uit afbeeldingen) beoogt een scherpe latente afbeelding ($u$) te herstellen uit een bewerkte en ruisgevoelige observatie ($z$), die doorgaans wordt gemodelleerd als een lineaire shift-invariante convolutie gecorrumpeerd door additieve ruis ($z = h * u + n$). Hoewel deep learning-benaderingen aanzienlijke successen hebben geboekt, kampen ze vaak met beperkingen zoals een zware afhankelijkheid van grote geannoteerde datasets, een beperkte generalisatie over diverse real-world degradaties (bijv. variërende ruisniveaus, camerabewegingen) en hoge computationele kosten. Bovendien behandelen standaard diepe netwerken de afbeelding vaak als een ruimtelijke variabele, waarbij ze potentieel de cruciale rol van Fourier-fase-informatie over het hoofd zien, die structurele en geometrische details codeert die essentieel zijn voor scherp beeldherstel.

Methodologie
De auteurs stellen UPADNet (Unrolled Phase and Amplitude Decomposition Network) voor, een model-gedreven diepe architectuur die het beeldherstelprobleem expliciet deelt in amplitude- en fasecomponenten in het Fourier-domein. De methodologie verloopt in drie stadia:

1. LMMSE Schatting van Amplitude en Fase:
   Omdat naïeve Fourier-domein relaties (waarbij amplitude multiplicatief is en fase additief) falen onder ruis en kernel-onzekerheid, leiden de auteurs nieuwe Linear Minimum Mean Squared Error (LMMSE) schatters af.

   • Ze formuleren gegeneraliseerde lineaire operatoren om de amplitude ($\hat{A}_Z$) en fase ($\hat{\theta}_Z$) van de bewerkte observatie te schatten.
   • Theoretische analyse (Theorema 1 en 2) bewijst dat deze schatters de verwachte kwadratische fout minimaliseren ten opzichte van naïeve multiplicatieve/additieve modellen door gebruik te maken van statistische momenten (gemiddelden, varianties en covarianties) van de amplitude- en faseverdelingen.

2. Iteratieve Optimalisatie via Alternating Direction Method:
   Een iteratief optimalisatie-algoritme wordt ontwikkeld om de latente scherpe afbeelding te herstellen door een geregulariseerde objectieve functie te minimaliseren. Deze objectieve functie dwingt statistische consistentie af met de afgeleide LMMSE-schatters en bevat:

   • Data Fidelity Termen: Het afdwingen van consistentie tussen de geschatte en geobserveerde amplitude en fase.
   • Regularisatie: $\ell_1$-regularisatie op de beeldamplitude ($M \circ A_U$) om spaarzaamheid in het Fourier-domein te bevorderen, en $\ell_2$-straffen op de componenten van de blur kernel om gladheid te garanderen. Een extra $\ell_1$-term op de beeldfase ($\theta_U$) dwingt structurele symmetrie af.
   • Oplossingsstrategie: De niet-convexe objectieve functie wordt opgelost met behulp van Half-Quadratic Splitting (HQS), waarbij hulpvariabelen worden geïntroduceerd om niet-gladde straffen te ontkoppelen. Dit resulteert in een sequentie van closed-form subproblemen voor het updaten van de amplitude- en fasevariabelen.

3. Unrolling naar een Diep Netwerk (UPADNet):
   In plaats van vaste statistische parameters te gebruiken, wordt het iteratieve algoritme "unrolled" naar een trainbaar diep netwerk.

   • Architectuur: Elke iteratie van het optimalisatie-algoritme komt overeen met een UPADBlock. Een UPADBlock bestaat uit vier sub-blokken die sequentieel de amplitude en fase van de latente afbeelding ($A_U, \theta_U$) en de blur kernel ($A_H, \theta_H$) updaten.
   • Leerbare Parameters: De statistische matrices $\{W_i\}$ en de frequentiedomein filter $M$, die theoretisch vaststaan in klassieke formuleringen, worden geleerd van data.
   • Weight Generator: Een lichtgewicht module produceert dynamisch iteratie-specifieke gewichten en filters met mechanismen zoals SimpleGate (SG) en Simplified Channel Attention (SCA).
   • Activatie: Om de soft-thresholding proximale operatoren te benaderen en tegelijkertijd een vloeiende gradiëntstroom te garanderen, vervangen de auteurs ReLU door GELU activaties.
   • Multi-scale Design: Meerdere UPADBlocks worden gestapeld met tussenliggende downsampling en upsampling om het effectieve receptieve veld te vergroten.

Belangrijkste Bijdragen

• Phase-Amplitude Decompositie: Het artikel introduceert een principieel kader dat expliciet zowel amplitude als fase in het Fourier-domein modelleert en schat, in plaats van de ruimtelijke afbeelding direct te herstellen.
• Nieuwe LMMSE Schatters: De afleiding van optimale lineaire schatters voor bewerkte amplitude en fase die beter presteren dan naïeve Fourier-domein relaties onder ruis.
• UPADNet Architectuur: De ontwikkeling van een end-to-end trainbaar netwerk dat het afgeleide optimalisatie-algoritme unrollt, waardoor het netwerk de onderliggende statistische parameters direct kan leren van gepaarde schone en gedegradeerde data.
• Robuustheid: Het ontwerp richt zich specifelijk op robuustheid in scenario's met veel ruis en beperkte data door gebruik te maken van de interpreteerbaarheid van de unrolled optimalisatie en de structurele priors van fase-informatie.

Experimentele Resultaten
De auteurs evalueerden UPADNet op drie benchmarks: GoPro (synthetische bewegingsonscherpte), RealBlur (real-world camera shake) en een synthetische COCO dataset met gecontroleerde ruis en bewegingskernels.

• Prestaties: UPADNet behaalde state-of-the-art resultaten op GoPro (34.63 dB PSNR, 0.975 SSIM) en RealBlur (41.29 dB PSNR op RealBlur-R), waarmee het recente transformer-gebaseerde (bijv. Stripformer, FFTformer) en diffusion-gebaseerde methoden verslaat.
• Efficiëntie: Het model gebruikt slechts 27M parameters, aanzienlijk minder dan grote concurrenten zoals AdaRevD (220M).
• Ruis-robuustheid: In experimenten met toenemende Gaussische ruis ($\sigma = 0.01$ tot $0.05$), behield UPADNet stabiele prestaties, terwijl andere unrolled en diepe netwerken een significante degradatie vertoonden.
• Data-efficiëntie: Wanneer getraind met gereduceerde dataverhoudingen (tot 6 down to 60% van de dataset), vertoonde UPADNet een minimale prestatiedaling vergeleken met concurrenten, wat duidt op superieure generalisatie in situaties met weinig data.
• Ablatie: Studies bevestigden dat het verhogen van het aantal unrolled blokken (tot 72) en het gebruik van GELU-activaties met een leersnelheid van $1\times10^{-3}$ optimale prestaties opleverde.

Betekenis en Claims
Het artikel claimt dat het expliciet modelleren van Fourier-fase en -amplitude cruciaal is voor hoogwaardige image deblurring, met name in uitdagende real-world scenario's. Door een optimalisatie-algoritme te unrollen dat is afgeleid van LMMSE-theorie, overbrugt UPADNet de kloof tussen de interpreteerbaarheid van traditionele iteratieve methoden en de aanpasbaarheid van deep learning. De auteurs beweren dat deze aanpak een robuuste oplossing biedt die goed generaliseert over variërende typen blur, ruisniveaus en beperkte trainingsdata, wat de waarde van gestructureerde frequentiedomein-modellering binnen deep unrolling-frameworks onderstreept.