Learnable Blur Kernel for Single-Image Defocus Deblurring in the Wild

Technische Samenvatting: Leerbaar Blur-kernel voor Single-Image Defocus Deblurring in the Wild

Probleemstelling
Defocus blur (onscherpte door focusverlies) treedt op wanneer scènepunten buiten de scherptediepte van de lens liggen, wat resulteert in een Circle of Confusion (CoC) op het beeldvlak. Hoewel recente ontwikkelingen in dual-pixel (DP) sensoren de schatting van defocus-kaarten en deblurring hebben verbeterd, blijft het extraheren van real-time DP-weergaven complex en problematisch voor algoritmische implementatie. Bestaande single-image defocus deblurring-methoden falen vaak in het leveren van betrouwbare defocus-aanwijzingen, wat leidt tot een gebrekkige behandeling van grootschalige onscherpte en een gebrek aan hoogfrequente (HF) details, wat resulteert in een onbevredigende perceptuele kwaliteit. Bovendien vertrouwen traditionele twee-fasen methoden (het schatten van een kaart gevolgd door deconvolution) vaak op handmatige kenmerken, ground truth of gekalibreerde blur-kernels, waardoor ze moeilijk toe te passen zijn in de praktijk ("in the wild").

Methodologie
De auteurs stellen een nieuw framework voor dat uit twee hoofdcomponenten bestaat: een unsupervised defocus-kaart schattingsmodule met behulp van een leerbare blur-kernel, en een defocus-kaart gestuurde Generative Adversarial Network (DefocusGAN) voor single-image deblurring.

1. Leerbare Blur Kernel (BK) voor Defocus Map Estimatie:

   • Unsupervised Aanpak: Omdat ground truth defocus-kaarten niet beschikbaar zijn, stellen de auteurs een unsupervised methode voor om de kaart te schatten met behulp van DP-weergaven als input.
   • Blur Reconstructie: De methode leert een netwerk $f$ om de defocus-kaart ($I_{DM}$) te schatten vanuit DP-weergaven. Deze kaart stuurt een reconstructienetwerk $g$ aan om een all-in-focus (AiF) afbeelding te vervagen, waardoor een synthetische wazige afbeelding ($I^*_{OoF}$) ontstaat.
   • Leerbare Kernel: Om de moeilijkheid van het kalibreren van echte blur-kernels te vermijden, introduceren de auteurs een leerbare BK. De kernel wordt geïnitialiseerd met een Butterworth high-pass filter (die de defocus-eigenschappen van de camera nabootst) geconvolveerd met een Gaussische kernel. De parameters worden afwisselend geoptimaliseerd met het defocus-kaart schattingsnetwerk om de geometrische loss ($L_{gem}$) tussen de gereconstrueerde blur en de werkelijke DP-geblurde afbeelding te minimaliseren.
   • Regularisatie: Een prior regularisatieterm wordt toegevoegd aan de loss-functie om gradiënten te bestraffen, wat ervoor zorgt dat de geschatte defocus-kaart vloeiend is.

2. DefocusGAN (Defocus Map Gestuurde Deblurring):

   • Architectuur: De generator ($G$) is een multi-scale netwerk dat wordt gestuurd door de geschatte defocus-kaart. Het maakt gebruik van een Defocus Map Guide Block (DGB) die de verwerking splitst in meerdere branches op basis van de CoC-straal.
   • Multi-Scale Verwerking: Het netwerk verwerkt kenmerken op verschillende resoluties (1x, 1/4x, 1/8x). Branches die grotere CoC-stralen afhandelen, maken gebruik van een U-Net-achtige structuur met Residual Channel Attention Modules (RCAB) om kenmerken over een groter receptief veld te aggregeren, terwijl branches met kleinere radii volledig convolutionele lagen gebruiken.
   • Simulated Annealing: Tijdens de training wordt de sturing door de defocus-kaart geleidelijk verminderd met behulp van een simulated annealing-strategie. Dit stelt het netwerk in staat om de deblurring-priors onafhankelijk te leren, waardoor inferentie met slechts één enkele afbeelding mogelijk is zonder de defocus-kaart.
   • Defocus Adversarial Loss: Een gespecialiseerde loss-functie wordt geïntroduceerd waarbij de discriminator ($D$) verschillende regio's weegt op basis van de defocus-kaart. Gebieden met grotere CoC-stralen (meer onscherp) krijgen hogere gewichten, waardoor de generator wordt gedwongen zich te concentreren op het herstellen van details in sterk onscherpe regio's.
   • Totale Loss: De generator wordt getraind met een combinatie van L1 content loss ($L_c$), perceptuele loss ($L_p$) gebaseerd op VGG19-kenmerken, en de voorgestelde defocus adversarial loss ($L_{defocusadv}$).

Belangrijkste Bijdragen

• Leerbare Blur Kernel: Het artikel introduceert een self-supervised methode om defocus-kaarten te schatten met behulp van een leerbare blur-kernel, waardoor de noodzaak voor kernel-kalibratie vervalt en prestaties vergelijkbaar met supervised methoden worden behaald.
• DefocusGAN: De auteurs stellen de eerste defocus-kaart gestuurde multi-scale GAN voor single-image defocus deblurring voor. Deze architectuur behoudt effectief informatie in heldere gebieden terwijl texturen en details in onscherpe regio's worden hersteld.
• Defocus Adversarial Loss: Een nieuwe loss-functie die de adversarial training specif-fiek richt op gedefoceerde regio's, wat de restauratie van HF-details verbetert.
• Efficiëntie en Prestaties: De methode bereikt state-of-the-art resultaten met een relatief klein aantal parameters (4.59M), waarbij bestaande methoden overtreft in zowel kwantitatieve metrieken als perceptuele kwaliteit.

Experimentele Resultaten
De methode werd geëvalueerd op de DPDD-dataset (500 afbeeldingenets) en getest op generalisatie voor de CUHK en Google PixelDP datasets.

• Kwantitatieve Prestaties: Op de DPDD-testset behaalde de voorgestelde methode een PSNR van 25.56 dB en een LPIPS van 0.111. Dit presteert beter dan eerdere state-of-the-art single-image methoden zoals MDPNet (PSNR 25.35, LPIPS 0.225) en IFAN (PSNR 25.18, LPIPS 0.156).
• Vergelijking met DP-gebaseerde Methoden: Hoewel methoden die ruwe DP-weergaven als input gebruiken (bijv. DPDNet) een hoge PSNR bereiken, behaalt de voorgestelde single-image methode concurrerende resultaten (25.56 dB vs. 25.13 dB voor DPDNet) terwijl deze beter inzetbaar is omdat er tijdens inferentie geen toegang nodig is tot dual-pixel weergaven.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen tonen significante verbeteringen in het herstellen van grootschalige onscherpte, objectcontouren en fijne texturen (bijv. tekst in tijdschriften, de bril van een soldaat) vergeleken met methoden die artefacten produceren of een gebrek aan HF-details vertonen.
• Ablatie-studies: Experimenten bevestigden de noodzaak van elke component: de defocus-kaart sturing (DG), multi-scale (MS) modules, de perceptuele loss en de specifieke defocus adversarial loss droegen allemaal bij aan de uiteindelijke prestaties. De leerbare BK bleek beter te presteren dan vaste Gaussische of Butterworth kernels.

Betekenis en Claims
Het artikel claimt dat de voorgestelde methode effectief de uitdagingen van single-image defocus deblurring in de praktijk aanpakt door gebruik te maken van unsupervised defocus-kaart schatting en een gespecialiseerde GAN-architectuur. De betekenis ligt in:

1. Inzetbaarheid: Door de afhankelijkheid van real-time DP-weergave extractie tijdens inferentie te verwijderen, vereenvoudigt de methode de algoritmische implementatie.
2. Perceptuele Kwaliteit: De integratie van GANs en defocus-specifieke losses slaagt erin hoogfrequente details en realistische texturen te herstellen die vaak verloren gaan bij L1/L2 loss-gebaseerde methoden.
3. Robuustheid: De methode handelt grootschalige defocus-onscherpte effectief af, een bekend zwak punt bij eerdere single-image benaderingen.
4. Efficiëntie: Het bereikt state-of-the-art prestaties met een compact modelformaat, wat het geschikt maakt voor praktische toepassingen.

De auteurs concluderen dat hun werk een robuust framework biedt voor defocus deblurring dat een balans vindt tussen prestaties en praktische implementatiebeperkingen, waarbij zij opmerken dat toekomstig werk nieuwe frameworks kan verkennen die gebruikmaken van mask learning en diffusiemodellen.