Learnable Blur Kernel for Single-Image Defocus Deblurring in the Wild

Sintesi Tecnica: Kernel di Sfocatura Apprendibile per la Deblurring da Defocus da Immagine Singola in Ambienti Reali

Problematica
La sfocatura da defocus si verifica quando i punti della scena si trovano al di fuori della profondità di campo dell'obiettivo, risultando in un Cerchio di Confusione (CoC) sul piano dell'immagine. Sebbene i recenti progressi nei sensori dual-pixel (DP) abbiano migliorato la stima della mappa di defocus e la deblurring, l'estrazione in tempo reale delle viste DP rimane complessa e problematica per il deployment degli algoritmi. I metodi esistenti di deblurring da defocus per singola immagine spesso non riescono a fornire indizi di defocus affidabili, portando a una scarsa gestione della sfocatura su larga scala e a una mancanza di dettagli ad alta frequenza (HF), il che si traduce in una qualità percettiva insoddisfacente. Inoltre, i metodi tradizionali in due fasi (stima di una mappa seguita da deconvoluzione) spesso si affidano a feature progettate manualmente, ground truth o kernel calibrati, rendendoli difficili da applicare in ambienti reali.

Metodologia
Gli autori propongono un nuovo framework composto da due componenti principali: un modulo di stima della mappa di defocus non supervisionato utilizzando un kernel di sfocatura apprendibile, e una Generative Adversarial Network guidata dalla mappa di defocus (DefocusGAN) per la deblurring da singola immagine.

1. Kernel di Sfocatura (BK) Apprendibile per la Stima della Mappa di Defocus:

   • Approccio Non Supervisionato: Poiché le mappe di defocus ground truth non sono disponibili, gli autori propongono un metodo non supervisionato per stimare la mappa utilizzando le viste DP come input.
   • Ricostruzione della Sfocatura: Il metodo apprende una rete $f$ per stimare la mappa di defocus ($I_{DM}$) dalle viste DP. Questa mappa guida una rete di ricostruzione $g$ per sfocare un'immagine a fuoco totale (AiF), producendo un'immagine sintetica sfocata ($I^*_{OoF}$).
   • Kernel Apprendibile: Per evitare la difficoltà di calibrare i reali kernel di sfocatura, gli autori introducono un BK apprendibile. Il kernel è inizializzato utilizzando un filtro passa-alto Butterworth (che imita le caratteristiche di defocus della fotocamera) convoluto con un kernel Gaussiano. I parametri sono ottimizzati alternativamente con la rete di stima della mappa di defocus per minimizzare la perdita geometrica ($L_{gem}$) tra la sfocatura ricostruita e l'effettiva immagine DP sfocata.
   • Regolarizzazione: Un termine di regolarizzazione a priori viene aggiunto alla funzione di perdita per penalizzare i gradienti, garantendo che la mappa di defocus stimata sia fluida.

2. DefocusGAN (Deblurring Guidata dalla Mappa di Defocus):

   • Architettura: Il generatore ($G$) è una rete multi-scala guidata dalla mappa di defocus stimata. Utilizza un Defocus Map Guide Block (DGB) che suddivide l'elaborazione in più rami basati sul raggio del CoC.
   • Elaborazione Multi-Scala: La rete elabora le feature a diverse risoluzioni (1x, 1/4x, 1/8x). I rami che gestiscono raggi CoC più grandi utilizzano una struttura simile a una U-Net con Residual Channel Attention Modules (RCAB) per aggregare le feature su un campo recettivo più ampio, mentre i rami con raggi più piccoli utilizzano strati completamente convoluzionali.
   • Simulated Annealing: Durante l'addestramento, la guida della mappa di defocus viene ridotta gradualmente utilizzando una strategia di simulated annealing. Ciò consente alla rete di apprendere i priori di deblurring indipendentemente, consentendo l'inferenza utilizzando solo una singola immagine senza la mappa di defocus.
   • Defocus Adversarial Loss: È stata introdotta una funzione di perdita specializzata in cui il discriminatore ($D$) applica pesi a diverse regioni in base alla mappa di defocus. Le aree con raggi CoC più grandi (più sfocate) ricevono pesi maggiori, costringendo il generatore a concentrarsi sul ripristino dei dettagli nelle regioni fortemente sfocate.
   • Perdita Totale: Il generatore è addestrato utilizzando una combinazione di perdita di contenuto L1 ($L_c$), perdita percettiva ($L_p$) basata sulle feature di VGG19, e la proposta perdita di avversario del defocus ($L_{defocusadv}$).

Contributi Chiave

• Kernel di Sfocatura Apprendibile: Il paper introduce un metodo auto-supervisionato per stimare le mappe di defocus utilizzando un kernel di sfocatura apprendibile, eliminando la necessità di calibrazione del kernel e raggiungendo prestazioni paragonabili ai metodi supervisionati.
• DefocusGAN: Gli autori propongono la prima GAN multi-scala guidata dalla mappa di defocus per la deblurring da defocus da singola immagine. Questa architettura mantiene efficacemente le informazioni nelle aree chiare pur recuperando texture e dettagli nelle regioni sfocate.
• Defocus Adversarial Loss: Una nuova funzione di perdita che dirige l'addestramento avversario a concentrarsi specificamente sulle regioni defocate, migliorando il ripristino dei dettagli HF.
• Efficienza e Prestazioni: Il metodo raggiunge risultati allo stato dell'arte con un numero relativamente piccolo di parametri (4.59M), superando i metodi esistenti sia in termini di metriche quantitative che di qualità percettiva.

Risultati Sperimentali
Il metodo è stato valutato sul dataset DPDD (500 set di immagini) ed è stato testato per la generalizzazione sui dataset CUHK e Google PixelDP.

• Prestazioni Quantitative: Sul test set DPDD, il metodo proposto ha raggiunto un PSNR di 25.56 dB e un LPIPS di 0.111. Questo supera i precedenti metodi allo stato dell'arte per singola immagine come MDPNet (PSNR 25.35, LPIPS 0.225) e IFAN (PSNR 25.18, LPIPS 0.156).
• Confronto con Metodi basati su DP: Sebbene i metodi che utilizzano le viste DP grezze come input (ad es. DPDNet) raggiungano un alto PSNR, il nostro metodo per singola immagine raggiunge risultati competitivi (25.56 dB vs. 25.13 dB per DPDNet) pur essendo più implementabile poiché non richiede l'accesso alle viste dual-pixel durante l'inferenza.
• Miglioramenti Qualitativi: I confronti visivi mostrano miglioramenti significativi nel recupero della sfocatura su larga scala, dei contorni degli oggetti e delle texture fini (ad es. testo su riviste, occhiali di un soldato) rispetto ai metodi che producono artefatti o mancano di dettagli HF.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità di ogni componente: la guida della mappa di defocus (DG), i moduli multi-scala (MS), la perdita percettiva e la specifica perdita avversaria del defocus hanno tutti contribuito alle prestazioni finali. Il BK apprendibile ha dimostrato di superare i kernel fissi Gaussian o Butterworth.

Significatività e Rivendicazioni
Il paper sostiene che il metodo proposto affronta efficacemente le sfide della deblurring da defocus da singola immagine in ambienti reali sfruttando la stima non supervisionata della mappa di defocus e un'architettura GAN specializzata. La significatività risiede in:

1. Implementabilità: Rimuovendo la dipendenza dall'estrazione in tempo reale delle viste DP durante l'inferenza, il metodo semplifica il deployment dell'algoritmo.
2. Qualità Percettiva: L'integrazione di GAN e perdite specifiche per il defocus riesce a recuperare dettagli ad alta frequenza e texture realistiche che spesso si perdono nei metodi basati su perdita L1/L2.
3. Robustezza: Il metodo gestisce efficacemente la sfocatura da defocus su ampie aree, un punto debole noto dei precedenti approcci a singola immagine.
4. Efficienza: Raggiunge prestazioni allo stato dell'arte con un modello compatto, rendendolo adatto ad applicazioni pratiche.

Gli autori concludono che il loro lavoro fornisce un framework robusto per la deblurring da defocus che bilancia le prestazioni con i vincoli di deployment pratici, notando al contempo che i lavori futuri potrebbero esplorare nuovi framework che coinvolgono l'apprendimento di maschere e modelli di diffusione.