Learnable Blur Kernel for Single-Image Defocus Deblurring in the Wild

Resumo Técnico: Kernel de Desfoque Aprendível para Desfoque de Imagem Única em Ambiente Real (In the Wild)

Problema
O desfoque de defoco ocorre quando pontos da cena situam-se fora da profundidade de campo da lente, resultando em um Círculo de Confusão (CoC) no plano da imagem. Avanços recentes em sensores de pixel duplo (DP) melhoraram a estimativa de mapas de defoco e o desfoque, mas a extração de visualizações DP em tempo real permanece complexa e problemática para a implementação de algoritmos. Os métodos existentes de desfoque de imagem única frequentemente falham em fornecer pistas de defoco confiáveis, levando a um tratamento deficiente de desfoques de grande escala e à falta de detalhes de alta frequência (HF), o que resulta em uma qualidade perceptual insatisfatória. Além disso, os métodos tradicionais de dois estágios (estimar um mapa e depois deconvoluir) dependem frequentemente de características manuais, verdade de campo (ground truth) ou kernels calibrados, tornando-os difíceis de aplicar em ambientes reais (in the wild).

Metodologia
Os autores propõem um novo framework composto por dois componentes principais: um módulo de estimativa de mapa de defoco não supervisionado usando um kernel de desfoque aprendível, e uma Rede Adversária Generativa guiada por mapa de defoco (DefocusGAN) para desfoque de imagem única.

1. Kernel de Desfoque (BK) Aprendível para Estimativa de Mapa de Defoco:

   • Abordagem Não Supervisionada: Como mapas de defoco de verdade não estão disponíveis, os autores propõem um método não supervisionado para estimar o mapa usando visualizações DP como entrada.
   • Reconstrução de Desfoque: O método aprende uma rede $f$ para estimar o mapa de defoco ($I_{DM}$) a partir das visualizações DP. Este mapa guia uma rede de reconstrução $g$ para desfocar uma imagem totalmente focada (AiF), produzindo uma imagem sintética desfocada ($I^*_{OoF}$).
   • Kernel Aprendível: Para evitar a dificuldade de calibrar kernels de desfoque reais, os autores introduzem um BK aprendível. O kernel é inicializado usando um filtro passa-alta Butterworth (imitando as características de defoco da câmera) convoluído com um kernel Gaussiano. Os parâmetros são otimizados alternadamente com a rede de estimativa de mapa de defoco para minimizar a perda geométrica ($L_{gem}$) entre o desfoque reconstruído e a imagem DP desfocada real.
   • Regularização: Um termo de regularização a priori é adicionado à função de perda para penalizar gradientes, garantindo que o mapa de defoco estimado seja suave.

2. DefocusGAN (Desfoque Guiado por Mapa de Defoco):

   • Arquitetura: O gerador ($G$) é uma rede multiescala guiada pelo mapa de defoco estimado. Ele utiliza um Bloco de Guia de Mapa de Defoco (DGB) que divide o processamento em múltiplos ramos baseados no raio do CoC.
   • Processamento Multiescala: A rede processa características em diferentes resoluções (1x, 1/4x, 1/8x). Ramos que lidam com raios de CoC maiores utilizam uma estrutura tipo U-Net com Módulos de Atenção de Canal Residual (RCAB) para agregar características sobre um campo receptivo maior, enquanto ramos de raios menores usam camadas totalmente convolucionais.
   • Recozimento Simulado (Simulated Annealing): Durante o treinamento, a orientação do mapa de defoco é reduzida gradualmente usando uma estratégia de recozimento simulado. Isso permite que a rede aprenda os priors de desfoque de forma independente, permitindo a inferência usando apenas uma única imagem sem o mapa de defoco.
   • Perda Adversária de Defoco: Uma função de perda especializada é introduzida onde o discriminador ($D$) aplica pesos a diferentes regiões com base no mapa de defoco. Áreas com raios de CoC maiores (mais desfocadas) recebem pesos mais altos, forçando o gerador a focar na restauração de detalhes em regiões fortemente desfocadas.
   • Perda Total: O gerador é treinado usando uma combinação de perda de conteúdo L1 ($L_c$), perda perceptual ($L_p$) baseada em características VGG19, e a proposta perda adversária de defoco ($L_{defocusadv}$).

Principais Contribuições

• Kernel de Desfoque Aprendível: O artigo introduz um método autossupervisionado para estimar mapas de defoco usando um kernel de desfoque aprendível, eliminando a necessidade de calibração de kernel e alcançando desempenho comparável aos métodos supervisionados.
• DefocusGAN: Os autores propõem o primeiro GAN multiescala guiado por mapa de defoco para desfoque de imagem única. Esta arquitetura mantém efetivamente a informação em áreas nítidas enquanto recupera texturas e detalhes em regiões desfocadas.
• Perda Adversária de Defoco: Uma nova função de perda que direciona o treinamento adversário para focar especificamente em regiões de defoco, melhorando a restauração de detalhes de HF.
• Eficiência e Desempenho: O método alcança resultados de estado da arte com um número relativamente pequeno de parâmetros (4,59M), superando métodos existentes tanto em métricas quantitativas quanto em qualidade perceptual.

Resultados Experimentais
O método foi avaliado no conjunto de dados DPDD (500 conjuntos de imagens) e testado para generalização nos conjuntos de dados CUHK e Google PixelDP.

• Desempenho Quantitativo: No conjunto de teste DPDD, o método proposto alcançou um PSNR de 25,56 dB e um LPIPS de 0,111. Isso supera métodos anteriores de estado da arte para imagem única, como o MDPNet (PSNR 25,35, LPIPS 0,225) e o IFAN (PSNR 25,18, LPIPS 0,156).
• Comparação com Métodos Baseados em DP: Embora métodos que usam visualizações DP brutas como entrada (ex: DPDNet) alcancem um PSNR alto, o método de imagem única proposto alcança resultados competitivos (25,56 dB vs. 25,13 dB para o DPDNet) sendo mais implantável, pois não requer acesso às visualizações de pixel duplo durante a inferência.
• Melhorias Qualitativas: Comparações visuais mostram melhorias significativas na recuperação de desfoque de grande escala, contornos de objetos e texturas finas (ex: texto em revistas, óculos de um soldado) em comparação com métodos que produzem artefatos ou carecem de detalhes de HF.
• Estudos de Ablação: Experimentos confirmaram a necessidade de cada componente: a guia de mapa de defoco (DG), módulos multiescala (MS), perda perceptual e a perda adversária de defoco específica contribuíram para o desempenho final. O BK aprendível mostrou-se superior aos kernels fixos Gaussianos ou Butterworth.

Significância e Alegações
O artigo alega que o método proposto aborda efetivamente os desafios do desfoque de imagem única em ambiente real ao aproveitar a estimativa de mapa de defoco não supervisionada e uma arquitetura GAN especializada. A significância reside em:

1. Implantabilidade: Ao remover a dependência da extração de visualizações DP em tempo real durante a inferência, o método simplifica a implementação do algoritmo.
2. Qualidade Perceptual: A integração de GANs e perdas específicas de defoco recupera com sucesso detalhes de alta frequência e texturas realistas que são frequentemente perdidos em métodos baseados em perda L1/L2.
3. Robustez: O método lida efetivamente com o desfoque de defoco de grande área, uma fraqueza conhecida de abordagens anteriores de imagem única.
4. Eficiência: Alcança o estado da arte com um tamanho de modelo compacto, tornando-o adequado para aplicações práticas.

Os autores concluem que seu trabalho fornece um framework robusto para o desfoque de defoco que equilibra desempenho com restrições de implementação prática, observando que trabalhos futuros poderiam explorar novos frameworks envolvendo aprendizado de máscara e modelos de difusão.