Learnable Blur Kernel for Single-Image Defocus Deblurring in the Wild

Resumen Técnico: Núcleo de Desenfoque Aprendible para el Desenfoque por Defoco en Imagen Única en Entornos Reales

Planteamiento del Problema
El desenfoque por defoco ocurre cuando los puntos de la escena se encuentran fuera del campo de profundidad de la lente, lo que resulta en un Círculo de Confusión (CoC) en el plano de la imagen. Aunque los avances recientes en sensores de doble píxel (DP) han mejorado la estimación del mapa de defoco y el deblurring (desenfoque), la extracción de vistas DP en tiempo real sigue siendo compleja y problemática para el despliegue de algoritmos. Los métodos existentes de deblurring por defoco de imagen única a menudo fallan al proporcionar pistas de defoco fiables, lo que deriva en un manejo deficiente del desenfoque a gran escala y una falta de detalles de alta frecuencia (HF), resultando en una calidad perceptual insatisfactoria. Además, los métodos tradicionales de dos etapas (estimar un mapa y luego deconvolucionar) suelen depender de características diseñadas a mano, verdades de referencia (ground truth) o núcleos de desenfoque calibrados, lo que dificulta su aplicación en entornos reales.

Metodología
Los autores proponen un nuevo marco que comprende dos componentes principales: un módulo de estimación de mapa de defoco no supervisado mediante un núcleo de desencho aprendible, y una Red Neuronal Generativa Adversaria guiada por el mapa de defoco (DefocusGAN) para el deblurring de imagen única.

1. Núcleo de Desenfoque (BK) Aprendible para la Estimación del Mapa de Defoco:

   • Enfoque No Supervisado: Dado que no se dispone de mapas de defoco de verdad de referencia, los autores proponen un método no supervisado para estimar el mapa utilizando vistas DP como entrada.
   • Reconstrucción del Desenfoque: El método aprende una red $f$ para estimar el mapa de defoco ($I_{DM}$) a partir de las vistas DP. Este mapa guía a una red de reconstrucción $g$ para desenfocar una imagen con todo el enfoque (AiF), produciendo una imagen sintética desenfocada ($I^*_{OoF}$).
   • Núcleo Aprendible: Para evitar la dificultad de calibrar núcleos de desenfoque reales, los autores introducen un BK aprendible. El núcleo se inicializa utilizando un filtro de paso alto Butterworth (que imita las características de desenfoque de la cámara) convolucionado con un núcleo Gaussiano. Los parámetros se optimizan alternativamente con la red de estimación del mapa de defoco para minimizar la pérdida geométrica ($L_{gem}$) entre el desenfoque reconstruido y la imagen DP desenfocada real.
   • Regularización: Se añade un término de regularización de prioridad a la función de pérdida para penalizar los gradientes, asegurando que el mapa de defoco estimado sea suave.

2. DefocusGAN (Deblurring Guiado por el Mapa de Defoco):

   • Arquitectura: El generador ($G$) es una red multiescala guiada por el mapa de defoco estimado. Emplea un Bloque de Guía de Mapa de Defoco (DGB) que divide el procesamiento en múltiples ramas basadas en el radio del CoC.
   • Procesamiento Multiescala: La red procesa características en diferentes resoluciones (1x, 1/4x, 1/8x). Las ramas que manejan radios de CoC más grandes utilizan una estructura tipo U-Net con Módulos de Atención de Canal Residual (RCAB) para agregar características sobre un campo receptivo más amplio, mientras que las ramas de radios más pequeños utilizan capas totalmente convolucionales.
   • Recocido Simulado (Simulated Annealing): Durante el entrenamiento, la guía del mapa de defoco se reduce gradualmente utilizando una estrategia de recocido simulado. Esto permite que la red aprenda los principios de deblurring de forma independiente, permitiendo la inferencia utilizando solo una imagen sin el mapa de defoco.
   • Pérdida Adversaria de Defoco: Se introduce una función de pérdida especializada donde el discriminador ($D$) aplica pesos a diferentes regiones basándose en el mapa de defoco. Las áreas con radios de CoC más grandes (más desenfocadas) reciben pesos más altos, obligando al generador a concentrarse en la restauración de detalles en las regiones fuertemente desenfocadas.
   • Pérdida Total: El generador se entrena utilizando una combinación de pérdida de contenido L1 ($L_c$), pérdida perceptual ($L_p$) basada en características de VGG19, y la propuesta pérdida adversaria de defoco ($L_{defocusadv}$).

Contribuciones Clave

• Núcleo de Desenfoque Aprendible: El artículo introduce un método autosupervisado para estimar mapas de defoco utilizando un núcleo de desenfoque aprendible, eliminando la necesidad de calibración de núcleos y logrando un rendimiento comparable a los métodos supervisados.
• DefocusGAN: Los autores proponen el primer GAN multiescala guiado por mapa de defoco para deblurring por defoco de imagen única. Esta arquitectura mantiene eficazmente la información en áreas claras mientras recupera texturas y detalles en regiones desenfocadas.
• Pérdida Adversaria de Defoco: Una función de pérdida novedosa que dirige el entrenamiento adversario para enfocarse específicamente en las regiones desenfocadas, mejorando la restauración de detalles de alta frecuencia.
• Eficiencia y Rendimiento: El método logra resultados de vanguardia con un número relativamente pequeño de parámetros (4.59M), superando a los métodos existentes tanto en métricas cuantitativas como en calidad perceptual.

Resultados Experimentales
El método fue evaluado en el conjunto de datos DPDD (500 conjuntos de imágenes) y probado para su generalización en los conjuntos de datos CUHK y Google PixelDP.

• Rendimiento Cuantitativo: En el conjunto de prueba DPDD, el método propuesto logró un PSNR de 25.56 dB y un LPIPS de 0.111. Esto supera a los métodos anteriores de imagen única como MDPNet (PSNR 25.35, LPIPS 0.225) e IFAN (PSNR 25.18, LPIPS 0.156).
• Comparación con Métodos Basados en DP: Aunque los métodos que utilizan vistas DP puras como entrada (por ejemplo, DPDNet) logran un PSNR alto, el método de imagen única propuesto logra resultados competitivos (25.56 dB frente a 25.13 dB de DPDNet) siendo más desplegable, ya que no requiere acceso a las vistas de doble píxel durante la inferencia.
• Mejoras Cualitativas: Las comparaciones visuales muestran mejoras significativas en la recuperación de desenfoques de gran escala, contornos de objetos y texturas finas (por ejemplo, texto en revistas, gafas de un soldado) en comparación con los métodos que producen artefactos o carecen de detalles de alta frecuencia.
• Estudios de Ablación: Los experimentos confirmaron la necesidad de cada componente: la guía del mapa de defoco (DG), los módulos multiescala (MS), la pérdida perceptual y la pérdida adversaria de defoco específica contribuyeron todos al rendimiento final. Se demostró que el BK aprendible supera a los núcleos fijos Gaussianos o Butterworth.

Significancia y Reivindicaciones
El artículo afirma que el método propuesto aborda eficazmente los desafíos del deblurring por defoco de imagen única en entornos reales mediante el aprovechamiento de la estimación no supervisada del mapa de defoco y una arquitectura GAN especializada. La significancia radica en:

1. Desplegabilidad: Al eliminar la dependencia de la extracción de vistas DP en tiempo real durante la inferencia, el método simplifica el despliegue del algoritmo.
2. Calidad Perceptual: La integración de GANs y pérdidas específicas de defoco logra recuperar detalles de alta frecuencia y texturas realistas que a menudo se pierden en los métodos basados en pérdida L1/L2.
3. Robustez: El método maneja eficazmente el desenfoque por defoco de área grande, una debilidad conocida de los enfoques previos de imagen única.
4. Eficiencia: Logra un rendimiento de vanguardia con un tamaño de modelo compacto, lo que lo hace adecuado para aplicaciones prácticas.

Los autores concluyen que su trabajo proporciona un marco robusto para el deblurring por defoco que equilibra el rendimiento con las restricciones de despliegue práctico, señalando que trabajos futuros podrían explorar nuevos marcos que involucren el aprendizaje de máscaras y modelos de difusión.