BluRef: Unsupervised Image Deblurring with Dense-Matching References

1. El Problema

La borrosidad por movimiento es un problema común en imágenes y videos que degrada la calidad visual y afecta el rendimiento de aplicaciones de visión por computadora.

• Limitación de los métodos supervisados: Los enfoques actuales más avanzados requieren datos emparejados (pares de imagen borrosa y su contraparte nítida). Obtener estos datos es costoso y complejo, requiriendo configuraciones especiales (como divisores de haz, cámaras sincronizadas y alineación geométrica), lo que los hace inviables para muchos escenarios del mundo real (ej. dashcams en movimiento).
• Limitación de los métodos no supervisados existentes:
  • Los métodos basados en re-borrosidad (reblurring) dependen de mapear la entrada a un dominio intermedio conocido, lo cual es difícil de identificar y añade sobrecarga computacional.
  • Los métodos de aumento de datos sintéticos a menudo fallan en generalizar a degradaciones reales.
  • Todos estos enfoques sufren de una "brecha de dominio" (domain gap) entre los datos de entrenamiento y el dominio objetivo.

2. Metodología: BluRef

BluRef es un marco de trabajo novedoso para la restauración de imágenes no supervisado que elimina la necesidad de datos emparejados o redes preentrenadas específicas para deblurring. Opera enteramente dentro del dominio objetivo utilizando imágenes de referencia no emparejadas.

Componentes Clave:

1. Entrenamiento de Datos No Emparejados:

   • Utiliza imágenes borrosas de entrada ($I_{blur}$) y un conjunto de imágenes de referencia nítidas ($I_{ref}$) que provienen de escenas similares pero no necesitan estar alineadas geométricamente ni capturadas simultáneamente.
   • No requiere pares borroso-nítido para el entrenamiento del modelo principal.

2. Modelo de Correspondencia Densa (Dense Matching - DM):

   • Se emplea un modelo DM (basado en PDC-Net+ y GLU-Net) entrenado de forma auto-supervisada en datos sintéticos (imágenes nítidas deformadas con transformaciones geométricas y aumentos de borrosidad).
   • Este modelo establece correspondencias entre la imagen deblurred (deblurred estimate) y las imágenes de referencia nítidas para identificar regiones coincidentes.

3. Generación Iterativa de "Pseudo-Ground Truth":

   • El proceso es iterativo (por épocas):
     1. Estimación: La red de deblurring genera una imagen estimada ($I_{deblur}$).
     2. Generación de Pseudo-Nítida: El modelo DM empareja $I_{deblur}$ con las referencias nítidas para crear una imagen "pseudo-nítida" ($I_{pseudo}$) y una máscara de confianza ($M_{pseudo}$).
     3. Optimización: La red de deblurring se entrena minimizando la pérdida de reconstrucción entre su salida y la $I_{pseudo}$, ponderada por la máscara de confianza (que ignora regiones no coincidentes).
   • Este ciclo refina progresivamente tanto la imagen pseudo-nítida como el modelo de deblurring.

4. Estrategias de Agregación:
   El paper propone tres formas de combinar múltiples referencias para generar la imagen pseudo-nítida:

   • Promedio Ponderado: Promedia los resultados de cada par individual.
   • Acumulación Secuencial: Refina iterativamente la imagen usando la salida anterior como entrada.
   • Promedio Progresivo de Referencia (Mejor rendimiento): Combina detalles nítidos de iteraciones previas con nuevas coincidencias, preservando la nitidez acumulada.

5. Inferencia Eficiente:

   • Una vez entrenado, el modelo de correspondencia densa y el proceso de generación de pseudo-ground truth se descartan.
   • En inferencia, BluRef actúa como un modelo de deblurring directo y rápido, requiriendo solo una entrada borrosa, con el mismo costo computacional que una red estándar.

3. Contribuciones Clave

1. Primer Marco No Supervisado Guiado por Referencias: Introduce BluRef, el primer enfoque que utiliza imágenes de referencia no emparejadas para generar pseudo-ground truth y entrenar redes de deblurring sin datos emparejados.
2. Generación de Pares Reutilizables: El proceso iterativo genera pares de datos (borroso-pseudo-nítido) de alta calidad que pueden reutilizarse para entrenar modelos de diferentes capacidades (incluyendo redes ligeras para dispositivos móviles).
3. Rendimiento Superior: Demuestra que es posible alcanzar un rendimiento cercano o superior a los métodos supervisados en dominios reales, eliminando la brecha de dominio.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos GoPro (sintético), RB2V (borrosidad real) y PhoneCraft (escenario real no emparejado).

• Comparación Cuantitativa:

  • BluRef supera significativamente a los métodos no supervisados existentes (como DualGAN, UID-GAN, UAUD).
  • En el conjunto GoPro, con una arquitectura NAFNet y la estrategia de "Promedio Progresivo", alcanzó un PSNR de 31.94 dB, acercándose mucho al límite superior supervisado (33.32 dB).
  • En RB2V, superó al modelo supervisado Restormer (27.43 dB) logrando 27.87 dB (con $\Delta=1$), demostrando que puede aprovechar información de frames adyacentes para superar a los métodos supervisados en ciertas condiciones.
  • Mantiene un rendimiento robusto incluso cuando la separación temporal ($\Delta$) entre la imagen borrosa y las referencias es grande (hasta 20 frames), lo que indica una gran capacidad de generalización.

• Resultados Cualitativos:

  • Visualmente, BluRef recupera detalles finos (rostros, ramas de árboles, texturas) que los métodos no supervisados anteriores fallan en reconstruir, produciendo resultados cercanos a la verdad fundamental (ground truth).

5. Significancia e Impacto

• Escalabilidad: Resuelve el cuello de botella de la recolección de datos emparejados, permitiendo entrenar modelos de deblurring de alta calidad utilizando solo videos no emparejados disponibles en la naturaleza.
• Adaptabilidad: Al no depender de dominios intermedios o datos sintéticos específicos, el método se adapta mejor a degradaciones reales y complejas.
• Eficiencia: Ofrece una solución de entrenamiento compleja pero una inferencia simple y rápida, ideal para despliegue en dispositivos con recursos limitados.
• Avance en el Campo: Marca un paso adelante al demostrar que la supervisión densa mediante correspondencia de características puede sustituir a la supervisión de pares de imágenes en tareas de restauración de imágenes.