Resumen Técnico: iPhoneBlur

Enunciado del Problema

La restauración de desenfoque por movimiento en dispositivos móviles de consumo enfrenta una brecha crítica de implementación. Si bien los métodos de eliminación de desenfoque más avanzados logran un rendimiento sólido en conjuntos de datos profesionales (por ejemplo, GoPro, equipos DSLR), sufren una degradación severa (más de 7 dB) cuando se aplican a capturas de móviles de consumo debido a discrepancias de dominio en el Procesamiento de Señal de Imagen (ISP) y en las condiciones de captura. Además, las métricas existentes dependen de métricas agregadas que ocultan las variaciones de rendimiento a través de diferentes severidades de desenfoque. Esta falta de granularidad impide que los desarrolladores determinen si los dispositivos periféricos pueden restaurar imágenes en el propio dispositivo o deben descargar el procesamiento a la nube, enmascarando modos de fallo específicos bajo condiciones de implementación en el mundo real.

Metodología

Construcción del Conjunto de Datos

Los autores presentan iPhoneBlur, un punto de referencia que comprende 7.400 pares de imágenes borrosas-nítidas sintetizados a partir de 51 videos de alta tasa de fotogramas (177–240 fps) capturados en un iPhone 17 Pro. El conjunto de datos abarca diversos escenarios del mundo real, incluidos entornos interiores/exteriores, movimiento vehicular y actividades humanas.

El pipeline de construcción involucra cinco etapas:

1. Selección de Candidatos: De aproximadamente 741.000 fotogramas, se seleccionan candidatos nítidos basándose en la varianza de Laplace (nitidez) y el contraste RMS.
2. Síntesis Linealizada Guiada por PSNR: A diferencia de los enfoques de ventana fija en trabajos anteriores, este método utiliza ventanización temporal adaptativa. El desenfoque se sintetiza promediando fotogramas sobre una ventana $W$ centrada en un fotograma nítido. Crucialmente, el proceso implica:
   • Linealización: Conversión de fotogramas sRGB a espacio de luz lineal utilizando corrección gamma inversa ($\gamma = 2.2$) para simular la integración física del sensor.
   • Selección Adaptativa de Ventana: El tamaño de la ventana (que varía de 3 a 21 fotogramas) se selecciona dinámicamente para lograr un rango de PSNR objetivo específico para el nivel de dificultad, asegurando que la dificultad esté impulsada por la dinámica del movimiento y no por umbrales arbitrarios.
   • Recodificación: Conversión del promedio lineal de nuevo a sRGB.
3. Filtrado de Calidad: Un filtro multietapa elimina artefactos utilizando SSIM ($\ge 0.65$), magnitud del flujo óptico ($\ge 1.0$ px/fotograma para desenfoque no trivial), LPIPS ($\le 0.35$) y hashing perceptual para eliminar casi-duplicados.
4. Estratificación de Dificultad: Las muestras se dividen en tres niveles basados en umbrales de PSNR:
   • Fácil: $\ge 30$ dB (artefactos mínimos).
   • Medio: 24–30 dB (degradación moderada).
   • Difícil: $< 24$ dB (degradación sustancial).
5. División: Una división a nivel de video (75% entrenamiento, 25% prueba) asegura que no haya filtrado de datos entre conjuntos.

Validación

La estratificación se valida a través de propiedades físicas de la escena en lugar de agrupaciones arbitrarias:

• Flujo Óptico: Existe un aumento monótono de 2.2× en la magnitud del flujo óptico de Fácil (6.0 px/fotograma) a Difícil (13.2 px/fotograma), con una fuerte correlación negativa con el PSNR ($\rho = -0.41$).
• Supresión de Alta Frecuencia: El análisis espectral confirma que el desenfoque sintetizado exhibe supresión de alta frecuencia consistente con la degradación auténtica por movimiento ($d$ de Cohen = 2.32, comparable a la $d = 2.24$ de RealBlur-J).
• Estudio con Usuarios: Las calificaciones perceptuales humanas correlacionan fuertemente con los niveles estratificados ($\rho = 0.74$).

Contribuciones Clave

1. Punto de Referencia Estratificado por Dificultad: El primer punto de referencia para la eliminación de desenfoque por movimiento en dispositivos de consumo que categoriza explícitamente las muestras en niveles Fácil, Medio y Difícil, validado por dinámicas de movimiento físicas.
2. Metadatos Exhaustivos: Cada muestra incluye características del ISP, magnitud del flujo óptico, estimaciones de ruido y parámetros de síntesis, permitiendo investigaciones sobre restauración consciente del ISP e inferencia adaptativa a la dificultad.
3. Validación Rigurosa de la Síntesis: El trabajo extiende la validación más allá de las métricas perceptuales para incluir un análisis de integración temporal basado en física, demostrando una alineación estadística con el desenfoque de cámara auténtico.
4. Cerrando la Brecha de Dominio: El conjunto de datos se centra en dispositivos de consumo (iPhone 17 Pro), abordando la brecha entre los conjuntos de datos de cámaras profesionales y las realidades de la implementación móvil.

Resultados

Evaluación de Línea Base

Se evaluaron seis arquitecturas de vanguardia (NAFNet, HINet, Restormer, MIMO-UNet, Instruct-IR, FFTformer):

• Brecha de Dominio Cruzado: Los modelos preentrenados en datos de GoPro experimentaron una caída significativa de rendimiento (6.1–7.1 dB) al probarse en iPhoneBlur en un escenario de cero disparos, confirmando una brecha de dominio distinta entre cámaras profesionales y de consumo.
• Rendimiento Estratificado: El ajuste fino en iPhoneBlur mejoró el rendimiento, pero se observó una degradación consistente de 7–9 dB desde los subconjuntos Fácil hasta Difícil en todas las arquitecturas.
  • Por ejemplo, NAFNet logró 35.1 dB en muestras fáciles, pero cayó a 27.9 dB en muestras difíciles.
  • Este rango de degradación (7.2–9.1 dB) excede la brecha de dominio cruzado (6.1–7.1 dB), lo que sugiere que la severidad del movimiento plantea un desafío más fundamental que el cambio de dominio por sí solo.
• Agnosticismo Arquitectónico: El patrón de degradación fue consistente a través de paradigmas arquitectónicos diversos (CNNs, Transformers, Multi-escala), con una desviación estándar de solo 0.7 dB en la magnitud de la degradación, lo que indica que los niveles de dificultad capturan desafíos físicos fundamentales de restauración en lugar de sesgos específicos del método.

Análisis Cualitativo

La inspección visual confirma que las muestras fáciles permiten una restauración casi perfecta, las muestras medias muestran artefactos emergentes y las muestras difíciles sufren de desenfoque residual severo y estelas de movimiento, validando que la estratificación captura puntos de ruptura perceptuales.

Significado y Afirmaciones

El artículo afirma que iPhoneBlur permite una evaluación sistemática de la fiabilidad del modelo y los modos de fallo que están completamente ocultos por los informes agregados. Al vincular el rendimiento con propiedades de la escena medibles (flujo óptico, tamaño de ventana adaptativo), el punto de referencia facilita:

• Decisiones Críticas para la Implementación: Determinar si procesar en el dispositivo o descargar a la nube basándose en la dificultad.
• Adaptación Dirigida: Demostrar que el ajuste fino dirigido puede recuperar sustancialmente la brecha de dominio de profesional a consumo (reduciendo la brecha de ~7 dB a ~2.5 dB).
• Direcciones de Investigación Avanzada: Apoyar el modelado de restauración consciente del ISP, la predicción de dificultad para el enrutamiento de inferencia adaptativa y currículos de entrenamiento progresivo.

Los autores enfatizan que el punto de referencia está diseñado para exponer patrones de fallo agnósticos a la arquitectura y proporcionar una base para extensiones impulsadas por la comunidad en la fotografía computacional móvil.