It Takes Two: A Duet of Periodicity and Directionality for Burst Flicker Removal

1. El Problema: Artefactos de Parpadeo en Fotografía de Ráfaga

El parpadeo (flicker) es un desafío significativo en la fotografía de corta exposición, especialmente bajo iluminación artificial alimentada por corriente alterna (CA).

• Causa: La intensidad de la luz oscila periódicamente con la frecuencia de la CA. Cuando una cámara captura una imagen con un tiempo de exposición corto, registra solo una fracción de este ciclo, resultando en una onda de luz incompleta.
• Rol del Obturador Rodante (Rolling Shutter): Las cámaras modernas exponen el sensor fila por fila. La combinación de la oscilación de la luz y el retraso temporal entre filas crea patrones de brillo en forma de rayas a lo largo de la dirección de escaneo.
• Limitaciones de los Métodos Actuales:
  • Los métodos tradicionales (ajuste de hardware o aproximación de brillo) dependen de diseños específicos o conocimientos previos del sistema de iluminación.
  • Los métodos de aprendizaje profundo existentes tratan el parpadeo como una tarea genérica de restauración de imágenes, ignorando sus priors físicos intrínsecos (periodicidad y direccionalidad). Esto lleva a un rendimiento subóptimo y a la aparición de artefactos de "fantasmas" (ghosting) al fusionar múltiples cuadros.

2. Metodología: Flickerformer

Los autores proponen Flickerformer, una arquitectura basada en Transformers diseñada específicamente para eliminar el parpadeo en ráfagas de imágenes sin introducir fantasmas. La arquitectura se basa en dos características intrínsecas del parpadeo: Periodicidad y Direccionalidad.

La red utiliza una arquitectura asimétrica tipo U (codificador-decodificador) y se compone de tres módulos clave:

A. Módulo de Fusión Basado en Fase (PFM - Phase-based Fusion Module)

• Objetivo: Aprovechar la periodicidad inter-frame (entre cuadros).
• Mecanismo:
  1. Transforma las características de los cuadros de referencia y el cuadro base al dominio de la frecuencia mediante la Transformada Rápida de Fourier (FFT).
  2. Utiliza la correlación de fase. El artículo demuestra que la distribución espacial del parpadeo está codificada principalmente en la fase del espectro.
  3. Calcula una puntuación de similitud de fase entre el cuadro base y los de referencia para generar mapas de peso en el dominio de la frecuencia.
  4. Fusiona las características mejoradas de los cuadros de referencia con el cuadro base, alineando y agregando adaptativamente la información útil mientras suprime las variaciones de parpadeo.

B. Red de Alimentación Adelante con Autocorrelación (AFFN - Autocorrelation Feed-Forward Network)

• Objetivo: Aprovechar la periodicidad intra-frame (dentro del mismo cuadro).
• Mecanismo:
  1. Utiliza el teorema de Wiener-Khinchin para calcular la autocorrelación espacial de las características de entrada.
  2. La autocorrelación amplifica las estructuras repetitivas (patrones de parpadeo) y suprime el ruido no correlacionado.
  3. Combina la información del dominio de la frecuencia y el dominio espacial mediante un proceso dual, reforzando adaptativamente las regularidades periódicas dentro de las características fusionadas.

C. Módulo de Atención Direccional Basado en Ondículas (WDAM - Wavelet-based Directional Attention Module)

• Objetivo: Aprovechar la direccionalidad del parpadeo (rayas horizontales o verticales).
• Mecanismo:
  1. Aplica una Transformada de Ondículas Discreta (DWT) usando la base de Haar para descomponer las características en componentes de baja frecuencia (LL) y alta frecuencia (LH, HL, HH).
  2. Los componentes de alta frecuencia (especialmente LH y HL) capturan las variaciones de luminancia agudas asociadas con las rayas del parpadeo.
  3. Genera un mapa de peso direccional a partir de estos componentes de alta frecuencia.
  4. Utiliza este mapa para guiar el mecanismo de atención en la rama de baja frecuencia, permitiendo que la red localice y restaure con precisión las regiones oscuras afectadas por el parpadeo, diferenciándolas de sombras naturales.

3. Contribuciones Clave

1. Propuesta de Flickerformer: Un marco basado en Transformers que es el primero en integrar explícitamente los priors físicos del parpadeo (periodicidad y direccionalidad) en la arquitectura de la red.
2. Diseño de Módulos Específicos:
   • PFM y AFFN: Modelan la similitud inter-frame y las estructuras periódicas intra-frame, respectivamente, resolviendo el problema de la alineación y la fusión sin fantasmas.
   • WDAM: Mejora la precisión de localización y restauración utilizando la descomposición direccional en el dominio de las ondículas, reduciendo además el costo computacional en un ~75% en comparación con la atención de ventanas estándar.
3. Rendimiento Superior: Demostración de que incorporar priors físicos supera a los métodos genéricos de restauración de imágenes, tanto en métricas cuantitativas como en calidad visual.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos de referencia BurstDeflicker.

• Métricas Cuantitativas: Flickerformer obtuvo el mejor rendimiento en todas las métricas, superando a los métodos más avanzados (SOTA) como Restormer, Uformer y HDRTransformer.
  • PSNR: 31.226 dB (superior en +0.580 dB al segundo mejor método).
  • SSIM: 0.920.
  • LPIPS: 0.045 (menor es mejor).
  • Eficiencia: Logra estos resultados con solo 3.92 millones de parámetros (mucho menos que competidores como Restormer con 26.1M) y un costo computacional (FLOPs) de 128.76 G.
• Resultados Cualitativos:
  • Elimina eficazmente las rayas de parpadeo en diversas situaciones (pantallas, luces de techo).
  • Preserva mejor las texturas finas y los colores.
  • Evita los artefactos de fantasmas y las desviaciones de color que presentan otros métodos en regiones sobreexpuestas o con parpadeo severo.
• Estudios de Ablación: Confirmaron que la eliminación de cualquiera de los tres módulos (PFM, AFFN, WDAM) reduce significativamente el rendimiento, validando la necesidad de modelar tanto la periodicidad como la direccionalidad.

5. Significado y Limitaciones

• Significado: Este trabajo cierra la brecha entre el modelado basado en física y el aprendizaje profundo para la restauración de imágenes. Al demostrar que entender la estructura física del degradado (parpadeo) es crucial, ofrece una nueva dirección para el diseño de redes de restauración que van más allá de los enfoques genéricos.
• Limitaciones: El método tiene dificultades cuando las regiones limpias a través de los múltiples cuadros de la ráfaga no cubren toda la escena (por ejemplo, si una luz larga se apaga completamente en todos los cuadros, la información perdida no puede recuperarse).

En resumen, Flickerformer representa un avance significativo en la eliminación de parpadeo, logrando una restauración de alta calidad y libre de fantasmas mediante la explotación inteligente de las propiedades periódicas y direccionales del artefacto.