It Takes Two: A Duet of Periodicity and Directionality for Burst Flicker Removal

1. O Problema

O artigo aborda o desafio da remoção de flicker (piscamento) em fotografia de curta exposição, especialmente em imagens capturadas sob iluminação de corrente alternada (AC).

• Causa: A intensidade da luz oscila com a frequência da AC. Câmeras modernas utilizam obturadores de rolagem (rolling-shutter), expondo o sensor linha por linha. A combinação da oscilação da luz e o tempo de exposição diferente entre as linhas gera padrões de brilho em faixas (estriados) ao longo da direção de varredura.
• Desafio Atual: Métodos de restauração genéricos (focados em ruído ou baixa luminosidade) falham em lidar com o flicker porque ignoram suas características físicas intrínsecas: periodicidade (padrões temporais cíclicos) e direcionalidade (padrões espaciais alinhados à varredura). Isso resulta em supressão subótima e artefatos de "fantasmas" (ghosting).

2. Metodologia: Flickerformer

Os autores propõem o Flickerformer, uma arquitetura baseada em Transformers que integra priores físicos do flicker diretamente na rede neural. O modelo é composto por três módulos principais que exploram a periodicidade e a direcionalidade:

A. Módulo de Fusão Baseado em Fase (PFM - Phase-based Fusion Module)

• Objetivo: Explorar a periodicidade interquadro (entre frames).
• Mecanismo: Utiliza a Transformada Rápida de Fourier (FFT). O artigo demonstra que a distribuição espacial do flicker é codificada principalmente na fase do espectro de frequência.
• Funcionamento: O PFM calcula a correlação de fase entre o quadro de referência e os quadros adjacentes (burst). Ele gera mapas de peso no domínio da frequência para alinhar e fundir características, agregando informações úteis dos quadros de referência enquanto suprime as variações de flicker.

B. Rede Feed-Forward de Autocorrelação (AFFN - Autocorrelation Feed-Forward Network)

• Objetivo: Explorar a periodicidade intraquadro (dentro do mesmo frame).
• Mecanismo: Utiliza o teorema de Wiener-Khinchin para calcular a autocorrelação espacial no domínio da frequência.
• Funcionamento: A autocorrelação amplifica estruturas repetitivas (o padrão do flicker) e suprime ruído não correlacionado. O AFFN combina informações dos domínios espacial e de frequência para reforçar as regularidades periódicas dentro do quadro fundido, melhorando a percepção de padrões recorrentes.

C. Módulo de Atenção Direcional Baseado em Wavelets (WDAM - Wavelet-based Directional Attention Module)

• Objetivo: Explorar a direcionalidade do flicker (faixas horizontais ou verticais).
• Mecanismo: Utiliza a Transformada Wavelet Discreta (DWT) com base Haar para decompor as características em sub-bandas de frequência (Baixa, Horizontal, Vertical, Diagonal).
• Funcionamento:
  • As sub-bandas de alta frequência (especialmente LH e HL) capturam as bordas das variações de flicker.
  • O WDAM usa essas sub-bandas de alta frequência para gerar um mapa de pesos direcional que guia a atenção na sub-banda de baixa frequência (onde residem as regiões escuras afetadas pelo flicker).
  • Isso permite uma localização precisa das áreas afetadas e uma restauração mais eficaz, reduzindo o custo computacional ao processar a atenção apenas na sub-banda de baixa frequência (redução de ~75% no custo).

3. Principais Contribuições

1. Arquitetura Flickerformer: Um framework baseado em Transformer que remove flicker de bursts de imagens sem introduzir artefatos de fantasma, superando abordagens genéricas.
2. Integração de Priors Físicos:
   • Uso de PFM e AFFN para modelar a periodicidade (inter e intra-frame) através de correlação de fase e autocorrelação.
   • Uso de WDAM para explorar a direcionalidade através de decomposição wavelet e atenção direcional.
3. Desempenho Superior: Demonstração de que incorporar conhecimento físico específico do problema (flicker) em redes profundas é mais eficaz do que tratar o flicker como uma degradação genérica.

4. Resultados Experimentais

Os métodos foram avaliados no conjunto de dados de referência BurstDeflicker.

• Métricas Quantitativas: O Flickerformer alcançou o melhor desempenho em todas as métricas (PSNR, SSIM, LPIPS).
  • PSNR: 31.226 dB (superior ao segundo melhor método em +0.580 dB).
  • Eficiência: Utiliza apenas 3.92M de parâmetros e 128.76 GFlops, sendo significativamente mais leve que muitos concorrentes de ponta (ex: Restormer, Uformer).
• Resultados Qualitativos:
  • Remoção mais completa de faixas de flicker, inclusive em regiões escuras e texturas finas.
  • Eliminação de viés de cor e artefatos de "fantasmas" comuns em outros métodos.
  • Melhor preservação de detalhes em comparação com redes de restauração de HDR ou super-resolução adaptadas.

5. Significado e Conclusão

O trabalho estabelece um novo paradigma na restauração de imagens ao demonstrar que a modelagem explícita de priores físicos (periodicidade e direcionalidade) dentro de arquiteturas modernas de Transformers é crucial para lidar com degradações estruturadas como o flicker.

• Impacto: Oferece uma solução robusta para fotografia de curta exposição, HDR, vídeo em câmera lenta e captura de movimento, onde o flicker é um problema crítico.
• Limitação: O modelo ainda enfrenta dificuldades quando as regiões limpas entre os quadros do burst não cobrem toda a cena (ex: uma luz longa que se apaga completamente em todas as frames), resultando em recuperação parcial nessas áreas específicas.

Em resumo, o Flickerformer não apenas melhora os resultados quantitativos, mas resolve problemas qualitativos persistentes (como fantasmas e cores erradas) ao alinhar a arquitetura da rede com a física real do fenômeno do flicker.