Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise

Resumo Técnico: Agregação Temporal Dinâmica Baseada em Pesos para Aprimoramento de Vídeo em Baixa Luz sob Ruído Extremo

Declaração do Problema
O aprimoramento de vídeo em baixa luz (LLVE) enfrenta desafios significativos devido a ruído severo, baixo contraste e degradação de cor, particularmente em cenários externos "in-the-wild". Embora os métodos baseados em aprendizado ofereçam inferência rápida, eles frequentemente lutam sob ruído real pesado porque não exploram suficientemente pistas temporais de longo prazo. Abordagens existentes tipicamente dependem de processamento por janela deslizante ou convoluções 3D que consideram apenas uma vizinhança curta de quadros. Esses métodos são computacionalmente pesados, intensivos em memória e incapazes de aproveitar plenamente a redundância temporal de longo prazo, o que é crucial para a remoção de ruído sob condições extremas. Além disso, modelos treinados em ruído sintético ou suave generalizam-se mal para ruído real complexo e espacialmente variável, levando a inconsistências temporais, como cintilação e fantasmas.

Metodologia: DWTA-Net
Os autores propõem a DWTA-Net, um novo framework recorrente de aprendizado profundo baseado em uma arquitetura de dois estágios projetada para lidar com ruído real pesado enquanto mantém consistência temporal.

1. Estágio I: Aprimoramento de Múltiplos Quadros (Restauração Local)

   • Objetivo: Restaurar estrutura local, cor e brilho, garantindo consistência temporal de curto prazo.
   • Mecanismo: Uma sequência curta de quadros vizinhos é primeiro alinhada a um quadro de referência usando um módulo PCD (Deformável Convolucional Pixel a Pixel) para gerar características compensadas por movimento.
   • Backbone: Essas características alinhadas são processadas por um backbone semelhante a U-Net baseado em Mamba. Blocos convolucionais convencionais são substituídos por blocos de Espaço de Estado Visual (VSS). Diferentemente de convoluções padrão com campos receptivos limitados, os blocos VSS utilizam um mecanismo de varredura seletiva para capturar dependências globais de longo alcance, o que é crítico para restaurar a coerência estrutural em cenas severamente degradadas.

2. Estágio II: Refinamento Recorrente Dinâmico (Agregação de Longo Prazo)

   • Objetivo: Suprimir ruído e estabilizar detalhes ao longo de sequências longas acumulando evidências temporais de longo prazo.
   • Mecanismo: Desviando da recorrência de estado oculto, a DWTA-Net realiza a agregação diretamente no espaço espacial (pixel), onde o ruído de baixa luz se manifesta como artefatos de alta frequência.
   • Ponderação Dinâmica: O estágio emprega uma formulação recorrente guiada por fluxo óptico (usando GMFlow). Em cada passo de tempo $t$, a saída refinada do passo anterior ($O'_{t-1}$) é deformada para alinhar com a saída atual do Estágio I ($O_t$).
   • Mistura Adaptativa: Um mapa de pesos dinâmicos $\omega$ é calculado com base no resíduo de movimento $R = |O_t - O^W_{t-1}|$.
     • Em regiões estáticas (baixo resíduo), o peso enfatiza a acumulação do quadro anterior deformado para suprimir ruído.
     • Em regiões dinâmicas (alto resíduo), o peso favorece o quadro atual para preservar a nitidez do movimento.
   • Essa estratégia equilibra a supressão de ruído com a nitidez do movimento, superando as limitações da média de janela fixa.

3. Função de Perda Adaptativa à Textura

   • Para abordar a variância espacial do ruído de baixa luz, os autores introduzem uma função de perda que equilibra a preservação de detalhes finos com a suavidade espacial.
   • Um mapa consciente de textura ($M_T$) é derivado dos componentes de alta frequência da saída usando uma Transformada Wavelet Discreta 2D (2D-DWT).
   • A perda total combina uma perda de reconstrução $\ell_2$ pixel a pixel com uma soma ponderada de:
     • Perda Perceptiva ($L_{VGG}$): Aplicada a regiões altamente texturizadas ($M_T \to 1$) para preservar detalhes finos.
     • Perda de Variação Total ($L_{TV}$): Aplicada a regiões homogêneas ($M_T \to 0$) para incentivar a suavidade e suprimir ruído.

Principais Contribuições

• Framework DWTA-Net: Um novo framework recorrente baseado em Mamba, adaptado para ruído real pesado, apresentando um design de dois estágios que separa a restauração local da agregação temporal de longo prazo.
• Agregação Recorrente Espacial: Uma estratégia de agregação temporal dinâmica baseada em pesos que opera no espaço espacial em vez do espaço de características. Utiliza resíduos de movimento para ajustar adaptativamente os pesos de mistura, equilibrando consistência temporal com nitidez consciente de movimento.
• Função de Perda Adaptativa à Textura: Uma função de perda personalizada que pondera dinamicamente restrições perceptivas e de suavidade com base na complexidade de textura local, garantindo preservação de detalhes em áreas texturizadas enquanto suaviza regiões homogêneas.

Resultados Experimentais
O modelo foi treinado no conjunto de dados de vídeo em baixa luz emparelhado DID e avaliado tanto em métricas quantitativas (PSNR, SSIM, LPIPS) quanto em cenários qualitativos "in-the-wild" (especificamente a sequência Horse).

• Desempenho Quantitativo: No conjunto de dados DID, a DWTA-Net alcançou o maior PSNR (24,27 dB) e LPIPS (0,115) entre os métodos comparados, superando métodos baseados em imagem de última geração (por exemplo, Retinexformer, WaveMamba) e baselines baseados em vídeo (por exemplo, EDVR, SMOID).
• Capacidade de Remoção de Ruído: Em uma avaliação suplementar em uma região de céu estático da filmagem Horse (usando um pseudo-verdadeiro gerado por média de quadros), a DWTA-Net alcançou o maior PSNR (27,81 dB) e SSIM (0,839), superando até mesmo métodos ideais baseados em imagem para cenários estáticos.
• Qualidade Visual: Comparações qualitativas mostram que a DWTA-Net preserva detalhes finos (por exemplo, cercas, cabos, textura de grama) e cores naturais, sem os artefatos de super-suavização vistos em métodos como Starlight-denoiser ou os artefatos distrativos introduzidos pelo SDSD-net.
• Estudos de Ablação: A remoção do Estágio I levou a quedas drásticas no PSNR e na qualidade perceptiva, confirmando seu papel na restauração básica. A remoção do Estágio II resultou em LPIPS mais alto, demonstrando a necessidade da agregação temporal de longo prazo para a qualidade visual. A perda adaptativa à textura mostrou-se crítica para equilibrar a remoção de ruído e a preservação de textura.

Significado e Alegações
O artigo afirma que a DWTA-Net fornece uma solução robusta para o aprimoramento de vídeo em baixa luz sob condições de ruído extremo onde pipelines tradicionais e métodos existentes baseados em aprendizado falham. Ao aproveitar a redundância temporal de longo prazo através de uma estratégia de agregação recorrente e consciente de movimento, o framework alcança supressão de ruído superior e consistência temporal. Os autores posicionam seu trabalho como um avanço prático que aborda o desafio específico de generalizar para distribuições de ruído complexas e do mundo real, enquanto preserva detalhes estruturais finos, validado por extensos benchmarks e avaliações desafiadoras "in-the-wild".