Zero-TIG: Temporal Consistency-Aware Zero-Shot Illumination-Guided Low-light Video Enhancement

1. Problema Abordado

O artigo foca na melhoria da qualidade de vídeos capturados em condições de baixa luminosidade e em ambientes subaquáticos. Esses cenários apresentam desafios significativos, incluindo:

• Baixa visibilidade e contraste: Devido à escassez de fótons.
• Ruído elevado: Causado pelo aumento da sensibilidade ISO nas câmeras.
• Desfoque de movimento: Resultante do aumento do tempo de exposição.
• Distorção de cor: Especialmente em ambientes subaquáticos, devido à atenuação dependente do comprimento de onda da luz.
• Inconsistência temporal: Métodos existentes, quando aplicados quadro a quadro, geram "flickering" (piscamento) e falta de continuidade entre os frames.
• Limitação de Dados: A maioria dos métodos baseados em aprendizado profundo supervisionado requer pares de dados (vídeo de baixa luz vs. vídeo de boa luz), que são difíceis de obter, especialmente para cenas subaquáticas reais.

2. Metodologia (Zero-TIG)

O autores propõem o Zero-TIG, uma abordagem de aprendizado zero-shot (não supervisionado) que não requer dados de treinamento pareados. O método integra a Teoria de Retinex com técnicas de fluxo óptico para garantir consistência temporal.

A arquitetura da rede consiste em dois módulos principais:

A. Módulo de Aprimoramento (Enhancement Module)

Baseado no método Zero-IG, este módulo é composto por três sub-redes:

1. LD-Net (Low-light Denoising Network): Realiza uma remoção inicial de ruído na imagem de baixa luz ($I_t$) para gerar uma imagem pré-denoisada ($I_t^{LP}$).
2. IE-Net (Illumination Estimation Network): Decompõe a imagem pré-denoisada em dois componentes conforme a teoria de Retinex: Refletância ($R_t^{IE}$) e Iluminação ($S_t^{IE}$).
3. RD-Net (Reflection Denoising Network): Refina os componentes de refletância e iluminação para remover ruído residual e melhorar a qualidade final. A saída final é a imagem aprimorada ($R_t^{RD}$).

B. Módulo de Feedback Temporal (Temporal Feedback Module)

Este é o componente inovador para garantir a consistência entre frames consecutivos:

• Alinhamento Temporal: O resultado aprimorado do frame anterior ($R_{t-1}^{RD}$) é alinhado ao frame atual.
• Fluxo Óptico (Optical Flow): Utiliza o modelo RAFT (pré-treinado) para calcular o deslocamento entre o frame anterior aprimorado e uma versão pré-processada do frame atual (com equalização de histograma para melhor estimativa).
• Warping (Deformação): As componentes de refletância e iluminação do frame anterior são deformadas (warped) usando o mapa de fluxo óptico e injetadas de volta no IE-Net e RD-Net do frame atual.
• Resultado: Isso permite que o contexto temporal ajude no processo de denoising e suavização, reduzindo o flickering.

C. Tratamento de Dados Subaquáticos

Para corrigir a distorção de cor em vídeos subaquáticos, o método implementa um balanço de branco adaptativo:

• Calcula o ganho para cada canal RGB (R, G, B) independentemente.
• Restringe a iluminação de cada canal com base na média individual, em vez de assumir uma distribuição uniforme, corrigindo a absorção seletiva de luz na água.

D. Funções de Perda

O modelo é otimizado sem dados de referência (ground truth) utilizando 11 funções de perda, incluindo:

• Perdas de consistência e residual (baseadas em downsampling).
• Perdas de estimativa de iluminação (suavidade, amplitude e média).
• Perdas de denoising interativo e variância local.
• Perdas específicas para subaquáticos (balanço de branco por canal).

3. Principais Contribuições

1. Método Zero-Shot: Desenvolvimento do Zero-TIG, capaz de aprimorar vídeos de baixa luz sem necessidade de pares de dados de treinamento.
2. Consistência Temporal: Introdução de um módulo de feedback que combina equalização de histograma, fluxo óptico e warping para eliminar flickering e manter a continuidade visual.
3. Correção de Cor Subaquática: Mecanismo adaptativo para balanço de branco que lida com a distorção de cor específica de ambientes subaquáticos.
4. Arquitetura Modular: Integração eficaz de denoising, estimativa de iluminação e refinamento de reflexão em um único pipeline recursivo.

4. Resultados Experimentais

Os testes foram realizados nos conjuntos de dados BVI-RLV (baixa luminosidade) e BVI-Coral (subaquático).

• Métricas Quantitativas (BVI-RLV):
  • O Zero-TIG superou a maioria dos métodos de aprendizado auto-supervisionado (como Zero-DCE, SGZSL, RUAS) e foi comparável ao Zero-IG.
  • Obteve pontuações superiores em PSNR (28.052 com histogram matching) e SSIM (0.854) em comparação com outros métodos zero-shot.
  • Embora métodos supervisionados (como BVI-CDM) tenham métricas numéricas mais altas, o Zero-TIG demonstrou qualidade visual superior a alguns métodos supervisionados, evitando artefatos de cor.
• Consistência Temporal:
  • A métrica MABD (Mean Absolute Brightness Differences) mostrou que o Zero-TIG possui variações de brilho muito menores entre frames consecutivos, indicando uma estabilidade temporal superior e menos flickering.
• Desempenho Subaquático:
  • Em vídeos subaquáticos (sem ground truth), o método superou o Zero-IG em métricas não referenciadas (UIQM e UCIQE) e na pontuação do CLIP-IQA.
  • Visualmente, as bordas de corais e areia ficaram mais nítidas, com melhor contraste e correção de cor.

5. Significado e Impacto

O Zero-TIG representa um avanço significativo na melhoria de vídeo, pois:

• Viabilidade Prática: Elimina a dependência de grandes conjuntos de dados pareados, que são raros e caros para obter, especialmente em cenários subaquáticos ou de segurança.
• Qualidade Visual: Resolve o problema crônico de flickering em vídeos aprimorados quadro a quadro, tornando-o adequado para aplicações em tempo real.
• Versatilidade: Funciona eficazmente tanto em ambientes de baixa luz terrestres quanto em cenários subaquáticos complexos, oferecendo uma solução robusta para vigilância, veículos autônomos, imagens médicas e sensoriamento remoto.

O código do projeto está disponível publicamente, facilitando a reprodução e o desenvolvimento futuro na área.