BVI-Mamba: Video Enhancement Using a Visual State-Space Model for Low-Light and Underwater Environments

1. Declaração do Problema

Vídeos capturados em ambientes de baixa luminosidade e subaquáticos sofrem degradações severas de qualidade, incluindo:

• Problemas de baixa luminosidade: Ruído, baixo contraste, desequilíbrio de cor e desfoque de movimento (causados por velocidades de obturador lentas ou ISO alto).
• Problemas subaquáticos: Dispersão e absorção de luz levando a embaçamento, efeitos de halo, distorção de cor e redução de contraste.

Essas degradações comprometem tanto a qualidade estética quanto o desempenho de tarefas de visão computacional a jusante (por exemplo, detecção de objetos, rastreamento). Embora exista aprimoramento de imagem baseado em IA, o aprimoramento de vídeo permanece desafiador devido a:

• Inconsistência temporal: Flickering e flutuações de brilho entre quadros.
• Custo computacional: Métodos existentes de aprendizado profundo (CNNs, Transformers) são computacionalmente caros e intensivos em memória, tornando o processamento em tempo real difícil.
• Escassez de dados: Falta de conjuntos de dados de treinamento pareados em grande escala, particularmente para cenários subaquáticos.

2. Metodologia: BVI-Mamba

Os autores propõem o BVI-Mamba, um novo framework que substitui blocos convolucionais e de Transformer tradicionais por Modelos de Espaço de Estados Visuais (VSS) para alcançar complexidade computacional linear enquanto mantém alto desempenho. A arquitetura segue um pipeline de duas etapas:

A. Módulo de Alinhamento de Características

Para garantir consistência temporal e prevenir flickering, o modelo alinha múltiplos quadros de entrada antes do aprimoramento.

• Mecanismo: Utiliza um módulo de alinhamento Pirâmide, Cascata e Deformável (PCD) (adaptado do EDVR) integrado com fusão de Atenção Temporal e Espacial (TSA).
• Função: Registra o deslocamento espaço-temporal entre quadros no espaço de características, extraindo e processando detalhes temporais para manter a consistência entre quadros consecutivos.

B. Módulo de Aprimoramento

Este módulo realiza a remoção de ruído e o ajuste de brilho usando uma arquitetura estilo UNet.

• Inovação Central: Todas as camadas convolucionais padrão e blocos Swin Transformer são substituídos por blocos de Espaço de Estados Visual (VSS).
• Estrutura do Bloco VSS:
  • Baseado no framework Mamba, utilizando especificamente o mecanismo de Varredura Seletiva 2D (SS2D).
  • Processo SS2D: Desdobra patches de entrada em sequências ao longo de quatro direções (Esquerda-Direita, Topo-Baixo, Direita-Esquerda, Baixo-Topo), processa-os via um Modelo de Espaço de Estados Seletivo (SSM) e mescla os resultados.
  • Vantagem: Ao contrário das CNNs (campo receptivo limitado) ou Transformers (complexidade quadrática), os blocos VSS capturam tanto detalhes locais quanto dependências globais de longo alcance com complexidade computacional linear.
• Formulação Matemática: O bloco VSS na camada $l$ é definido como:
  $$h_l = SS2D(LN(h_{l-1})) + h_{l-1}$$
  $$h_{l+1} = FFN(LN(h_l)) + h_l$$
  (Onde $LN$ é Normalização de Camada e $FFN$ é uma Rede de Alimentação Direta.)

3. Contribuições Principais

1. Primeira Aplicação do Mamba a Vídeo de Baixa Luminosidade: O artigo introduz o primeiro framework aplicando o modelo de Espaço de Estados Visual (VSS) ao aprimoramento de vídeo (anteriormente limitado a imagens), visando especificamente cenários de baixa luminosidade e subaquáticos.
2. Arquitetura Eficiente: Ao substituir blocos pesados de Transformer por blocos VSS, o BVI-Mamba alcança complexidade computacional linear, reduzindo significativamente o uso de memória e o tempo de inferência em comparação com contrapartes baseadas em CNN e Transformer.
3. Alinhamento Temporal Robusto: A integração do alinhamento PCD com o aprimoramento VSS garante alta consistência temporal, mitigando efetivamente o flickering e as flutuações de brilho comuns no aprimoramento de vídeo.
4. Adaptação Subaquática: O framework inclui uma etapa de pré-processamento usando adaptação cromática para abordar desequilíbrios de cor severos em dados subaquáticos, compensando a falta de verdade fundamental em conjuntos de dados subaquáticos.

4. Resultados Experimentais

O modelo foi avaliado em três conjuntos de dados: DID (Baixa Luminosidade), BVI-RLV (Baixa Luminosidade) e BVI-Coral (Subaquático).

• Desempenho Quantitativo (Baixa Luminosidade):
  • No conjunto de dados BVI-RLV, o BVI-Mamba alcançou um PSNR de 22,93 e SSIM de 0,820, superando:
    • PCDUNet (CNN): PSNR 19,50, SSIM 0,757.
    • STA-SUNet (Transformer): PSNR 20,64, SSIM 0,765.
    • BVI-CDM (Difusão): PSNR 22,20, SSIM 0,773.
  • Também alcançou o menor LPIPS (0,146), indicando similaridade perceptual superior à verdade fundamental.
• Desempenho Qualitativo:
  • Comparações visuais mostram que o BVI-Mamba reduz efetivamente o ruído, afina detalhes e preserva texturas finas melhor do que métodos concorrentes.
• Resultados Subaquáticos:
  • Usando um modelo pré-treinado no BVI-RLV e adaptado com adaptação cromática, o BVI-Mamba produziu resultados visualmente superiores em comparação com o Zero-TIG, corrigindo dominantes de cor e melhorando a visibilidade em filmagens de águas profundas.

5. Significado

• Mudança de Paradigma: Este trabalho demonstra que Modelos de Espaço de Estados (SSMs) são uma alternativa viável e superior aos Transformers para tarefas de processamento de vídeo, oferecendo um melhor equilíbrio entre desempenho e eficiência computacional.
• Implantação Prática: A redução da pegada de memória e a complexidade linear tornam o BVI-Mamba um forte candidato para implantação em dispositivos de borda ou em sistemas de vigilância em tempo real e navegação autônoma onde os recursos são limitados.
• Expansão de Domínio: Ele conecta com sucesso a lacuna entre modelos generativos/discriminativos avançados e ambientes físicos desafiadores (baixa luminosidade/subaquático), fornecendo uma solução robusta para aplicações críticas como exploração subaquática e segurança noturna.