Towards a General-Purpose Zero-Shot Synthetic Low-Light Image and Video Pipeline

Título: Rumo a um Pipeline Sintético de Imagem e Vídeo de Baixa Luz de Propósito Geral e Zero-Shot

1. O Problema

As condições de baixa luz representam um desafio significativo tanto para a anotação humana quanto para a compreensão automática por máquinas. Isso resultou em uma escassez de pesquisas sobre a compreensão de máquinas para imagens e, especificamente, vídeos de baixa luz.

• Falta de Dados: A anotação precisa de dados de baixa luz é difícil devido à falta de "ground truth" (verdade fundamental) clara, limitando a disponibilidade de conjuntos de dados adequados.
• Limitações das Abordagens Atuais:
  • Métodos comuns de síntese de dados frequentemente utilizam modelos de ruído irreais ou exigem metadados de câmera (como ISO e parâmetros do sensor) que raramente estão disponíveis em conjuntos de dados públicos.
  • Pipelines existentes muitas vezes são restritos às características de ruído dos dados de treinamento específicos, não generalizando bem para novos dispositivos ou cenários.
  • O uso de pré-processamento de realce de vídeo (LLVE) antes da tarefa principal introduz complexidade computacional e pode gerar artefatos que degradam o desempenho de modelos downstream.

2. Metodologia Proposta

Os autores propõem um novo pipeline sintético de propósito geral e zero-shot que gera ruído realista em imagens e vídeos RGB (sRGB) sem a necessidade de metadados da câmera.

A. Rede de Estimação de Degradação (DEN)

O núcleo da proposta é a Degradation Estimation Network (DEN), uma rede neural projetada para estimar os parâmetros de distribuições de ruído baseadas na física a partir de um vídeo de referência de baixa luz.

• Arquitetura: Baseada no framework U-Net, com um cabeçalho adicional de MLP (Multi-Layer Perceptron) conectado ao codificador.
  • O MLP estima o vetor de ruído ($\hat{v}$) que configura o simulador.
  • O Decodificador reconstrói a versão desruidada da entrada, auxiliando no aprendizado.
• Estratégia de Treinamento: Utiliza uma abordagem auto-supervisionada.
  1. Imagens/vídeos limpos são escurecidos artificialmente (redução de iluminação).
  2. Ruído é adicionado com base em parâmetros aleatórios.
  3. A DEN aprende a prever esses parâmetros a partir da imagem degradada e a reconstruir a imagem limpa.
  4. Isso permite que o modelo generalize para uma ampla gama de características de ruído sem ver dados reais de baixa luz durante o treinamento.

B. Simulador de Ruído Baseado em Física

O pipeline simula ruído realista combinando cinco tipos principais de degradação física, controlados pelo vetor de parâmetros estimado pela DEN:

1. Ruído Heterocedástico: Combina ruído de leitura (Gaussiano) e ruído de disparo (Poisson), modelando a dependência do sinal.
2. Ruído de Quantização: Modelado como uma distribuição uniforme, simulando artefatos de conversão analógico-digital.
3. Ruído de Faixas (Banding): Linhas horizontais ou verticais comuns em ISOs altos, modeladas como Gaussiana com persistência temporal.
4. Ruído Periódico: Padrões repetitivos causados por interferência elétrica, modelados no domínio da frequência (Fourier).

C. Processo de Inferência

Durante a inferência, um vídeo real de baixa luz ($y_n$) é passado pela DEN para estimar o vetor de ruído ($\hat{v}$). Este vetor é então usado pelo simulador $f(\cdot)$ para adicionar ruído sintético a qualquer imagem ou vídeo limpo de entrada, replicando as características do vídeo de referência.

3. Principais Contribuições

1. Primeiro Pipeline Zero-Shot de Propósito Geral: Um método capaz de gerar imagens e vídeos de baixa luz sRGB realistas com as mesmas características de ruído de uma referência, sem usar dados reais de baixa luz no treinamento.
2. Generalização Superior: Diferente de métodos anteriores limitados a ruído Gaussiano ou a conjuntos de dados específicos, esta abordagem cobre uma ampla gama de tipos e parâmetros de ruído, sendo aplicável a diferentes câmeras e configurações.
3. Rede DEN Inovadora: Uma rede que prevê parâmetros de distribuições físicas para modelar ruído em vídeos, diferindo de trabalhos que modelam ruído específico apenas para seus dados de treinamento.
4. Estratégia Auto-Supervisionada: Permite que a rede aprenda robustamente e generalize através de uma distribuição diversificada de parâmetros de ruído.

4. Resultados Experimentais

O método foi avaliado em três tarefas principais: replicação de ruído sintético, realce de vídeo de baixa luz (LLVE) e detecção de objetos.

• Qualidade Sintética (Replicação de Ruído):

  • Comparado a modelos como AWGN (Ruído Gaussiano Aditivo), Poisson-Gaussiano (P-G) e o gerador Starlight.
  • Obteve os melhores resultados em todas as métricas de qualidade: KLD (Divergência de Kullback-Leibler), FID e KID.
  • Demonstrou uma fidelidade superior na replicação das características de ruído reais.

• Realce de Vídeo de Baixa Luz (LLVE):

  • Modelos (BVI-Mamba) treinados com dados sintéticos do pipeline proposto alcançaram um melhor equilíbrio entre qualidade perceptiva e naturalidade.
  • Em comparação com outros métodos, o método proposto reduziu artefatos (como distorção de cor) e manteve melhor a textura em áreas escuras.

• Detecção de Objetos:

  • Um modelo YOLOv11n treinado com dados sintéticos gerados pelo pipeline demonstrou melhorias drásticas em cenários reais de baixa luz.
  • Melhoria de até 62% em AP50-95 (Precisão Média) em comparação com outros pipelines.
  • O modelo conseguiu detectar objetos (como cavalos e copos) que falharam ou tiveram baixa confiança quando processados por modelos treinados com outros métodos sintéticos.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na geração de dados sintéticos para visão computacional em condições adversas.

• Viabilidade Prática: Ao eliminar a necessidade de metadados da câmera e de dados reais de baixa luz para treinamento, o método torna-se altamente escalável e aplicável a qualquer dispositivo ou cenário.
• Impacto no Treinamento de Modelos: Permite o treinamento robusto de modelos de visão computacional (como detecção e segmentação) para operar em baixa luz, superando a barreira da falta de dados anotados.
• Futuro: Os autores planejam expandir o método para incluir outras degradações complexas, como desfoque de movimento e ruído espacialmente correlacionado proveniente do processamento de sinal de imagem (ISP) da câmera, além de integrar a estimativa de mapeamento de iluminação.

Em resumo, a proposta oferece uma solução robusta e generalizável para o "gargalo" de dados em tarefas de visão computacional em baixa luz, superando as limitações de pipelines sintéticos anteriores através de uma estimativa inteligente de parâmetros de ruído baseada em física.