Frequency-Decomposed INR for NIR-Assisted Low-Light RGB Image Denoising

1. O Problema

A recuperação de imagens em condições de pouca luz, especialmente para aplicações em Veículos Aéreos Não Tripulados (UAVs), enfrenta desafios críticos:

• Degradação de Sinal: Em ambientes com baixa luminosidade (amanhecer, anoitecer, sombras), os sensores RGB capturam imagens com baixo número de fótons, resultando em ruído quântico e eletrônico severo.
• Perda de Detalhes: O ruído mascara as texturas de alta frequência, enquanto o processamento tradicional tende a suavizar excessivamente a imagem ou introduzir artefatos e viés de cor.
• Limitações da Fusão Multimodal Existente: Métodos que utilizam imagens de Infravermelho Próximo (NIR) para auxiliar a restauração RGB frequentemente falham devido a inconsistências físicas entre os modos. A fusão direta no domínio espacial causa distorções de cor e artefatos, pois os métodos atuais não modelam adequadamente a confiabilidade diferencial das frequências (baixas vs. altas) entre os dois sensores. Além disso, a maioria dos métodos baseia-se em representações discretas (grades), limitando a reconstrução em resoluções arbitrárias.

2. Metodologia: FD-INR

O artigo propõe o FD-INR (Frequency-Decoupled Implicit Neural Representation), uma estrutura baseada em Representação Neural Implícita (INR) que decompõe explicitamente as frequências da imagem.

Conceito Central

A abordagem baseia-se em uma priori estatística observada:

• Os sinais de baixa frequência no RGB são mais confiáveis para luminância global e cor.
• Os sinais de alta frequência no NIR possuem maior relação sinal-ruído (SNR) e capturam melhor as estruturas e texturas do que o RGB ruidoso.

Arquitetura do Modelo

O sistema modela o campo de imagem como uma superposição linear de duas funções contínuas em um espaço coordenado:
$$\hat{I}(x) = F_{LF}(x; \theta) + G_{HF}(x; \phi) - \beta$$

1. Ramo de Baixa Frequência ($F_{LF}$):

   • Focado na consistência de cor e luminância global.
   • Utiliza grades de características esparsas (amostragem esparsa) para atuar como um filtro passa-baixa natural, suprimindo ruído de alta frequência do RGB.
   • É supervisionado principalmente pela imagem RGB de baixa luz.

2. Ramo de Alta Frequência ($G_{HF}$):

   • Focado na recuperação de detalhes estruturais e texturas.
   • Utiliza grades de características densas para capturar gradientes sub-pixel.
   • É guiado pela imagem NIR de alto SNR para reconstruir detalhes que o RGB perdeu.

3. Mecanismos de Supervisão e Regularização:

   • Decomposição por Wavelet (DWT): A Transformada Wavelet Discreta é usada para separar os componentes em sub-bandas (LL, LH, HL, HH).
   • Regularização de Decuplagem Espectral: Uma função de perda ($L_{reg}$) penaliza a presença de alta frequência no ramo de baixa frequência e baixa frequência no ramo de alta frequência, evitando vazamento espectral e aliasing.
   • Restrição de Média Zero: Garante que o ramo de alta frequência ($G_{HF}$) aprenda apenas detalhes residuais (ruído zero-média) e não contamine a cor global, evitando distorções de luminância.
   • Perda de Gradiente Espacial: Alinha os gradientes da imagem reconstruída com a referência NIR para manter a nitidez das bordas.

4. Otimização Adaptativa:

   • Utiliza uma função de perda ponderada baseada em incerteza homoscedástica. Isso permite que o modelo aprenda automaticamente os pesos ($\sigma_k$) para cada tarefa (cor, estrutura, gradiente) durante o treinamento, equilibrando as contribuições conforme o nível de ruído.
   • Emprega o otimizador Muon (baseado em gradientes ortogonais) para acelerar a convergência em mapeamentos de coordenadas de alta dimensão.

3. Principais Contribuições

• FD-INR (Representação Neural Implícita Decopada por Frequência): Um novo framework que integra a priori física ("RGB restringe baixas frequências, NIR melhora altas frequências") em um espaço de função contínua. Isso resolve conflitos modais e aliasing de características inerentes à fusão espacial tradicional.
• Mecanismo de Ponderação Adaptativa: Introdução de um mecanismo de aprendizado de incerteza para balancear dinamicamente as tarefas de restauração de cor e detalhe, além do uso do otimizador Muon para eficiência na representação contínua.
• Reconstrução em Resolução Arbitrária: Graças à natureza contínua das INRs, o método supera métodos baseados em grades discretas, permitindo a reconstrução de imagens em resoluções arbitrárias sem perda de qualidade.

4. Resultados Experimentais

• Benchmarks: O método foi testado no conjunto de dados Dark Vision Dataset (DVD), focando em pares sincronizados RGB-NIR capturados no mundo real.
• Desempenho Quantitativo: O FD-INR alcançou o estado da arte (SOTA) em métricas de qualidade perceptual (NIQE mais baixo) e fidelidade estrutural (NCC mais alto).
  • A remoção da restrição de média zero degradou significativamente a NIQE (distorção de cor).
  • A remoção da supervisão de gradiente reduziu a NCC (perda de nitidez).
• Desempenho Qualitativo: Visualmente, o método produz bordas mais nítidas e cores mais puras em comparação com fusões ingênuas (DWT) e métodos baseados em Deep Learning (como DVN), que sofrem de ruído cromático e artefatos.
• Eficiência: O modelo possui apenas 0,3 milhões de parâmetros e requer aproximadamente 17,6 GFLOPs para inferência, com baixa latência por iteração (~20ms).

5. Significado e Impacto

O trabalho oferece uma solução robusta para a percepção em condições extremas de pouca luz, crucial para aplicações de UAVs e visão computacional autônoma.

• Superação de Limitações Físicas: Ao explorar a complementaridade espectral entre RGB e NIR através de uma decomposição explícita, o método contorna as limitações físicas dos sensores de luz visível.
• Generalização Zero-Shot: Por ser baseado em INR e ajuste de instância específica (sem necessidade de pré-treinamento massivo em grandes datasets), o modelo adapta-se bem a cenários reais não vistos anteriormente.
• Avanço Teórico: Demonstra que a separação de frequências em espaços de representação contínua é superior à fusão direta no domínio espacial para tarefas multimodais complexas, abrindo caminho para novas abordagens em restauração de imagens e percepção multimodal.