Resumo Técnico: Fusão Adaptativa de Domínio Duplo com Atenção Esparsa Dinâmica para Melhoria de Imagens em Baixa Luminosidade

Definição do Problema

A melhoria de imagens em baixa luminosidade (LLIE) é uma tarefa crítica para aplicações como vigilância noturna e condução autónoma. Embora os métodos de aprendizagem profunda tenham se tornado a abordagem dominante, os métodos existentes enfrentam desafios significativos:

• Métodos baseados em Transformers: Frequentemente sofrem com alta complexidade computacional devido à Multi-Head Self-Attention (MHSA) padrão e podem perder informações espaciais significativas ao utilizar mecanismos de atenção baseados em canais ou janelas.
• Abordagens no domínio da frequência: Embora eficazes na recuperação de detalhes estruturais, muitas vezes carecem de mecanismos de fusão eficazes com características espaciais, levando a uma integração subótima de contexto global e detalhes locais.
• Limitações gerais: Métodos tradicionais (por exemplo, baseados em Retinex) frequentemente amplificam o ruído ou requerem designs de priors complexos, enquanto muitos modelos de aprendizagem profunda lutam para equilibrar a eficiência computacional com a preservação de detalhes finos e a restauração de cores naturais.

Metodologia: FDSA-Net

Os autores propõem a FDSA-Net (Frequency-guided Dynamic Sparse Attention Network), uma arquitetura de domínio duplo projetada para unificar características espaciais e de frequência para um realce robusto. A rede segue uma estrutura paralela inspirada no FDCFormer, consistindo em três componentes primários:

1. Backbone do Domínio Espacial (Bloco de Extração de Características Globais - GFEB)

O ramo espacial processa a imagem de entrada para capturar detalhes locais e contexto global. A inovação central aqui é o bloco de Axis-based Dynamic Sparse Attention (ADSA), que substitui a MHSA padrão para reduzir a carga computacional enquanto preserva dependências de longo alcance. O GFEB compreende:

• Melhoria de Características Locais (LFE): Um ramo baseado em CNN usando convoluções de profundidade (depth-wise) e Global Average Pooling (GAP) para capturar estruturas de bordas locais e sinais de degradação por canal, fornecendo um viés indutivo ao mecanismo de atenção.
• Axis-based Dynamic Sparse Attention (ADSA): Em vez de computar a atenção sobre a grade completa de $H \times W$ (complexidade quadrática), este módulo computa a atenção independentemente ao longo dos eixos de largura e altura (complexidade linear).
  • Adaptive Sparse-K Generator (ASKG): Um mecanismo dinâmico que determina o número ideal de características top-k para as quais se deve prestar atenção para cada entrada, em vez de usar um $k$ fixo. Isso filtra informações irrelevantes e reduz a redundância.
  • Dual-Gated Feed-Forward Network (DGFFN): Uma FFN refinada usando caminhos de porta dupla para modular as respostas de características e capturar informações contextuais de forma mais eficaz.
• Arquitetura: A rede utiliza operações de PixelUnshuffle e PixelShuffle em vez de operações padrão de downsampling/upsampling para preservar informações de camadas rasas e evitar perda de dados.

2. Ramo de Frequência (Processamento de Frequência - FP)

Para preservar detalhes finos e informações estruturais, um ramo de frequência paralelo processa a imagem no domínio espectral.

• Mecanismo: As imagens são convertidas para o domínio da frequência via Fast Fourier Transform (FFT). O ramo processa separadamente os componentes de amplitude (intensidade) e fase (estrutura).
• Processamento: O bloco FP utiliza convoluções para extrair características espaciais e aplica mapas de atenção de domínio de frequência (gerados via ativação sigmoid) para ponderar as características de amplitude e fase. Estas são então convertidas de volta para o domínio espacial via IFFT (Inverse FFT) e fundidas com as características do ramo espacial.

3. Fusão Adaptativa de Domínio Duplo Multiescala (MDAF)

Para integrar efetivamente as características espaciais e de frequência, o módulo MDAF é empregado.

• Processo: Ele extrai características multiescala de ambos os domínios usando núcleos de convolução de tamanhos variados (3, 5, 7).
• Fusão: Ele gera projeções de Query (Q), Key (K) e Value (V) para ambos os domínios e realiza atenção cross-domain (por exemplo, a Query do domínio espacial atendendo ao Key/Value do domínio de frequência). Isso permite que o modelo aproveite simultaneamente a informação espacial global e os detalhes de frequência locais.

Função de Perda

O objetivo de treinamento combina três funções de perda:

1. Perda de Charbonnier ($L_c$): Para estabilidade de gradiente robusta e evitar o excesso de suavização (over-smoothing).
2. Perda Perceptual ($L_p$): Baseada em características VGG19 para minimizar diferenças de características de alta dimensão.
3. Perda SSIM ($L_s$): Para maximizar a similaridade estrutural entre as imagens melhoradas e as imagens de referência (ground-truth).

Principais Contribuições

1. Arquitetura FDSA-Net: Uma rede inovadora que apresenta um Bloco de Extração de Características Globais (GFEB) com ADSA, que reduz a complexidade computacional enquanto preserva a informação espacial através de atenção baseada em eixos e esparsidade dinâmica.
2. Processamento Guiado por Frequência: O design de um bloco de Processamento de Frequência (FP) que modula os componentes de amplitude e fase, acoplado a um módulo de Fusão Adaptativa de Domínio Duplo Multiescala (MDAF) para integrar efetivamente as características cross-domain.
3. Desempenho de Estado da Arte: Experimentos extensivos demonstram que a FDSA-Net alcança resultados quantitativos e qualitativos superiores em múltiplos conjuntos de dados comparado a métodos existentes de CNN, Transformer e baseados em frequência.

Resultados Experimentais

Os autores avaliaram a FDSA-Net em conjuntos de dados pareados padrão (LOL-v1, LOL-v2-real, LOL-v2-synthetic) e conjuntos de dados do mundo real não pareados (DICM, LIME, MEF, NPE, VV).

• Desempenho Quantitativo:
  • No LOL-v1, a FDSA-N alcançou 24.41 dB PSNR e 0.868 SSIM, superando o segundo melhor método (IGDFormer) em 0.3 dB em PSNR.
  • No LOL-v2-real, alcançou 22.89 dB PSNR e 0.872 SSIM, superando o segundo colocado em 0.16 dB em PSNR e 0.013 em SSIM.
  • No LOL-v2-synthetic, a FDSA-Net alcançou 25.21 dB PSNR e 0.921 SSIM, garantindo o segundo melhor desempenho. O método de melhor desempenho, IGDFormer, alcançou 25.33 dB PSNR e 0.937 SSIM neste conjunto de dados.
  • Em conjuntos de dados não pareados, o método obteve o menor ou o segundo menor escore de NIQE em três dos cinco conjuntos de dados, com o melhor escore médio.
• Desempenho Qualitativo:
  • Comparações visuais indicam que a FDSA-Net restaura a iluminação e as cores naturais de forma mais precisa do que os concorrentes, com menos ruído, menos artefatos e melhor preservação de detalhes de borda.
  • A análise da distribuição de magnitude de frequência mostra que a saída da FDSA-Net alinha-se mais proximamente com o Ground Truth, confirmando uma reconstrução estrutural realista.
• Estudos de Ablação:
  • A remoção do ramo de frequência ou do módulo MDAF resultou em quedas significativas de desempenho, validando a necessidade da fusão de domínio duplo.
  • Substituir a ADSA pela MHSA padrão ou usar valores de $k$ fixos no mecanismo Top-k levou a menores PSNR/SSIM e aumento nos custos computacionais ou perda de informação.

Significância e Limitações

O artigo afirma que a FDSA-Net fornece uma solução de domínio duplo eficaz para a melhoria de baixa luminosidade, oferecendo insights para a construção de modelos de computação visual eficientes que equilibram contexto global e detalhe local. O trabalho é significativo por abordar o compromisso entre eficiência computacional e qualidade de melhoria em modelos baseados em Transformer.

No entanto, os autores reconhecem modestamente as limitações atuais:

• Aplicação em Tempo Real: Apesar dos ganhos de eficiência com a ADSA, o modelo ainda não atende aos requisitos estritos para aplicações de tempo real.
• Regiões de Brilho Intenso (Highlights): O modelo ocasionalmente exibe problemas de sobre-melhoria ao processar regiões de alto brilho.

Trabalhos futuros são propostos para explorar arquiteturas leves para inferência mais rápida, estratégias de aprendizagem não supervisionada para reduzir a dependência de dados pareados e extensões para melhoria de vídeo em baixa luminosidade e tarefas de detecção de objetos.