Resumo Técnico: Melhoria de Imagem em Baixa Luminosidade via Atenção Multiescala combinada com Transformada de Fourier (MSFT)

1. Definição do Problema

A melhoria de imagem em baixa luminosidade (LLIE - Low-light Image Enhancement) visa recuperar imagens de alta qualidade e iluminação normal a partir de entradas capturadas em ambientes desafiadores, caracterizados por iluminação insuficiente, como ambientes internos escuros ou cenas externas com variações dramáticas de brilho. Essas condições levam à degradação da luminância, desfoque substancial da imagem e ruído.

Os métodos existentes de LLIE baseados em aprendizado profundo enfrentam diversas limitações:

• Recuperação de Textura e Iluminação: Muitos têm dificuldade em capturar com precisão as distribuições de iluminação do mundo real e restaurar detalhes de textura fina simultaneamente.
• Limitações de Adaptabilidade: Os métodos convencionais frequentemente falham em ajustar a luminosidade de forma adaptativa com base na informação de textura regional, levando a problemas como superexposição ou subexposição.
• Dependência de Computação e Priores: Embora os modelos de difusão ofereçam alto realismo, eles frequentemente dependem de processos de degradação assumidos ou de priors pré-treinados pesados, limitando sua aplicabilidade em cenários do mundo real onde a degradação é ambígua. Além disso, métodos que dependem de priors semânticos costumam demandar recursos computacionais excessivos.
• Tratamento de Ruído e Fundo: Técnicas como a otimização sensível ao SNR melhoram as relações sinal-ruído, mas frequentemente falham em capturar informações de escala profunda ou em melhorar adequadamente as regiões de fundo que contêm elementos de primeiro plano aurorais.

2. Metodologia

Os autores propõem o MSFT (Multi-scale Attention combined with the Fourier Transform), uma rede de aprendizado profundo supervisionada no domínio da frequência. A arquitetura é um framework em forma de U de dois estágios, que integra Redes Neurais Convolucionais (CNNs) e Transformers, guiado pelos princípios da transformada de Fourier.

Componentes Arquiteturais Principais

A. Atenção Multi-escala Guiada por Transformada de Fourier (FTG-MSA)
Este é o módulo central de recuperação incorporado nas escalas da rede. Ele aproveita a observação de que a amplitude no domínio da frequência codifica informações de brilho, enquanto a fase relaciona-se com detalhes estruturais.

• Construção de Guia: A rede cria um mapa de brilidade de quatro canais concatenando a imagem de baixa luminosidade com um mapa de prior de valor cinza máximo (derivado da camada de iluminação via teoria de Retinex).
• Fusão de Frequência: O módulo realiza a Transformada Rápida de Fourier (FFT) tanto nas características da imagem de baixa luminosidade quanto no mapa de guia de quatro canais. Ele adiciona o espectro de amplitude do mapa de guia ao espectro de amplitude da imagem de baixa luminosidade, preservando a fase da imagem de baixa luminosidade.
• Transformação Inversa: Uma IFFT (Transformada Inversa de Fourier) reconstrói o mapa de características guiado, que serve como um prior de brilho para evitar superexposição ou subexposição.
• Mecanismo de Atenção: Esta informação de amplitude fundida guia um mecanismo de autoatenção de múltiplas cabeças (multi-head self-attention). Os pesos de atenção são calculados dinamicamente para selecionar características relevantes, enriquecendo o conteúdo da imagem enquanto preserva a textura.

B. Atenção Sinérgica de Múltiplas Formas (MSSA)
Projetado para extrair informações de textura de escala profunda e integrar características esparsas de alta dimensão, o módulo MSSA é inserido na escala de maior canal. Ele compreende três componentes conectados em série:

1. Atenção Sinérgica Espacial e de Canal (SCSA): Pesa adaptativamente a importância dos canais e aumenta a informação espacial crítica.
2. Atenção de Múltiplas Formas (MSA): Consiste em Atenção Quadrada Dilatada (DSA) e Atenção Retangular Dilatada (DRA) paralelas.
   • DSA: Utiliza uma ativação tangente hiperbólica (Tanh) em vez de Softmax para evitar as limitações do filtro passa-baixas, realçando os componentes de alta frequência.
   • DRA: Agrega informações em regiões retangulares para capturar características de múltiplas formas.
3. CMUNeXt: Um módulo leve que extrai informações globais em todos os canais simultaneamente, reduzindo parâmetros e custos computacionais enquanto integra a informação espacial-canal.

C. Estrutura da Rede
O framework geral é uma arquitetura em forma de U de três escalas.

• Codificação (Encoding): As imagens de baixa luminosidade e o mapa de guia de quatro canais são processados através de camadas convolucionais e blocos FTGT (Fourier Transform-Guided Transformer) para gerar características hierárquicas.
• Decodificação (Decoding): As características de múltiplas escalas do codificador são alimentadas diretamente nos canais correspondentes do decodificador para guiar a reconstrução, eliminando a necessidade de extração adicional de características e reduzindo a redundância.
• Função de Perda (Loss Function): O modelo é treinado usando a perda de Charbonnier para minimizar o erro entre a saída melhorada e a verdade fundamental (ground truth).

3. Principais Contribuições

1. Arquitetura MSFT: A proposta de uma rede integrada de dois estágios combinando transformadas de Fourier com um framework U-net de mistura cruzada CNN-Transformer. Este design híbrido equilibra a eficiência da CNN em capturar características locais com a capacidade do Transformer de modelar o contexto global.
2. Módulo FTG-MSA: O design de um mecanismo de autoatenção que incorpora a informação de amplitude do domínio da frequência como um sinal de guia dinâmico. Isso permite que a rede ajuste adaptativamente os pesos de melhoria com base no valor cinza máximo em áreas de baixa luminosidade, evitando artefatos de exposição.
3. Módulo MSSA: A introdução de um módulo de atenção sinérgica de múltiplas formas no espaço de guia de maior dimensão. Este módulo integra efetivamente informações esparsas, homogeneiza a densidade de canais e extrai informações de textura de escala profunda usando uma combinação de SCSA, MSA (DSA/DRA) e CMUNeXt.
4. Desempenho Superior: Experimentos extensos demonstram que o MSFT supera os métodos de estado da arte (SOTA) em múltiplos conjuntos de dados (LOL, SID, SMID, SDSD) em termos de PSNR e SSIM, particularmente na preservação de detalhes de textura e restauração de iluminação sem superexposição.

4. Resultados Experimentais

Os autores avaliaram o MSFT em sete conjuntos de dados: LOL-v1, LOL-v2-real, LOL-v2-synthetic, SID, SMID, SDSD-indoor e SDSD-outdoor.

• Desempenho Quantitativo:
  • No conjunto de dados SDSD-outdoor, o MSFT alcançou um PSNR de 41,76 dB e um SSIM de 0,988. Isso representa uma melhoria de 11,92 dB sobre o Retinexformer e uma melhoria de 13,80% no SSIM.
  • Comparado ao método supervisionado SOTA Retinexformer, o MSFT alcançou ganhos significativos de PSNR em todos os benchmarks, variando de 0,11 dB a 11,92 dB.
  • Comparado ao método não supervisionado Retinexformer, as melhorias foram ainda mais pronunciadas, com ganhos de até 16,48 dB em certos conjuntos de dados.
• Eficiência:
  • O MSFT possui 1,25 milhão de parâmetros e 18,07 GFLOPs. Isso é relativamente baixo comparado a outros modelos de alto desempenho como o SNR-Net (4,01M de parâmetros, 26,35 GFLOPs) e oferece um melhor equilíbrio entre desempenho e custo computacional.
• Estudos de Ablação:
  • A remoção da orientação Retinex (entrada de quatro canais) causou uma queda significativa no desempenho (ex: ~9 dB no SDSD-outdoor), validando a importância dos priors de iluminação.
  • A remoção do módulo MSSA levou a declínios substanciais tanto em PSNR quanto em SSIM, confirmando seu papel na similaridade estrutural e restauração de textura.
  • A remoção do componente FFT dentro do FTGT resultou na degradação de desempenho mais severa, provando que a orientação no domínio da frequência é indispensável para a consistência global.
• Resultados Qualitativos: Comparações visuais mostram que o MSFT captura efetivamente as texturas de fundo e mantém a iluminação realista, enquanto outros métodos frequentemente introduzem pontos escuros, artefatos ou superexposição em regiões brilhantes.

5. Significância e Limitações

Significância:
O artigo afirma que o MSFT fornece uma solução robusta para a melhoria de baixa luminosidade ao fundir efetivamente a informação de amplitude do domínio da frequência com mecanismos de atenção de múltiplas escalas. Ele oferece uma referência para a construção de modelos que utilizam atenção guiada pelo domínio da frequência para restaurar imagens degradadas, alcançando um equilíbrio entre a recuperação precisa da iluminação e a melhoria detalhada da textura sem o pesado fardo computacional dos modelos de difusão ou as limitações das estruturas fixas de ViT.

Limitações:
Os autores reconhecem várias restrições:

• Poluição Luminosa: O método é limitado no tratamento de imagens poluídas por luz forte, pois tem dificuldade em remover o ruído de partes superexpostas.
• Processamento em Tempo Real: Não é suficientemente eficiente para o processamento em tempo real de cenários de luz natural.
• Dependência de Dados: O modelo requer uma grande quantidade de dados pareados para treinamento e não é atualmente adequado para campos de aumento não supervisionados que carecem de dados pareados.
• Sensibilidade ao Ruído: O modelo não considera imagens adquiridas em cenários com poluição severa de ruído; requer conjuntos de dados pareados relativamente limpos ou pré-limpos.

Trabalhos Futuros:
Os autores sugerem direções de pesquisa futuras, incluindo:

• Integrar verdadeiramente a transformada de Fourier na camada de atenção para realizar cálculos de atenção diretamente no domínio da frequência (usando espectros de amplitude e fase).
• Explorar a aplicação de modelos de difusão no domínio da frequência, potencialmente otimizando a estrutura de difusão para reduzir os recursos computacionais enquanto se aproveita suas capacidades generativas para melhoria não supervisionada.