M2Retinexformer: Multi-Modal Retinexformer for Low-Light Image Enhancement

Resumo Técnico: M2RETINEXFORMER

Declaração do Problema
O aprimoramento de imagens em baixa luminosidade é uma tarefa desafiadora devido a degradações complexas, como ruído amplificado, artefatos e distorção de cor. Embora métodos de aprendizado profundo baseados em Retinex, particularmente o Retinexformer, tenham alcançado resultados sólidos ao decompor imagens em componentes de refletância e iluminação, eles dependem exclusivamente de informações RGB de modalidade única. Essa limitação restringe a capacidade da rede de raciocinar sobre a geometria da cena e a distribuição espacial da luz, levando a dificuldades em distinguir entre regiões escuras causadas por sombras, oclusão ou distância.

Metodologia
Os autores propõem o M2Retinexformer (Retinexformer Multimodal), um framework que estende o framework de uma etapa baseado em Retinex (ORF) do Retinexformer, integrando pistas multimodais complementares. A arquitetura consiste em um Estimador de Iluminação e um Restaurador de Corrupção Multimodal, aprimorados por dois componentes principais:

1. Extrator de Modalidade: Este módulo extrai e alinha recursos auxiliares em múltiplas escalas para injetá-los no pipeline de restauração. O artigo utiliza três modalidades específicas:

   • Profundidade: Extraída usando um modelo Depth-Anything-V2 congelado para fornecer estrutura geométrica invariante à iluminação, ajudando a desambiguar regiões escuras.
   • Luminância: Recursos de luminância aumentados derivados de cálculos de luminância NTSC, enriquecidos com bordas de Sobel, contraste local e pistas de pirâmide multiescala.
   • Recursos Semânticos: Extraídos usando um backbone DINOv3 congelado para capturar representações conscientes de objetos, preservando a consistência de cor e a integridade estrutural.

2. Bloco de Atenção Cruzada Multimodal (MMCAB): Este é o módulo central de fusão. Ele opera dentro de um pipeline de refinamento progressivo (com três estágios idênticos em cascata) e emprega:

   • Atenção Cruzada: Permite que os recursos RGB consultem seletivamente informações complementares das modalidades auxiliares (Profundidade, Luminância, Semântica).
   • Autoatenção Guiada por Iluminação: Retida do Retinexformer original, onde a atenção é modulada por priors de iluminação.
   • Comutação Adaptativa: Um mecanismo aprendível que equilibra dinamicamente a saída da autoatenção e a saída da atenção cruzada multimodal com base na confiabilidade das pistas auxiliares. Isso impede que modalidades ruidosas ou redundantes degradem o ramo RGB principal.

O framework é treinado usando uma combinação de perda L1 e uma perda perceptual (baseada em VGG-19) para preservar estruturas semânticas de alto nível e texturas finas.

Principais Contribuições

• Arquitetura Inovadora: A introdução do M2Retinexformer, que estende o Retinexformer incorporando recursos de profundidade, luminância e semântica por meio de um Bloco de Atenção Cruzada Multimodal e um mecanismo de comutação adaptativa.
• Design Modular: Uma arquitetura flexível onde as modalidades aderem a uma interface unificada, permitindo a integração de priors adicionais sem modificar a rede central.
• Análise Sistemática: Estudos de ablação extensivos demonstrando os efeitos individuais e combinados de cada modalidade auxiliar no desempenho.
• Eficiência: O modelo utiliza codificadores congelados para modalidades auxiliares, resultando em 2 milhões de parâmetros treináveis (48 milhões no total), o que é significativamente mais eficiente do que abordagens multimodais anteriores como o ModalFormer (198 milhões de parâmetros).

Resultados
As avaliações foram conduzidas em sete benchmarks: LOL-v1, LOL-v2 (Real e Sintético), SID, SMID e SDSD (Interior e Exterior).

• Desempenho Quantitativo: O M2Retinexformer alcançou o melhor ou segundo melhor desempenho na maioria dos conjuntos de dados. Notavelmente, alcançou um PSNR de 24,89 no LOL-v1, 23,85 no LOL-v2 Real e 30,48 no SDSD Interior, superando o Retinexformer de base e outros métodos mais avançados.
• Desempenho Qualitativo: Comparações visuais indicam que o método proposto produz imagens bem expostas com cores naturais e ruído reduzido, suprimindo efetivamente a distorção de cor e o ruído residual observados no Retinexformer de base.
• Descobertas de Ablação: No conjunto de dados LOL-v2 Real, a adição de profundidade forneceu o ganho de desempenho mais significativo (+2,00 dB sobre a base), seguida pela luminância. O estudo observou que adicionar todas as modalidades simultaneamente nem sempre produz melhorias consistentes, destacando a importância da seleção eficaz de modalidades e o papel da comutação adaptativa.

Significado e Alegações
O artigo afirma que o M2Retinexformer demonstra a eficácia de integrar modalidades heterogêneas dentro de um framework baseado em Retinex. A principal percepção é que a profundidade fornece contexto geométrico robusto a variações de iluminação, enquanto recursos de luminância e semântica oferecem orientação consciente do conteúdo. Os autores afirmam que sua abordagem alcança melhorias gerais sobre métodos existentes, mantendo um design modular e extensível.

No entanto, o artigo reconhece modestamente uma limitação: os benefícios da fusão multimodal dependem fortemente da confiabilidade da modalidade. Em cenários onde os recursos auxiliares são instáveis (como capturas baseadas em vídeo nos conjuntos de dados SMID e SDSD com características de exposição variáveis), os ganhos de desempenho podem diminuir. O framework é apresentado como uma direção promissora para avanços futuros, oferecendo uma base para acomodar priors adicionais em tarefas de aprimoramento em baixa luminosidade.