Resumo Técnico: FMRFusion

Declaração do Problema

A fusão de imagens infravermelhas e visíveis (IVIF) visa gerar uma imagem composta que retenha informações significativas de alvos provenientes da radiação térmica, enquanto preserva texturas detalhadas da luz refletida. Apesar dos avanços recentes, os métodos existentes enfrentam três limitações primárias:

1. Desacoplamento de Características Incompleto: Métodos tradicionais baseados em CNN e Transformada Multi-Escala (MST) frequentemente aplicam operadores idênticos para ambas as modalidades, causando a perda de características específicas da modalidade através de pipelines de codificação compartilhados.
2. Compromisso entre Local-Global: As CNNs são excelentes no contexto local, mas têm dificuldade com dependências de longo alcance, enquanto os Vision Transformers oferecem modelagem global a custos computacionais proibitivos.
3. Mecanismos de Fusão Subotimizados: Muitas abordagens de aprendizado profundo concatenam imagens de origem prematuramente em uma rede de caminho único, levando à interferência de informações em vez de uma interação estruturada de características.

Além disso, os métodos atuais frequentemente lutam para modelar conjuntamente a informação contextual global e preservar detalhes finos, particularmente ao desacoplar representações complementares através de modalidades heterogêneas em cenários de imagem de baixa qualidade.

Metodologia

Os autores propõem o FMRFusion, uma rede de aprendizado de representação multi-visão consciente de frequência projetada para abordar esses desafios. A arquitetura integra Redes Neurais Convolucionais (CNNs) e Transformers dentro de um framework híbrido de dois ramos.

1. Arquitetura Híbrida de Dois Ramos

A rede emprega ramos independentes para entradas infravermelhas e visíveis para evitar a interferência de características durante a codificação:

• Extração de Características Rasas: Um Codificador Shallow DRSformer (SDE) extrai características iniciais. O bloco DRSformer utiliza um parâmetro aprendível $K$ para controlar dinamicamente a esparsidade, filtrando informações irrelevantes durante a interação de características.
• Decomposição de Características: As características extraídas são decompostas em componentes de Baixa Frequência (Base) e Alta Frequência (Detalhe):
  • Blocos de Transformer (TRB): Utilizam autoatenção espacial (especificamente o bloco LT) para extrair informações de baixa frequência e modelar dependências de longo alcance.
  • Módulo de Percepção Estrutural Multi-Escala (MS-SPM): Projetado para capturar estruturas locais de grão fino. Ele compreende dois submódulos:
    • Bloco Sensível ao Gradiente (GAB): Uma variante de ResBlock que calcula magnitudes de gradiente usando operadores Sobel para preservar bordas estruturais.
    • Bloco de Atenção Aprimorada (EAB): Decompõe núcleos convolucionais grandes (ex: $21\times21$) em núcleos depthwise menores ($5\times5$ ou $7\times7$) para capturar informações de contexto ricas de forma eficiente.

2. Interação Complementar de Visão Cruzada (CVCI)

Para modelar explicitamente a relação entre as estruturas térmicas infravermelhas e a cor/textura visível, um módulo de Atenção Cruzada Leve (LCA) é introduzido na camada de fusão:

• Bloco de Atenção Cruzada (CAB): Utiliza uma estrutura de dois ramos simétricos onde um ramo gera consultas (queries) enquanto a modalidade oposta fornece chaves (keys) e valores (values), garantindo o refinamento via informação complementar.
• Aprimoramento de Intensidade e Redução de Ruído de Cor: Baseado na teoria de Retinex, o módulo decompõe as características em componentes de iluminação e refletância para aumentar a intensidade infravermelha e suprimir o ruído cromático nas características visíveis.

3. Refinamento Baseado em Flow-Matching

Um módulo de Flow Matching guiado por semântica é empregado como uma estratégia de refinamento de pós-processamento (Estágio III):

• Mecanismo: Ele trata a imagem fundida grosseira ($F_1$) e as máscaras semânticas como um prior condicional. Uma U-Net condicional prevê um campo de velocidade para transportar um prior de ruído Gaussiano em direção à representação alvo de alta qualidade.
• Objetivo: Este processo iterativo refina progressivamente as características fundidas, aprendendo a transformação de dados grosseiros para representações de alta qualidade para aumentar a fidelidade e a qualidade perceptual sem exigir imagens fundidas de referência (auto-supervisionado).

4. Estratégia de Treinamento de Três Estágios

O modelo é treinado em três estágios distintos para otimizar diferentes aspectos do processo de fusão:

1. Estágio I (Decomposição): Otimiza a extração e decomposição de características usando perdas de reconstrução, decomposição e consistência de gradiente.
2. Estágio II (Fusão): Foca na preservação de intensidade e fusão de características.
3. Estágio III (Aprimoramento): Utiliza a perda de Flow Matching junto com restrições de consistência de intensidade, gradiente e semântica para refinar o resultado final.

Principais Contribuições

O artigo resume suas principais contribuições da seguinte forma:

• Arquitetura Híbrida de Dois Ramos: Combina a eficiência das CNNs com as capacidades de modelagem global dos Transformers em ramos independentes para evitar interferência de características.
• Mecanismo de Fusão Desacoplado por Frequência: Introduz um novo módulo que separa e aprimora explicitamente a informação estrutural compartilhada (baixa frequência) e os detalhes específicos da modalidade (alta frequência).
• Refinamento Baseado em Flow Matching: Propõe um paradigma para aprimorar iterativamente as características fundidas, mapeando dados grosseiros para representações de alta qualidade, melhorando a fidelidade e a robustez.

Resultados Experimentais

Experimentos extensivos foram conduzidos em quatro conjuntos de dados de infravermelho-visível (MSRS, TNO, Roadscene, M3FD) e validados em tarefas de fusão de imagens médicas (MRI-CT, MRI-PET, MRI-SPECT) e fusão de imagens de foco múltiplo.

• Desempenho Quantitativo: O FMRFusion alcançou desempenho superior ou de estado da arte em múltiplas métricas (Entropia, Desvio Padrão, Frequência Espacial, Fidelidade de Informação Visual, etc.) em todos os conjuntos de dados testados. Por exemplo, no conjunto de dados MSRS, alcançou as pontuações mais altas em EN (6.907), SD (48.539), SF (13.486) e AG (4.538).
• Desempenho Qualitativo: Comparações visuais demonstraram que o método integra efetivamente a radiação térmica com detalhes de textura, minimizando a perda de informação de fundo e distinguindo melhor os alvos de primeiro plano do que competidores como SwinFusion, CDDFuse e TDFusion.
• Generalização: O modelo mostrou desempenho consistente quando aplicado diretamente a tarefas de fusão de imagens médicas e de fusão de foco múltiplo sem retreinamento, validando sua generalização entre tarefas.
• Tarefa de Jusante (Downstream Task): Em experimentos de detecção de objetos usando YOLOv5 no conjunto de dados MSRS, as imagens fundidas produzidas pelo FMRFusion geraram pontuações mAP mais altas para as categorias "Pessoa" e "Carro" em comparação com entradas de modalidade única e outros métodos de fusão.

Significância e Alegações

O artigo afirma que o FMRFusion aborda desafios críticos na fusão de dados heterogêneos ao:

1. Aliviar a Perda de Informação: A decomposição de alta/baixa frequência explícita evita a perda de detalhes estruturais e de intensidade comuns em arquiteturas de ramo único.
2. Equilibrar a Modelagem Local e Global: A estratégia híbrida integra filtragem sensível ao gradiente com modelagem de dependência global, garantindo consistência estrutural robusta e aprimoramento de detalhes finos mesmo em condições de imagem degradadas.
3. Melhorar a Interação de Visão Cruzada: O Módulo de Interação Complementar de Visão Cruzada facilita explicitamente a troca de informações complementares entre a intensidade radiativa e as pistas estruturais refletidas.
4. Refinamento Progressivo: O mecanismo de Flow Matching fornece uma transformação contínata para refinar os resultados da fusão, melhorando a saliência e o contraste.

Os autores concluem que o método demonstra forte desempenho em benchmarks padrão e consistência de generalização entre tarefas, validando sua eficidade para a fusão de imagens multi-visão em cenários complexos, particularmente ambientes noturnos.