Resumo Técnico: CMS2-Fusion

1. Declaração do Problema

A fusão de imagens infravermelhas e visíveis visa integrar a informação de radiação térmica dos sensores infravermelhos com a rica textura e detalhes espaciais das câmeras visíveis em uma única representação abrangente. Embora os métodos de aprendizado profundo tenham avançado neste campo, as abordagens existentes geralmente seguem um paradigma de "codificar-então-fundir" (encode-then-fuse). Nestes métodos, as modalidades infravermelha e visível são processadas através de ramos de rede separados (usando CNNs, Transformers ou encoders baseados em Mamba) sem troca de informações durante a fase de codificação. A interação cross-modal é adiada até o estágio final de fusão, geralmente via concatenação simples ou média.

Os autores argumentam que essa separação falha em explorar todo o potencial dos Modelos de Espaço de Estados (SSMs), especificamente o Mamba. No Mamba, os estados ocultos capturam naturalmente o contexto espacial através de transições de estado. Ao manter as modalidades isoladas durante a codificação, os métodos existentes perdem a oportunidade de aprender representações semanticamente acopladas ao nível da transição de estado, o que pode limitar a capacidade do modelo de resolver diferenças inerentes entre as modalidades (por exemplo, baixa resolução no infravermelho vs. baixa visibilidade na luz visível sob iluminação precária).

2. Metodologia: CMS2-Fusion

O artigo propõe o CMS2-Fusion (Cross-Modal State Space Coupling), um framework que altera o paradigma de "codificar-então-fundir" para "codificação-como-acoplamento" (encoding-as-coupling). A inovação central é um mecanismo que permite que os estados ocultos de ambas as modalidades interajam dinamicamente durante o processo de codificação dentro dos blocos Mamba.

Componentes Principais:

• CoupledVisionMambaBlock:

  • Em vez de pipelines independentes, os mapas de características infravermelho ($I_{IR}$) e visível ($I_{VIS}$) são projetados em um espaço de estado compartilhado.
  • As atualizações de estado para cada modalidade são modificadas para incluir um termo da outra modalidade, escalonado por um coeficiente de acoplamento aprendível ($\lambda$).
  • As equações de atualização são:
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • Aqui, $\lambda$ é inicializado em 0,3 e aprendido durante o treinamento para controlar adaptativamente a força da interação. $P$ representa matrizes de projeção aprendíveis.
  • Este design adiciona apenas um pequeno overhead constante em comparação ao Mamba padrão, mantendo a complexidade linear $O(L)$.

• Compartilhamento de Parâmetros:

  • Dentro de cada bloco, as duas modalidades compartilham os parâmetros centrais do Mamba (matriz de transição de estado $A$ e parâmetros de projeção seletiva).
  • As projeções de entrada ($P_{IR}, P_{VIS}$) e as projeções cross-modais ($P_{VIS \to IR}, P_{IR \to VIS}$) permanecem específicas de cada modalidade.
  • Esta estratégia reduz o total de parâmetros em 13% em comparação com um baseline desacoplado.

• Arquitetura:

  • Encoder: Uma estrutura piramidal de três estágios onde cada estágio consiste em blocos Mamba acoplados. O patch merging reduz a resolução espacial enquanto aumenta a profundidade dos canais.
  • Módulo de Fusão: Localizado no nível de característica mais profundo (resolução 16x16), utiliza um mecanismo de atenção espacial para ponderar características com base na "atividade" local (norma L2 dos vetores de características), atribuindo automaticamente pesos maiores para regiões térmicas salientes para o infravermelho e regiões ricas em textura para o visível.
  • Decoder: Um decoder com conexões de salto (skip-connected) reconstrói a imagem para a resolução original. As conexões de salto utilizam a média simples das características acopladas, uma vez que o alinhamento semântico já ocorreu durante a codificação.

• Função de Perda:

  • O modelo é treinado com uma perda composta: $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$.
  • $\mathcal{L}_{L1}$ preserva o brilho/contraste.
  • $\mathcal{L}_{edge}$ garante a preservação da magnitude do gradiente.
  • $\mathcal{L}_{SSIM}$ impõe a similaridade estrutural.

3. Principais Contribuições

1. Acoplamento de Espaço de Estado Cross-Modal: O artigo introduz um mecanismo de acoplamento cross-modal dentro dos blocos de codificação Mamba, permitindo a interação ao nível do estado oculto durante a codificação, em vez de adiá-la para o estágio de fusão. Embora existam métodos de fusão baseados em Mamba anteriores (ex: CrossMamba), este trabalho foca especificamente no acoplamento ao nível do espaço de estado durante a fase de codificação.
2. Design Eficiente de Parâmetros: Ao compartilhar parâmetros de SSM entre as modalidades, o modelo alcança uma redução de 13% nos parâmetros (8,4M vs. 9,6M) em comparação com um baseline Mamba desacoplado, reduzindo também o risco de overfitting.
3. Mudança de Paradigma: O trabalho propõe uma mudança da codificação independente para a codificação acoplada, demonstrando que transições de estado podem ser usadas para modelar dependências térmico-texturais diretamente.

4. Resultados Experimentais

Experimentos foram conduzidos no dataset MSRS (1.083 pares de treinamento, 361 pares de teste).

• Desempenho Quantitativo:

  • $Q_{abf}$ (Qualidade da fusão): O CMS2-Fusion alcançou 0,7704, superando o método clássico de CNN DenseFuse (0,4525) em 70,3% e o baseline Mamba desacoplado (0,7589) em 1,51%.
  • Métricas de Informação: A Informação Mútua (MI) aumentou 9,2% (3,0548) e a Entropia (EN) em 11,2% (6,6281) em relação ao DenseFuse.
  • Preservação de Detalhes: A Frequência Espacial (SF) melhorou 87,7% e o Gradiente Médio (AG) em 8 de 85,2% sobre o DenseFuse, indicando superioridade na preservação de bordas e texturas.
  • SSIM: A métrica mostrou uma pequena diminuição de 0,6693 (DenseFuse) para 0,6562. Os autores atribuem isso ao compromisso inerente entre preservar a saliência térmica e a fidelidade estrutural visível, observando que o valor permanece em um nível alto. Comparado ao baseline desacoplado, o SSIM melhorou 0,94% (de 0,6501 para 0,6562).

• Estudos de Ablação:

  • Compartilhamento de Parâmetros: Mover de um baseline desacoplado para um modelo acoplado sem interação melhorou o $Q_{abf}$ em 0,0085 e reduziu os parâmetros em 13%.
  • Interação: Habilitar o coeficiente de acoplamento aprendível ($\lambda$) proporcionou um ganho adicional de $Q_{abf}$ de 0,0030.
  • Convergência do Coeficiente: O $\lambda$ aprendível convergiu para aproximadamente 0,3646, indicando um equilíbrio ideal entre a retenção específica da modalidade e a interação cross-modal.

• Eficiência:

  • Tempo de inferência: 41,3 ms por imagem em uma NVIDIA RTX 4090 (comparável aos 42,7 ms do baseline).
  • FLOPs: 46,1G, menor que o baseline (48,3G).

5. Significância e Alegações

O artigo afirma que o CMS2-Fusion representa uma mudança de paradigma na fusão multimodal. Ao introduzir o acoplamento cross-modal ao nível da transição de estado, o método vai além das limitações das arquiteturas "codificar-então-fundir". Os autores sustentam que esta abordagem permite que a rede aprenda representações semanticamente mais acopladas mais cedo no pipeline, resultando em imagens fundidas que preservam melhor tanto a saliência térmica quanto a fidelidade de textura.

O trabalho se distingue de outros métodos baseados em Mamba (como CrossMamba, FusionMamba, etc.) por ser o primeiro a aplicar a interação cross-modal de espaço de estado especificamente durante a fase de codificação. Enquanto trabalhos anteriores utilizam o Mamba para extração de características, eles mantem ramos independentes até o estágio de fusão; o CMS2-Fusion integra as modalidades diretamente dentro das transições de estado do encoder. Os autores demonstram que compartilhar parâmetros de SSM e permitir a interação dinâmica de estado gera um desempenho superior com menos parâmetros, tornando-o um forte candidato para implantação em dispositivos de borda (edge deployment).

Trabalhos futuros sugeridos pelos autores incluem acoplamento adaptativo por camada e espacial, bem como a extensão do framework para outras tarefas multimodais, como fusão de imagens médicas.