技术摘要：CMS2-Fusion

1. 问题陈述

红外与可见光图像融合旨在将红外传感器获取的热辐射信息与可见光相机丰富的纹理和空间细节整合到单一的综合表示中。尽管深度学习方法已推动了该领域的发展，但现有方法通常遵循“先编码后融合”的范式。在这些方法中，红外和可见光模态通过独立的网络分支（使用 CNN、Transformer 或基于 Mamba 的编码器）进行处理，在编码阶段不存在信息交换。跨模态交互被推迟到了最后的融合阶段，通常仅通过简单的拼接或平均来实现。

作者认为，这种分离未能充分挖掘状态空间模型（SSM），特别是 Mamba 的潜力。在 Mamba 中，隐藏状态通过状态转移自然地捕捉空间上下文。通过在编码期间保持模态隔离，现有方法错失了在状态转移层面学习语义耦合表示的机会，这可能会限制模型解决模态间固有差异（例如，红外图像的低分辨率与可见光在弱光环境下的低可见度）的能力。

2. 方法论：CMS2-Fusion

本文提出了 CMS2-Fusion（跨模态状态空间耦合），该框架将范式从“先编码后融合”转变为**“编码即耦合”**。其核心创新是一种允许两种模态的隐藏状态在 Mamba 模块内的编码过程中进行动态交互的机制。

关键组件：

• CoupledVisionMambaBlock（耦合视觉 Mamba 模块）：

  • 不同于独立的流水线，红外（$I_{IR}$）和可见光（$I_{VIS}$）特征图被投影到一个共享的状态空间中。
  • 每个模态的状态更新被修改，以包含来自另一模态的项，并由一个可学习的耦合系数 ($\lambda$) 进行缩放。
  • 更新方程为：
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • 这里，$\lambda$ 初始化为 0.3，并在训练过程中进行学习，以自适应控制交互强度。$P$ 代表可学习的投影矩阵。
  • 该设计相比标准 Mamba 仅增加了很小的常数开销，保持了线性复杂度 $O(L)$。

• 参数共享：

  • 在每个模块内，两种模态共享核心的 Mamba SSM 参数（状态转移矩阵 $A$ 和选择性投影参数）。
  • 输入投影（$P_{IR}, P_{VIS}$）和跨模态投影（$P_{VIS \to IR}, P_{IR \to VIS}$）保持模态特异性。
  • 与解耦基准模型相比，该策略减少了 13% 的总参数量。

• 架构：

  • 编码器： 一个三阶段金字塔结构，每个阶段由耦合的 Mamba 模块组成。通过 Patch 合并（Patch merging）降低空间分辨率的同时增加通道深度。
  • 融合模块： 位于最深层特征级（16x16 分辨率），它使用空间注意力机制根据局部“活跃度”（特征向量的 L2 范数）对特征进行加权，自动为红外的热显著区域和可见光的丰富纹理区域分配更高的权重。
  • 解码器： 通过带有跳跃连接（skip-connected）的解码器将图像重建至原始分辨率。由于语义对齐已在编码阶段完成，跳跃连接采用简单的平均操作。

• 损失函数：

  • 模型使用复合损失进行训练：$\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$。
  • $\mathcal{L}_{L1}$ 保持亮度/对比度。
  • $\mathcal{L}_{edge}$ 确保梯度幅值的保持。
  • $\mathcal{L}_{SSIM}$ 强化结构相似性。

3. 核心贡献

1. 跨模态状态空间耦合： 本文在 Mamba 编码模块中引入了跨模态耦合机制，实现了在编码阶段的隐藏状态层面进行交互，而非将其推迟到融合阶段。虽然此前已存在基于 Mamba 的融合方法（如 CrossMamba），但本研究专门针对编码阶段内的状态空间级耦合。
2. 参数高效设计： 通过在模态间共享 SSM 参数，该模型比解耦的 Mamba 基准模型减少了 13% 的参数（8.4M 对比 9.6M），同时降低了过拟合风险。
3. 范式转变： 本研究提出了从独立编码向耦合编码的转变，证明了状态转移可以直接用于建模热辐射与纹理之间的依赖关系。

4. 实验结果

实验在 MSRS 数据集（1,083 个训练对，361 个测试对）上进行。

• 定量性能：

  • $Q_{abf}$（融合质量）： CMS2-Fusion 达到了 0.7704，分别超过了经典 CNN 方法 DenseFuse（0.4525）70.3% 以及解耦 Mamba 基准（0.7589）1.51%。
  • 信息指标： 与 DenseFuse 相比，互信息（MI）增加了 9.2% (3.0548)，熵（EN）增加了 11.2% (6.6281)。
  • 细节保持： 相比 DenseFuse，空间频率（SF）提升了 87.7%，平均梯度（AG）提升了 85.2%，表明其具有更优越的边缘和纹理保持能力。
  • SSIM： 该指标从 0.6693 (DenseFuse) 略微下降至 0.6562。作者将其归因于在保持热显著性与可见光结构保真度之间的内在权衡，并指出该值仍处于较高水平。与解耦基准相比，SSIM 提升了 0.94%（从 0.6501 升至 0.6562）。

• 消融实验：

  • 参数共享： 从不含交互的解耦基准模型转向耦合模型，使 $Q_{abf}$ 提升了 0.0085，并减少了 13% 的参数。
  • 交互作用： 启用可学习耦合系数 ($\lambda$) 带来了额外的 0.0030 $Q_{abf}$ 增益。
  • 系数收敛： 可学习的 $\lambda$ 收敛于约 0.3646，表明在模态特异性保留与跨模态交互之间达到了最佳平衡。

• 效率：

  • 推理时间：在 NVIDIA RTX 4090 上每张图像 41.3 ms（与 42.7 ms 的基准相当）。
  • FLOPs：46.1G，低于基准模型 (48.3G)。

5. 重要性与主张

论文声称 CMS2-Fusion 代表了多模态融合领域的范式转变。通过在状态转移层面引入跨模态耦合，该方法超越了“先编码后融合”架构的局限性。作者断言，这种方法允许网络在流水线的更早阶段学习到更具语义耦合性的表示，从而生成能更好地兼顾热显著性和纹理保真度的融合图像。

该工作通过成为第一个在编码阶段应用特定状态空间跨模态交互的方法，将其与现有的基于 Mamba 的融合方法（如 CrossMamba、FusionMamba 等）区分开来。虽然之前的研究利用 Mamba 进行特征提取，但它们在融合阶段之前都保持着独立的支路；而 CMS2-Fusion 则直接在编码器的状态转移中集成了模态。作者证明，共享 SSM 参数并实现动态状态交互可以在减少参数量的同时获得更优的性能，使其成为边缘部署的有力候选方案。

作者建议未来的工作包括层自适应和空间自适应耦合，以及将该框架扩展到其他多模态任务（如医学图像融合）。