A Dual-Stream Network with Spatial Alignment and Swin Transformer Fusion for Visible-Infrared Object Detection

技术摘要：一种具有空间对齐与 Swin Transformer 融合的可见光-红外目标检测双流网络

问题陈述
可见光-红外目标检测利用可见光（丰富的色彩、纹理、结构）与红外（热辐射、低光照下的轮廓可见性）模态的互补特性，以提高在复杂成像条件下的鲁棒性。然而，有效的跨模态融合仍面临三大挑战：

1. 空间失配（Spatial Misalignment）： 可见光和红外图像通常由不同的传感器捕捉，存在视角、焦距、分辨率及同步误差的不同，导致两者之间是弱对齐而非严格注册。
2. 模态差异（Modality Discrepancy）： 成像机制显著不同（表面外观 vs. 热辐射），使得简单的特征相加或拼接不足以提取互补信息。
3. 信息丢失（Information Loss）： 特征提取和聚合过程中的传统卷积操作可能会导致结构和细节信息的丢失，特别是对于小目标和边界。

方法论
作者提出了一种基于 YOLO 框架（具体利用了 YOLOv8 和 YOLOv11 骨干网络）的统一双流检测网络，该网络集成了三个核心组件：

1. 基于小波的特征建模双流骨干网络：

   • 网络采用独立的支路来提取来自可见光和红外图像的多尺度特征。
   • 受 WaveMamba 的启发，在骨干网络和颈部（neck）中采用了离散小波变换（DWT）和逆离散小波变换（IDWT）作为辅助频域操作。
   • DWT 将特征图分解为低频结构子带（LL）和高频方向子带（LH, HL, HH）。这使得网络能够显式地访问不同的频率分量，从而保留在标准下采样中可能丢失的结构和细节信息。

2. 空间对齐模块 (OffsetNet)：

   • 为了解决特征级失配问题，在融合前引入了一个 OffsetNet 模块。
   • 该模块并非进行严格的图像级几何注册，而是预测面向任务的采样偏移量（sampling offsets），将可见光特征对齐到红外参考特征空间。
   • 该模块由两个分支组成：
     • 主分支： 使用受 TransNeXt 启发的门控跨模态特征加权，以自适应地强调具有信息量的响应。
     • 辅助分支： 在 3×3 邻域内计算局部相关体积（受 PWC-Net 启发），以提供显式的局部匹配线索。
   • 预测的偏移量引导双线性插值过程对可见光特征进行重采样，从而在融合前减少局部空间差异。

3. 基于 Swin Transformer 的跨模态特征融合 (SwinFusion)：

   • 在对齐之后，SwinFusion 模块通过“内-间 Swin 融合（Intra-Inter Swin Fusion）”策略进行特征融合。
   • 模态内建模（Intra-Modal Modeling）： 对齐后的可见光和红外特征首先由独立的 Swin 单元处理，以建模模态特定的上下文信息。
   • 模态间融合（Inter-Modal Fusion）： 增强后的特征随后进行双向交叉注意力计算。在此阶段，查询（queries）源自正在更新的模态，而键（keys）和值（values）则来自互补模态。
   • 这种设计避免了直接混合未对齐的特征，并通过结构化交互实现对互补信息的有效利用。

主要贡献
本文概述了三个主要贡献：

1. 统一的双模态框架： 一种将特征级空间对齐与跨模态特征融合集成到双流架构中的检测网络，通过在多个尺度上执行“先对齐后融合”，以减少特征不一致性。
2. OffsetNet： 一种空间对齐模块，通过预测面向任务的采样偏移量将可见光特征对齐到红外参考空间，缓解了特征级失配问题，且无需严格的物理注册。
3. SwinFusion： 一种利用“内-间 Swin 融合”策略进行跨模态特征融合的模块，首先建模模态内上下文，然后进行模态间融合，从而增强双模态特征的判别能力。

实验结果
该方法在四个公开的可见光-红外数据集上进行了评估：FLIR（自动驾驶）、LLVIP（低光照行人检测）、VEDAI（航空车辆检测）以及 DroneVehicle（无人机载车辆检测）。

• 性能表现： 所提方法在所有数据集上均一致优于或匹配了最先进的基准模型（包括 CFT、ICAFusion、WaveMamba 和 CMAF）。
  • 在 FLIR 上，实现了 80.9% 的 mAP50 和 42.8% 的 mAP。
  • 在 LLVIP 上，实现了 97.5% 的 mAP50 和 66.1% 的 mAP。
  • 在 VEDAI 上，该方法取得了对比方法中最高的 mAP50（78.2%），尽管其整体 mAP（49.8%）略低于 WaveMamba（51.3%），这表明在严格定位（高 IoU）方面仍有提升空间。
  • 在 DroneVehicle 上，实现了 83.4% 的 mAP50 和 64.0% 的 mAP。
• 消融实验：
  • 添加小波操作相比基准模型使 mAP50 提升了 2.4%。
  • 添加 OffsetNet 进一步提升了性能，证明了特征级对齐的价值。
  • 添加 SwinFusion（特别是其“内-间”策略）取得了最佳结果，优于仅使用“内”或仅使用“间”融合的变体。
  • 可视化证实了 OffsetNet 成功学习到了面向任务的采样偏移量，特别是在存在水平失配的区域。

意义与局限性
作者声称所提出的框架展示了一种有效的“先对齐后融合”范式，成功解决了可见光-红外检测中的空间失配和模态差异挑战。将基于小波的频率建模与基于 Transformer 的交互相结合，为保留细节和利用互补信息提供了一种鲁棒的机制。

然而，论文也承认了以下局限性：

• 对齐范围： OffsetNet 侧重于面向任务的特征级对齐，而非显式的全局几何注册，其在严重跨模态位移下的鲁棒性仍需进一步提高。
• 计算成本： 双流骨干网络结合 Swin Transformer 融合结构导致参数量较高（约 119M）且推理时间较长（158.3 ms），这可能会限制其在资源受限的实时场景中的部署。
• 验证范围： 实验是在公开数据集上进行的；需要在更多样化的现实世界传感器设置下进行进一步验证。

未来的工作拟侧重于提高在严重失配情况下的对齐鲁棒性，并研究轻量化融合设计与模型压缩策略。