FDCNet: Frequency-Aware and Dynamic Curve Network for Adversarially Robust Infrared and Visible Image Fusion

技术摘要：用于对抗性鲁棒红外与可见光图像融合的 FDCNet

问题陈述
红外与可见光图像融合（IVIF）通过整合互补的多模态信息来克服单一传感器的局限性，在自动驾驶、目标跟踪和显著目标检测中发挥着至关重要的作用。然而，现有的 IVIF 方法主要假设输入是无干扰的，这使得它们在面对蓄意的对抗性攻击时显得非常脆弱。经典的对抗算法（如 FGSM、PGD、C&W）可以通过注入不可察觉的扰动来导致模型推理能力的严重退化。虽然已有研究探索通过对抗训练来增强鲁棒性，但这往往会产生一种内在的权衡：旨在抑制高频对抗噪声的策略通常会导致过度保守的特征抑制，从而造成结构过度平滑、细粒度细节丢失以及动态范围收缩。这种退化从根本上限制了下游视觉任务在复杂环境下的性能稳定性。

方法论
为了解决对抗防御与特征保真度之间的矛盾，作者提出了 FDCNet（频率感知与动态曲线网络）。该框架是一个基于 U-Net 主干网络的端到端对抗训练系统，集成了三个核心组件，以协同平衡防御效能与视觉质量：

1. 时空-频率动态对抗损失 (LSFDA)：
   该损失函数在优化层面提出，通过自适应地平衡结构保真度与高频特征约束来引导鲁棒训练。它采用极大极小化（min-max）优化策略，其中内部极大化过程通过 PGD 对伪标签生成对抗性扰动，而外部极小化过程则更新网络参数。该损失由一个基础的结构空间保真项和一个归一化的频率感知容差项组成。后者利用离散小波变换（DWT）将低频和高频子带解耦，对高频分量施加“软上限”约束，以防止细节丢失，同时惩罚过度的噪声。多级动态权重系统会在整个训练过程中调整结构重建与抗干扰能力之间的侧重点。

2. 频率感知防御模块 (FADM)：
   该模块嵌入在 U-Net 主干网络的多尺度跳跃连接中，作为前置抗干扰架构。它通过一系列级联的五个频率解耦注意力块 (FDAB) 来拦截跨层噪声渗透。每个 FDAB 单元执行以下操作：

   • 空间平滑与小波解耦： 使用深度可分离卷积和 DWT 将特征分离为低频（LL）和高频（LH, HL, HH）子带。
   • 仿射可逆频率生成 (AIFG)： 利用仿射耦合块（ACB）提取特征，并通过严格的数学可逆性保留高频细节，防止在前向传播过程中发生信息丢失。
   • 可逆方向双重注意力 (IDDA)： 结合了用于宏观特征平滑的 Mercer 全局注意力（MGA）分支（使用核映射以降低复杂度）和用于处理局部高频异常的局部窗口注意力（LWA）分支。
   • 残差重构： 通过像素洗牌（pixel-shuffle）和残差连接重新组装纯化后的子带，以输出鲁棒特征。

3. 极值引导动态色调曲线模块 (EDTC)：
   作为后置补偿机制，EDTC 旨在解决 LSFDA 与 FADM 之间的相互制约。受 Retinex 理论和曲线估计策略的启发，它将初步的鲁棒特征与来自多源极值分布（源图像的像素级最大包络）的空间先验相结合。该模块通过轻量化网络预测像素级的、高阶非线性映射参数，并执行迭代二次曲线重构。这一过程有效地恢复了像素分布，缓解了动态范围收缩，并在不破坏底层防御系统的前提下恢复了视觉锐度。

核心贡献

• LSFDA： 一种新型损失函数，能够动态调整结构保真度与高频约束之间的权重，减轻了传统对抗防御中常见的细节丢失问题。
• FADM： 一种前置架构，通过在跳跃连接中级联频率解耦注意力块，拦截并过滤高频对抗噪声，同时通过可逆变换保留底层空间细节。
• EDTC： 一种后置补偿机制，利用多源极值先验进行非线性像素级映射，有效解决了防御模块与保真度之间的性能权衡，并恢复了图像视觉质量。
• 统一框架： 将这些组件集成到 FDCNet 中，实现了对抗鲁棒性与特征保真度之间的协同平衡，在客观指标和下游任务稳定性方面均优于现有最先进（SOTA）的方法。

实验结果
在 M³FD 和 MFNet 数据集上进行了广泛实验，将 FDCNet 与八种 SOTA 融合模型（包括 SeAFusion、TarDAL、PAIF 和 A²RNet）进行了对比。

• 融合质量： 在对抗攻击（PGD）下，FDCNet 在五个客观指标（熵 EN、标准差 SD、峰值信噪比 PSNR、相关系数 CC 和结构化跨差之和 SCD）上始终优于基准模型。定性分析表明，FDCNet 保留了红外热辐射显著性和可见光纹理细节，且在干净状态与受攻击状态之间的信号波形偏差极小，而其他方法则表现出严重的噪声、失真或结构崩溃。
• 下游任务稳定性： 当融合图像输入预训练的目标检测和语义分割网络时，FDCNet 展示了卓越的鲁棒性。在 M³FD 和 MFNet 数据集上，FDCNet 在攻击条件下实现了最高的平均精度均值（mAP）和平均交并比（mIoU），其性能下降幅度最小（例如，在 M³FD 上 mAP 仅下降 0.012）。视觉检测结果证实，FDCNet 能以高置信度成功检测所有目标（行人与车辆），而其他模型则会出现漏检或分割破碎的情况。
• 消融实验： 实验验证了虽然单个模块（LSFDA、FADM、EDTC）都能提升性能，但若没有 EDTC，由于优化目标的冲突，它们的联合运行会受到性能限制。包含所有三个组件的完整模型（M6）达到了最优结果，证实了 EDTC 在协调防御与保真度方面的必要性。

意义
本文声称 FDCNet 有效缓解了对抗性扰动对 IVIF 任务的负面影响，而该领域此前一直极易受到此类攻击。通过引入频率感知防御策略及动态色调曲线补偿机制，该方法成功克服了抗干扰免疫力与图像保真度之间的传统权衡。结果表明，FDCNet 不仅能保持高保真度的融合结果，还能显著稳定关键下游视觉任务（目标检测与语义分割）在对抗环境下的表现。作者承认，多尺度频率解耦和非线性迭代增加了计算复杂度，并表示未来的工作将侧重于轻量化设计和推理效率优化，以实现实际工程部署。