Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification

技术摘要：基于新视角合成的语义平滑用于鲁棒的 SAR 图像分类

问题陈述
用于合成孔径雷达（SAR）自动目标识别（ATR）的深度神经网络（DNN）容易受到对抗性扰动的攻击，这在安全关键应用中构成了风险。虽然随机化平滑是一种原则性的防御方法，它通过对噪声输入的平均化预测来提升鲁棒性，但其通常依赖于各向同性的高斯噪声。这种方法无法保持 SAR 图像的语义结构，因为在 SAR 图像中，物体的外观高度依赖于获取几何参数（方位角和仰角）。因此，各向同性噪声往往生成不对应有意义物理观测的样本，使得该防御在面对利用雷达物理特性（例如散射行为）而非简单像素空间噪声的特定领域攻击时效果不佳。

方法论
作者提出了语义平滑，这是一种防御框架，用由新视角合成（NVS）模型生成的结构化、语义保持的变换，取代了各向同性噪声注入。

1. 核心概念：该方法不使用随机噪声扰动输入图像，而是利用生成模型，在随机但受控的几何变换下，合成同一物体的多个合理视角。分类器在这些合成视角上的预测结果被聚合（通过多数投票），形成鲁棒的最终预测。
2. 生成模型（GeNVS）：该框架利用一种改进的去噪扩散概率模型（DDPM），结合源自 GeNVS 的几何感知 NVS 架构。
   • 输入处理：输入 SAR 图像 $x_{adv}$（可能为对抗样本）及其原始获取参数（方位角 $\phi_{az}$，仰角 $\theta_{el}$）被编码为潜在 3D 特征体积。
   • 视角合成：模型从变换分布 $T_D$（定义为训练获取参数上的均匀分布）中采样目标视角参数（$t_i = \phi_{target, az}, \theta_{target, el}$）。
   • 渲染：光线穿过潜在体积以提取特征，这些特征通过类 NeRF 的多层感知机（MLP）进行渲染，生成特征图像。
   • 扩散生成：扩散网络以渲染后的特征图像和目标参数为条件，对高斯噪声进行去噪，从而在新视角下生成高保真 SAR 图像 $x^{NV}_i$。
3. 聚合：对于给定的输入，生成 $N$ 个新视角。每个视角通过预训练的分类器 $f_{cls}$。最终标签由 $N$ 个预测结果的多数投票决定。

主要贡献

• 语义平滑框架：提出了一种新颖的对抗防御方法，利用随机化生成变换产生多个语义保持的视角，通过聚合预测来减轻对抗性伪影。
• SAR 特定实例化：开发了针对 SAR 图像的几何条件 NVS 模型。通过以方位角和仰角参数为条件，该模型能够生成符合 SAR 成像物理约束的可控随机化雷达视角。
• 实证验证：在 MSTAR 数据集上进行了广泛实验，证明语义平滑对传统基于梯度的攻击（FGSM、PGD）以及 SAR 特定物理基础攻击（OTSA、SMGAA）均提供了显著的鲁棒性提升。

结果
在 MSTAR 数据集（10 个车辆类别共 500 张图像）上的实验，将所提出的方法与无防御基线以及标准随机化平滑（使用不同 $\sigma$ 的各向同性高斯噪声）进行了比较。

• 鲁棒性提升：语义平滑在所有攻击类型和强度下始终保持着高准确率。例如，在强 PGD 攻击（$\epsilon=0.005$）下，无防御模型的准确率降至 0%，而语义平滑（$N=10$）达到了 94.18%。
• 优于随机化平滑：语义平滑显著优于随机化平滑。虽然随机化平滑表现出性能不一致，且经常因噪声尺度 $\sigma$ 的不同而降低准确率，但语义平滑提供了稳定且高鲁棒性的表现，无需仔细调整噪声参数。
• 干净准确率提升：与许多以牺牲干净准确率为代价换取鲁棒性的防御机制不同，语义平滑通过聚合语义一致的合成视角的预测，提高了干净分类准确率（从基线的 90.00% 提升至 94.72%）。
• 效率与性能权衡：虽然由于生成步骤（$N \times (C_g + C_f)$），语义平滑相比随机化平滑（$N \times C_f$）产生了更高的计算成本，但论文认为这种权衡是有利的，因为生成的样本具有语义意义，且比各向同性噪声扰动包含更多信息。

意义与主张
论文主张，语义平滑代表了在 SAR 等结构化感知领域进行对抗防御时，对各向同性噪声的一种有前景的替代方案。通过将平滑过程从局部像素级邻域转移到合理的几何变换流形上，该方法有效地抑制了非语义的对抗性伪影，同时保留了分类所需的物体身份。作者断言，这种方法证明了利用具有语义意义的变异性而非任意噪声来实现对标准和基于物理的对抗攻击的鲁棒性具有重要价值。

未来工作
作者指出，未来的工作应研究扰动在 GeNVS 模型中的传播，评估生成器本身的鲁棒性，并考虑自适应白盒攻击，即攻击者完全了解防御机制的情况。