技术摘要：AdvScene

问题陈述

对抗性补丁（Adversarial patches）是附着在真实物体上的物理图案，旨在误导 AI 视觉系统。虽然现有的研究已经证明这些补丁可以在特定的、受控的场景中取得成功，但目前的评估方法无法充分衡量场景鲁棒性（scene robustness）：即一个固定的部署补丁在不断变化的真实环境（例如：变化的视角、距离和场景上下文）中的有效性。

本文指出，现有评估范式存在一个关键缺陷：

1. 图像平面变换（例如 EOT 式的扫略）将补丁视为 2D 叠加层，未能考虑到当补丁附着在 3D 表面上时会产生的物理投影效应，如倾斜角度、局部遮挡或尺度变化。
2. 真实采集基准测试提供了物理证据，但局限于固定的姿态和条件，使得密集采样理解部署风险所需的运行空间变得极其耗时且往往不安全。
3. 基于模拟器的平台虽然具有可控性，但往往缺乏与特定真实场景的关联，可能会引入无法反映实际部署现场的伪影。

因此，一个在单个“锚点视图（anchor view）”中成功的补丁可能带来的实际风险有限，而真正的威胁在于该攻击是否能在广泛发生的自然视图中保持有效。核心问题是如何测量运行包络（operational envelope）——即在特定的场景诱导观察条件下，固定部署的攻击能够成功的特定区域——而无需进行详尽的物理实验。

方法论：AdvScene 框架

作者提出了 AdvScene，这是一个通过重建真实环境并在其中评估固定对抗性补丁的场景落地框架。其核心创新在于将评估重新定义为一个运行测量问题，而非单一图像的成功率。

1. 场景重建与嵌入

AdvScene 利用 3D 高斯泼溅（3D Gaussian Splatting, 3DGS），通过多视图采集技术创建高保真、可控的真实场景数字孪生。该框架遵循一个四阶段流水线：

• 场景重建： 从真实场景的多视图图像中重建一个干净的 3DGS 场景 ($G_0$)。
• 锚点攻击实例化： 一个外部攻击流水线从选定的锚点视图生成一个固定的对抗性补丁，产生一个受攻击图像 ($I^*_a$) 和一个补丁掩码 ($M_a$)。
• 对抗性补丁-场景嵌入 (APSE)： 这是核心技术贡献。APSE 将 2D 锚点视图攻击提升到 3D 场景中，以创建一个对抗性场景 ($G_{adv}$)。它解决了“受限提升问题（constrained lifting problem）”：即如何表示一个在某一视图中定义的补丁，使其在新的视角下仍能保持忠实度、局部性和表面附着性。
• 场景级评估： 在受控的相机姿态、距离和场景上下文变化下渲染对抗性场景，以估计运行包络。

2. 对抗性补丁-场景嵌入 (APSE)

APSE 在解决跨视图歧义的同时保留了对攻击至关重要的外观。它采用了一种混合高斯表示，由以下部分组成：

• 重用高斯（Reused Gaussians, $O$）： 重用补丁区域内现有的场景高斯，以维持重建的表面几何结构。仅更新其外观参数（颜色、不透明度）。
• 生成高斯（Spawned Gaussians, $N$）： 在补丁掩码内密集生成新的高斯，以提供高频对抗模式所需的局部容量。

为了确保补丁在物理上表现正确，APSE 在四个约束条件下进行优化：

1. 锚点视图忠实度： 渲染的补丁必须与受攻击的锚点图像匹配 ($L_{patch}$)。
2. 场景保留： 补丁之外的区域必须与干净的重建保持一致 ($L_{keep}$)。
3. 辅助视图包含： 利用未受攻击的辅助视图，该方法可以抑制“泄漏”（背景中非预期的外观变化）和漂浮伪影 ($L_{aux-rgb}$, $L_{aux-alpha}$)。
4. 表面附着： 为了防止补丁发生漂浮或脱离（特别是在交通标志等薄物体上），APSE 在拟合的前景平面上初始化生成的高斯，并使用局部表面框架和法线附着损失 ($L_{normal}$) 在优化过程中约束其运动。

3. 运行包络测量

AdvScene 的输出不是单一指标，而是一个运行包络 ($E$)，定义为攻击成功（$S(\theta) = 1$）的观察条件集合 $\theta$（由相机方位、相对于物体的相对位置和内参参数化）。这使得系统性分析攻击随着场景条件变化而失效的位置及原因成为可能。

核心贡献

1. 概念转变： 本文将场景鲁棒性识别为物理对抗补丁评估中缺失的一个维度，并将问题公式化为测量重建真实场景中固定补丁的运行包络。
2. AdvScene 框架： 一个结合了真实场景重建、固定补丁嵌入和受控新视角渲染的场景落地评估系统，用于测量在现实部署变化下的攻击行为。
3. APSE 方法： 一种针对 3D 高斯泼溅的受限嵌入技术，在强制执行局部性、干净场景保留、目标表面附着和跨视图稳定性的同时，保留了对攻击至关重要的外观。
4. 实证验证：
   • 忠实度： 通过针对 7 个真实物理场景的验证，AdvScene 在攻击成功率（ASR）方面与物理采集达到了 99.30% 的一致性，显著优于图像平面变换基准（93.54%）。至关重要的是，它避免了基准方法在近距离、倾斜视角下严重高估风险的问题。
   • 规模： 在涵盖目标/非目标分类以及目标检测消失现象的 59 个 CO3D 场景（以物体为中心）和 28 个 Waymo 场景（驾驶场景）中进行了评估。
   • 发现：
     • 锚点视图的成功往往在狭窄的运行包络之外崩溃；在一个视图中成功的补丁并不保证广泛的部署鲁棒性。
     • 驾驶场景会诱发方向性和不对称性的运行包络，这是由于车辆轨迹和路边几何结构造成的。
     • 几何感知 EOT（Expectation over Transformation）是扩大运行包络的主要技术。诸如不可打印性分数（NPS）和全变分（TV）之类的正则项主要影响可打印性或平滑度，但并不能从根本上改变场景级的失效模式。
     • $\ell_2$ 正则化可以在不显著缩小运行包络的情况下约束补丁幅度，这表明视觉隐蔽性和场景级鲁棒性并不总是直接冲突。

重要性与主张

本文主张，物理补丁的风险应被理解为一个包络，而非一个点估计。通过使这一包络可测量，AdvScene 为评估物理对抗风险提供了一个更真实的依据。

作者强调，AdvScene 不是一个更强的攻击生成器，而是一个针对现有流水线生成的固定攻击的测量框架。其意义在于揭示了图像中心或基于模拟器的评估所忽略的系统性失效模式（例如：倾斜视角导致的崩溃）。这使得防御者能够理解部署补丁在何种特定运行条件下仍然构成威胁，并帮助攻击设计者了解哪些技术（特别是几何感知 EOT）真正提升了场景级鲁棒性，而哪些技术仅提升了物理合理性或锚点视图性能。

该工作范围适中，专注于静态场景中固定的、可打印的、附着于表面的 2D 补丁，明确排除了 3D 对抗物体、动态显示器或具有传感器融合功能的完整自动驾驶栈，并将这些留作未来研究。