💻 computer science

Adversarially Guided Diffusion for LiDAR Range Image Synthesis

本文提出了首个基于扩散模型的、针对二维激光雷达（2D LiDAR）距离图像分割的无限制对抗攻击，该方法利用采样过程中的对抗引导来生成逼真的、保持流形特征的样本，从而诱发可控且具有迁移性的分割错误。

原作者： Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在驾驶一辆自动驾驶汽车。它的眼睛是 LiDAR（激光雷达）传感器，通过发射激光束将世界转化为由数百万个微小点组成的巨大 3D 地图。为了理解什么是汽车、行人或道路，计算机将这个 3D 地图压缩成一个扁平的 2D“距离图像”（range image）——就像一张热力图，每个像素都告诉计算机物体距离有多远。

现在，想象有一个数字恶作剧者想要戏弄这辆车。他们不想仅仅通过添加一些微小的、肉眼几乎看不见的噪声点来干扰（这是大多数黑客尝试的方法），而是想从头开始重新构想整个场景，创造出一个虽然虚假但完美真实的虚拟世界，看起来和真实街道一模一样，却能让汽车的大脑陷入混乱。

这正是这篇论文所介绍的内容：一种利用**扩散模型（Diffusion Model）**来创建这些“不受限制”的虚假世界的新方法。你可以把扩散模型想象成一位大师级的艺术家，他从一张充满静态噪声（就像电视雪花）的画布开始，通过一步步地清理，最终呈现出一幅美丽的画作。通常情况下，这位艺术家会遵循一套严格的配方来绘制一条真实的街道。

核心理念：用一个“诡计”指南针引导艺术家
作者们发现了一种方法，可以在艺术家的手中偷偷塞进一个秘密的指南针。当艺术家在绘画时，这个指南针（被称为“对抗性引导”，adversarial guidance）会在耳边低语：“嘿，把那条路看起来像人行道，”或者“把那辆车看起来像一丛灌木。”

但神奇之处在于：这个指南针并不只是胡乱涂鸦。它引导艺术家去描绘出一个依然极其逼真的场景。这个虚假的街道看起来就像真实的街道一样，拥有平滑的曲线和正确的几何结构，但自动驾驶汽车看到的却是完全不同的东西。

他们的发现（对黑客是好消息，对安全性是坏消息）
研究人员在著名的 SemanticKITTI 数据集上进行了测试。他们发现，通过调高这个秘密指南针的“强度”（他们称之为引导尺度，guidance scale），可以控制汽车识别准确率下降的程度。

通过轻微的推动（引导尺度为 3），汽车的准确率下降了约 25.7%（相对于干净的基准线）。
通过更强的推力（尺度为 6），准确率下降了 46.8%。
通过极强的推力（尺度为 10），准确率下降了 64.2%。

更棒的是，这种技巧对不同类型的“汽车大脑”都有效，不仅仅是他们用来训练指南针的那个模型。当他们尝试在另一个汽车模型（RangeNet++）上进行测试时，即便使用同样的强力推力，准确率仍然下降了 40.1%。这表明该技巧非常擅长欺骗不同的系统，而不仅仅是它原本设计的对象。

他们的反对观点（“旧方法”很凌乱）
该论文明确反对传统的攻击方式，即通过对真实照片添加微小的、不可见的噪声点（使用 FGSM 或 SegPGD 等方法）。

作者指出，这些旧方法就像是通过添加细小的、高频的静态噪声来试图创作杰作。在人类眼中，这些图像看起来颗粒感很重且不自然。
在测试中，旧方法产生的“弗雷歇距离图像距离”（FRID）得分（衡量图像看起来有多假的一个指标）为 207.5，而他们的新方法将这一得分控制在 136.1，非常接近真实生活。
论文指出，这种新方法提供了一种独特的有效性与真实性的权衡。不同于受限于微小扰动的旧方法，这种方法生成的样本既高度逼真，又能引起显著的性能下降，使其成为测试系统鲁棒性的一个强大且独特的替代方案。

他们有多确定？
作者对他们的测量结果非常有信心。他们并非凭空猜测，而是为每个测试运行了 1,024 次模拟。他们测量了“倒角距离”（Chamfer Distance，一种检查 3D 形状是否扭曲的方法），并发现相比于几乎几乎没有改变几何结构的旧方法，他们的方法创造了更大、更具结构的改变（从 0.52 变为 1.38）。

他们还测试了一个“定向”版本，即专门尝试将道路变成人行道。在一个例子中，他们成功地将 35.8% 的道路像素重新分类为人行道，同时保持了其余场景看起来正常。

底线
这篇论文表明，我们现在可以生成如此逼真的虚假 LiDAR 场景，以至于它们能在让自动驾驶汽车产生重大错误的同时，在人类观察者看来依然显得非常自然。这目前还不是一个已解决的安全问题，但它证明了这种“不受限制”的攻击方式——即重写整个场景而非仅仅是微调——是一个强大的新工具，研究人员必须对其进行深入理解。

技术摘要：用于 LiDAR 距离图像合成的对抗性引导扩散技术

问题陈述
LiDAR 语义分割是自动驾驶中的一项关键感知任务，其中模型处理 3D 点云（通常投影为 2D 距离图像）以为场景元素分配语义标签。这些模型极易受到对抗样本的影响——即旨在误导模型但在视觉上保持不可察觉或结构上不显眼的精心设计的输入。虽然对抗攻击在图像分类和 3D 点云分割领域已得到广泛研究，但 不受限对抗样本 (Unrestricted Adversarial Examples, UAEs) 在 2D LiDAR 距离图像领域的应用仍很大程度上处于空白。现有的有界范数攻击（如 FGSM、PGD）通过对固定输入施加微小扰动，这会引入高频噪声，且在不同架构间的泛化能力较差。因此，需要一种能够生成符合流形一致性的现实样本的方法，这类方法能够诱导结构化的分割错误，而不依赖于固定的输入扰动。

方法论
本文提出了一种基于扩散的不受限对抗攻击，该方法通过利用源自分割损失的对抗性引导，来引导潜在扩散模型的逆向采样过程。

框架： 该方法利用了一个预训练的条件潜在扩散模型（具体为 sem2lidar），该模型是在 SemanticKITTI 数据集上训练的，能够根据密集的语义标签图生成 LiDAR 距离图像。
对抗性引导： 该攻击并非通过扰动现有图像，而是修改逆向扩散轨迹。它采用了无需训练的引导 (Training-Free Guidance, TFG)，其中一个外部的可微分代理分割网络 ( $g_\psi$ ) 提供引导信号。
损失函数： 引导由密集逐像素交叉熵损失 ( $L_{adv}$ $L_{a d v}$ ) 驱动，该损失是在代理网络对生成的潜在表示进行预测后，与条件标签（针对无目标攻击）或目标标签图（针对有目标攻击）之间计算得出的。
- 无目标攻击： 最大化相对于真实标签的损失，以降低整体性能。
- 有目标攻击： 最小化损失，以迫使特定区域（源类别）转变为目标类别。
采样过程： 攻击使用确定性的 DDIM 采样器。为了确保生成的样本在引入对抗噪声之前保留全局场景结构，引导仅在预定义的反向轨迹比例 ( $\tau^\star$ ) 之后才被应用。引导步骤将潜在表示向损失梯度的方向推动：
$z_{t-1} = z^{ddim}_{t-1} + s \cdot \frac{g_t}{\|g_t\|_2}$
其中 $s$ 是引导尺度， $g_t$ 是归一化后的损失梯度。
可微性： 由于扩散解码器包含一个不可微的量化步骤，该方法采用了一条可微的解码路径，从而将来自分割网络的梯度传播回潜在空间，而无需重新训练扩散模型。

核心贡献

首个基于扩散的 2D LiDAR UAE： 作者提出了首个针对 2D LiDAR 距离图像语义分割的基于扩散模型的不受限对抗攻击。
可控的退化： 该方法证明了可以通过调节引导尺度 ( $s$ ) 和起始比例 ( $\tau^\star$ ) 来精确控制攻击强度，从而在攻击有效性和真实性之间提供权衡。
强大的迁移性： 生成的对抗样本在黑盒架构（例如，利用 CENet 的梯度攻击 RangeNet++，反之亦然）中表现出显著的迁移性，在迁移场景下的表现优于有界范数基准方法。
真实性保持： 与引入高频噪声的有界范数攻击不同，所提方法生成的样本在统计上仍与真实的 LiDAR 数据流形保持接近，从而保留了几何结构和视觉平滑度。

实验结果
实验在 SemanticKITTI 数据集上使用 RangeNet++ 和 CENet 作为目标网络进行。

有效性： 在白盒设置下，攻击实现了高达 64.2% 的相对平均交并比 (mIoU) 下降；在迁移设置下，下降幅度达 58.4%（当 $s=10$ 时）。
与基准方法的比较：
- 与 FGSM (快速梯度符号法) 和 SegPGD 相比，所提方法在实现相当或更优的白盒退化性能的同时，保持了显著更好的分布真实性（通过 Fréchet 距离图像距离，FRID 衡量）。
- 例如，在 $s=10$ 时，该攻击实现了 64.2% 的下降，其 FRID 为 136.1；而 $\epsilon=0.120$ 时的 FGSM 虽然实现了 63.2% 的下降，但其 FRID 高达 207.5，表明存在更大的分布偏移。
- 至关重要的是，所提方法展现出了优于 SegPGD 的迁移性。在具有相当水平的白盒强度时，基于扩散的攻击实现了 40.1% 的迁移下降，而 SegPGD 仅为 21.7%。
视觉质量： 视觉对比（图 2）显示，有界范数基准方法表现出高频噪声，而受引导的扩散攻击则产生了平滑且符合场景逻辑的图像。
有目标攻击： 该方法成功展示了有目标攻击的能力，例如将“道路”像素重新分类为“人行道”，并能对重分类率进行特定控制。

意义与主张
本文声称填补了文献中的一个关键空白，即解决了 2D LiDAR 距离图像领域中不受限对抗攻击的问题，而此前该领域尚未有基于扩散的方法进行研究。作者认为，其方法提供了一种独特的有效性–真实性权衡。通过在生成范式而非扰动范式下进行操作，该方法避免了有界范数攻击中常见的高频伪影，并生成了更难通过净化技术（此类技术通常依赖于较小的扰动预算）进行防御的对抗样本。这项工作表明，操纵逆向扩散轨迹可以创建在不同分割架构间具有更好泛化能力的对抗样本，从而为自动驾驶系统的模型安全性提供更稳健的评估。

技术摘要：用于 LiDAR 距离图像合成的对抗性引导扩散技术

类似论文