🤖 AI

ARB4WM: An Adversarial Robustness Benchmark for World Models in Continuous Control

本文介绍了 ARB4WM，这是一个统一的基准框架，通过在各种扰动策略和时间攻击模式下，系统地测试针对策略、价值和潜变量动力学层级的五种白盒损失目标，来评估世界模型智能体在连续控制中的对抗鲁棒性。

原作者： Junjian Zhang, Hao Tan, Ruonan Li, Dong Zhu, Aiping Li, Zhaoquan Gu

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Junjian Zhang, Hao Tan, Ruonan Li, Dong Zhu, Aiping Li, Zhaoquan Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个工厂里高科技的机械臂。它不仅仅是根据当前看到的画面做出反应，它的脑子里还有一个“做梦”的大脑。它不只是看一张图片，而是构建了一部关于世界运作方式的心智电影。它会想象：“如果我这样移动手臂，杯子就会滑到那里。”它利用这些想象出的电影来规划自己的动作。这被称为世界模型（World Model）。

这篇论文介绍了一种新的测试工具，叫做 ARB4WM。把 ARB4WM 想象成这些“做梦型”机器人的“压力测试”或“反派模拟器”。它的任务是测试这些机器人的“梦境”有多容易被视频摄像头信号中微小到几乎不可见的改变所欺骗。

以下是该论文通过简单的类比进行的拆解：

1. 问题所在：破坏机器人的“耳语”

在过去，研究人员主要测试的是能否诱导机器人立即做出错误的动作。但这些“做梦型”机器人不同。如果你稍微欺骗一下摄像头，它不仅会搞乱当前的动作，还会腐蚀机器人的记忆和想象力。

类比： 想象你在驾驶一辆使用 GPS 来预测前方道路的汽车。如果有人在 GPS 屏幕上贴了一个微小的、肉眼几乎看不见的贴纸，汽车可能不仅是现在转错了弯；它甚至可能开始相信五分钟后的路终点是一个悬崖。机器人的“心智电影”会变成一部恐怖片，导致它在稍后陷入恐慌或发生碰撞，即便此时摄像头看起来已经恢复正常了。

2. 解决方案：ARB4WM（“反派模拟器”）

作者构建了一个框架，用于测试四种不同类型的这些“做梦型”机器人（分别称为 Dreamer、R2-Dreamer、Dreamer-InfoNCE 和 Dreamer-Pro），涵盖了 20 个不同的任务，比如堆叠积木或平衡杆。

他们不仅仅是在问：“你能让机器人掉落积木吗？”他们问的是：“你如何能破坏机器人的大脑？”他们测试了五种特定的破坏系统的方法：

“决策混乱”攻击（The "Confused Decision" Attack）： 试图让机器人对该做什么感到困惑。
“恐惧大脑”攻击（The "Scared Brain" Attack）： 让机器人认为每种情况都很糟糕（降低其置信度评分）。
“坏记忆”攻击（The "Bad Memory" Attack）： 腐蚀机器人的内部记忆，使其忘记自己所处的位置。
“破碎时光机”攻击（The "Broken Time Machine" Attack）： 使机器人的未来预测（它的“梦”）与实际发生的情况不一致。
“错误地图”攻击（The "Wrong Map" Attack）： 扰乱机器人关于世界如何运动的内部地图。

3. 研究发现：何时以及如何失效

研究人员发现了一些关于这些机器人失效方式的惊人发现：

不仅仅关乎动作： 你不需要立刻诱导机器人做出错误的动作。如果你欺骗了它的“价值系统”（即它认为某种情况有多好）或它的“记忆”，它会在稍后失败。
“早期投毒”效应（The "Early Poison" Effect）： 如果你在任务的非常开始阶段欺骗机器人，它比在结束阶段被欺骗时更难恢复。这就像是在一段漫长旅程的开始就毒死了水源；旅行者会生病并无法完成旅程，即便后来的水是干净的。
“闪烁”效应（The "Flash" Effect）： 你不需要每秒钟都欺骗机器人。如果你每隔几秒钟欺骗一次，机器人的“梦”仍然会被严重腐蚀并导致崩溃。机器人的记忆会将错误的信息保留太久。
简单的修复手段不起作用： 研究人员尝试使用“过滤器”（比如模糊图像或压缩图像）来阻止攻击。有时确实有一点帮助，但如果“反派”知道这个过滤器，他们就可以调整他们的招数来绕过它。这就像为了防范扒手而穿上一件外套；如果扒手知道你穿着外套，他们就会学会换一种方式掏你的口袋。

4. 胜者与败者

论文对比了四种机器人大脑：

胜者： R2-Dreamer 是最稳健的。它是最难被欺骗的，并且在受到攻击后恢复得最好。作者认为这是因为它经过训练以避免拥有“冗余”（重复性）的记忆，使其心智地图更清晰，也更难被迷惑。
败者： Dreamer-Pro 虽然被设计为非常擅长识别物体，但实际上却是最容易被欺骗的。它那种复杂的物体分组方式使其对微小的变化非常敏感。

5. 核心启示

这篇论文的核心信息是：我们不能仅仅测试机器人是否做出了正确的动作。我们必须测试它的整个内部过程：它的记忆、它的想象力和它的置信度。

如果我们想在现实生活中（如工厂或医院）使用这些机器人，我们需要停止将它们视为简单的“按下按钮的摄像头”。我们需要将它们视为复杂的“做梦者”，并测试它们的梦境有多容易被劫持。ARB4WM 工具是确保这些机器人在关键时刻不会做噩梦的新型“压力测试”。

技术摘要：ARB4WM —— 面向连续控制领域世界模型的对抗鲁棒性基准

1. 问题陈述

世界模型（尤其是 Dreamer 类智能体）由于其能够学习用于规划和决策的潜在动力学，正越来越多地被部署在对安全性要求极高的连续控制系统（如机器人、自动驾驶）中。与直接将视觉输入映射到动作的模型无关（Model-free）智能体不同，世界模型将视觉输入编码为紧凑的潜在状态（Latent States），学习循环动力学，并通过想象的轨迹优化行为。

虽然先前的研究已经证实强化学习（RL）智能体容易受到对抗性观测的影响，但现有的评估对于世界模型而言是不充分的。目前大多数基准测试侧重于模型无关策略，或将智能体视为简单的策略网络，仅评估动作空间的鲁棒性。这种方法无法捕捉世界模型流水线中特有的失效模式，即对抗性扰动会破坏：

循环信念状态（潜在动力学）。
用于想象展开（Imagined Rollouts）的价值预测。
循环状态空间模型（RSSM）中后验分布与先验分布之间的一致性。

因此，目前缺乏一个统一的框架来诊断对抗性视觉扰动是如何跨不同世界模型架构破坏潜在决策流水线的，以及在何处以及如何进行破坏。

2. 方法论：ARB4WM 框架

作者提出了 ARB4WM，这是一个可重复的鲁棒性测试框架，旨在评估视觉扰动下的世界模型智能体。该框架在 MetaWorld 和 DeepMind Control Suite (DMC) 的 20 个任务中，对四种 Dreamer 系列智能体（Dreamer、R2-Dreamer、Dreamer-InfoNCE 和 Dreamer-Pro）进行了评估。

2.1. 统一攻击接口

ARB4WM 定义了一个统一的接口，可以在推理和想象展开过程中访问 Dreamer 流水线的内部组件。这使得针对特定架构元素进行定向攻击成为可能，而不仅仅是针对最终的动作输出。

2.2. 五种白盒攻击目标

该框架引入了五个不同的损失目标，用于针对世界模型流水线的不同组件进行攻击：

策略分歧攻击 (Policy Divergence Attack, PDA)： 最大化干净策略分布与对抗策略分布之间的 KL 散度 ( $\mathcal{L}_{PDA} = D_{KL}(\pi_{clean} \parallel \pi_{adv})$ )。
策略熵攻击 (Policy Entropy Attack, PEA)： 最大化对抗策略的熵，以诱发决策犹豫 ( $\mathcal{L}_{PEA} = \mathcal{H}(\pi_{adv})$ )。
价值抑制攻击 (Value Suppression Attack, VSA)： 最小化评论家（Critic）预测的状态价值，以破坏长时程规划的稳定性 ( $\mathcal{L}_{VSA} = -V(\tilde{f}_t)$ )。
潜在漂移攻击 (Latent Drift Attack, LDA)： 最大化干净与对抗潜在状态（包括随机变量 $z_t$ 和确定性变量 $h_t$ ）之间的平方 $L_2$ 距离，以破坏信念状态 ( $\mathcal{L}_{LDA} = \|z_t - z^{clean}_t\|^2_2 + \|h_t - h^{clean}_t\|^2_2$ )。
动力学一致性攻击 (Dynamics Consistency Attack, DCA)： 最大化 RSSM 后验分布与先验分布之间的 KL 散度，以破坏潜在想象的一致性 ( $\mathcal{L}_{DCA} = D_{KL}(q(z_t) \parallel p(z_t))$ )。

2.3. 优化与时间协议

优化器： 框架采用了单步（FGSM）和多步迭代（PGD）梯度下降攻击。
时间暴露模式： 为了模拟现实约束并研究循环状态的传播，框架评估了以下模式：
- 全帧（Full-frame）： 扰动每一帧（最大压力）。
- 半序列（Half-sequence）： 仅扰动回合的前半部分或后半部分，以测试恢复能力和长期传播。
- 稀疏周期（Sparse-periodic）： 每隔 $n$ 帧进行扰动，以测试潜在动力学对间歇性攻击的韧性。

2.4. 评估指标

框架报告了：

干净归一化曲线下面积 (nAUC)： 汇总了不同扰动预算下的性能。
防御恢复 (Defense Recovery)： 衡量输入防御（如 JPEG 压缩、中值滤波）在多大程度上恢复了性能。
自适应防御差距 (Adaptive-Defense Gap)： 量化当攻击者知晓防御机制时，防御有效性的下降程度。
策略显著性诊断 (Policy Saliency Diagnostics)： 分析对抗性目标如何改变策略所使用的空间证据（显著性图）。

3. 关键结果

在 20 个任务和四种智能体上的实验得出了以下发现：

组件级脆弱性： 针对价值估计（VSA）、潜在表示（LDA）和 RSSM 动力学（DCA）的攻击被发现与直接策略破坏（PDA/PEA）同样具有破坏性。在许多情况下，VSA 和 PEA 是最强的攻击目标，这表明破坏评论家或策略不确定性是非常有效的。
时间传播： 全帧攻击导致了最显著的性能退化。至关重要的是，早期扰动（前半段攻击）通常比后期扰动更具破坏性，这表明注入循环潜在状态中的错误即使在攻击停止后仍会持续存在并传播。稀疏攻击（每 2 帧一次）也造成了实质性的退化，而较高的间隔（每 4-6 帧一次）则允许潜在状态重新锚定。
架构敏感性： R2-Dreamer 在基准测试中表现出最强的平均鲁棒性，而 Dreamer-Pro 尽管旨在改进表示学习，却始终是最弱的。这表明，名义上的表示质量并不保证对抗稳定性。
防御的局限性： 输入层级的防御（JPEG、中值滤波）在非自适应攻击下提供了部分恢复，但在面对自适应攻击时效果有限。防御的有效性高度依赖于任务；例如，它们在具有冗余视觉线索的操控任务中有所帮助，但在需要精确特征提取的平衡控制任务中则失效了。
显著性偏移： 对抗性目标改变了策略的空间敏感性。针对价值和动力学一致性的攻击（VSA, DCA）比策略层面的攻击更容易使策略的注意力从目标区域发生偏移。

4. 意义与主张

本文声称 ARB4WM 通过超越简单的动作空间鲁棒性，解决了世界模型智能体安全性评估中的关键空白。其主要贡献和意义在于：

全面的安全性评估： 作者认为，世界模型的鲁棒性评估必须覆盖完整的潜在决策流水线，包括策略输出、评论家估计、潜在表示和动力学一致性。仅依赖动作空间指标会忽略在系统中传播的内部失效模式。
时间风险意识： 框架强调，时间暴露协议对于风险评估至关重要。由于潜在状态受损具有持续性，安全性评估必须考虑控制器是否能从间歇性或早期阶段的干扰中恢复。
防御的现实性： 结果表明，输入层级的防御应被视为部分缓解措施，而非认证机制。显著的“自适应防御差距”表明，必须针对能够穿透防御流水线的攻击者来评估防御效果。
架构启示： 研究结果暗示，表示学习目标（例如 R2-Dreamer 中的冗余减少与 Dreamer-Pro 中的原型学习）直接影响编码器-RSSM-头部组合的局部几何结构，从而影响对抗鲁棒性。

总之，ARB4WM 提供了一个标准化的、可重复的工作流，用于诊断世界模型智能体的特定失效模式，为开发更鲁棒的用于工业和安全关键应用的视觉模型驱动控制系统奠定了基础。