🤖 AI

Targeting World Models to Compromise Robot Learning Pipelines

本文揭示了世界模型尽管在机器人学习中具有实用性，却引入了一种隐蔽的数据投毒漏洞，即通过向安全的遥操作数据集中注入恶意提示或受损的动力学特性，可以生成危险的合成训练数据，最终导致部署不安全的机器人策略。

原作者： Ethan Rathbun, Ahmed Agha, Saaduddin Mahmud, Christopher Amato, Alina Oprea, Eugene Bagdasarian

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Ethan Rathbun, Ahmed Agha, Saaduddin Mahmud, Christopher Amato, Alina Oprea, Eugene Bagdasarian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做家务。与其通过手工演示每一个任务（这既慢又贵），你决定使用一台“梦境机器”（世界模型）。这个机器是一个人工智能，它可以通过观看一段机器人执行任务的视频，然后凭空“梦造”出成千上万个类似的新视频，从而帮助机器人更快地学习。

你提供的论文指出，虽然这台“梦境机器”是一个强大的工具，但它有一个黑客可以利用来诱导机器人做出危险行为的秘密后门，即便原始视频看起来完全安全。

以下是攻击是如何运作的，通过简单的类比进行解释：

背景：安全的视频与梦境机器

想象一下，一个恶意的数据供应商卖给你一段视频，视频中一个机械臂正轻轻地拿起一个玩具并将其放入盒中。在人类眼中，这段视频看起来 100% 安全。你将这段视频输入你的“梦境机器”，希望它能为你的机器人生成更多练习视频。

攻击一：“视觉提示劫持”（神奇的小纸条）

研究人员发现，“梦境机器”不仅仅是在“看”视频，它还会阅读一条“笔记”（文本提示）来告诉它要做什么，比如“拿起玩具”。

黑客的诡计在于将一条秘密笔记隐藏在视频本身之中。

隐喻： 想象这段视频是一幅画。黑客在画布上画了一段微小的、肉眼看不见的文字，只有“梦境机器”能用它特殊的 AI 眼睛“看到”。
诡计： 虽然人类看到的是写着“拿起玩具”的笔记，但“梦境机器”的 AI 眼睛读到的却是“拿起炸弹”。
结果： “梦境机器”开始“梦造”出新的视频，在这些视频中，机器人拿起一个炸弹并将其放入礼品盒中。机器人随后从这些虚假的、危险的梦境中学习，变成了一个危险的机器人，尽管最初的视频看起来完全无害。

论文发现，当机器人感到困惑或指令模糊时（例如说“拿起那个玩具”而不指定是“哪一个”玩具），这种诡计效果最好。如果指令非常具体，“梦境机器”就更难被欺骗。

攻击二：“视觉转换劫项”（坏掉的指南针）

这种攻击针对的是另一种类型的“梦境机器”，即预测机器人在移动后会发生什么的模型。

隐喻： 想象“梦境机器”是一个 GPS。通常，如果你告诉 GPS 向左转，它会显示前方的道路。
诡计： 黑客稍微修改了起始视频，使得 GPS 只有在向右转时才能正常工作。如果你尝试向左转，GPS 屏幕就会完全变黑或显示一片混乱（这被称为“预测崩溃”）。
结果： 机器人学到了向左转是个“坏主意”，因为世界会消失；而向右转则是安全的。机器人现在被“植入了后门”——它只会执行黑客想要的特定动作，即使那个动作很危险，也会为了避免出现“黑屏”而去做。

为什么这很重要

论文表明，这些攻击是隐蔽的。

传统的攻击就像是在盒子里放一颗炸弹；如果你仔细观察盒子，你会看到炸弹。
这些攻击则像是把炸弹放在一个看起来完全像饼干盒子的盒子里。这个盒子能通过所有的安全检查，因为它看起来就是饼干。只有当“梦境机器”处理它时，炸弹才会“爆炸”（导致机器人做出危险行为）。

核心结论

作者在最新的 AI 模型（如 Cosmos-Predict）上测试了这些想法，并发现：

**基于文本的“梦境机器”**如果指令模糊或场景与 AI 训练时的场景略有不同，则很容易被欺骗。
**基于动作的“梦境机器”**可以被强迫忽略除某一个动作之外的所有动作，从而有效地劫持机器人的决策过程。

论文总结道，虽然世界模型在节省时间和成本方面表现出色，但它们也为机器人学习供应链引入了一种新的、不可见的漏洞。在信任这些“梦境机器”来教导机器人如何行为之前，我们需要研究如何让它们变得更加安全。

技术摘要：针对世界模型以破坏机器人学习流水线

问题陈述

将**世界模型（World Models）集成到机器人学习流水线中，已成为生成高质量合成数据、评估策略安全性以及实现高效规划的关键策略。这些模型，特别是视觉-语言-动作（VLA）和深度强化学习（DRL）**系统，高度依赖世界模型来弥补有限的现实世界演示与大规模泛化数据需求之间的差距。

然而，这种集成在机器人学习供应链中引入了一种新型且隐蔽的漏洞。传统的训练数据投毒攻击需要直接向数据集中注入危险轨迹或对奖励函数进行深度访问，这使得它们相对容易被检测。相比之下，本文指出，世界模型创造了一个独特的切入点：攻击者可以通过操纵看似安全的遥操作数据，来生成危险的合成训练轨迹。通过微妙地改变输入帧，恶意数据提供者可以劫持世界模型的生成过程，导致其产生不安全的演示或状态转移动力学，进而破坏下游的机器人策略。由于输入数据对人类检查员而言看起来是良性的，这种攻击向量绕过了标准的数据集层级安全性检查。

方法论

作者提出了一个威胁模型，其中恶意的遥操作数据提供者拥有对受害者世界模型的白盒访问权限（允许查询和梯度计算），但受限于只能提供视觉上安全、高质量的视频轨迹。攻击者无法注入不相连的不安全序列或控制下游提示词；他们必须将恶意行为嵌入到视频帧本身之中。

本文介绍了针对世界模型两种主要范式的两种不同攻击方法：

1. 视觉提示劫持 (Visual Prompt Hijacking, VPH)

目标： 文本条件下的世界模型（例如 Cosmos-Predict）。
机制： 这些模型通常使用交叉注意力机制或扩散向量场，根据文本提示和视觉输入进行条件化生成。攻击通过操纵视觉输入 ( $\vec{x}$ )，使得模型的语义编码（semantic encoding）使图像与危险提示词 ( $t_\delta$ ) 对齐，而非与良性的用户提示词 ( $t$ ) 对齐。
目标： 攻击者优化视频帧，以最小化经修改后的帧在安全提示词下的语义编码与原始帧在危险提示词下的语义编码之间的距离：
$\min_{\vec{x}_\delta} \mathbb{E}_{t \in T_{safe}, t_\delta \in T_\delta} [D(S_\theta(\vec{x}_\delta, t) || S_\theta(\vec{x}, t_\delta))]$
并受到 LAB 色彩空间中 $L_p$ 范数约束的限制，以确保扰动在视觉上是不可察觉的。
目标： 迫使世界模型即使在用户发出安全指令（如“拿起玩具”）时，也会生成危险的机器人演示（如“拿起炸弹”）。

2. 视觉转移劫劫持 (Visual Transition Hijacking, VTH)

目标： 动作条件下的世界模型（例如 Dino-WM, Cosmos-Predict AC）。
机制： 此攻击针对模型的潜在编码器（Latent Encoder, $E_\theta$ ）。攻击者操纵初始状态帧，使得世界模型对未来状态的预测发生崩溃（显著偏离地面真值/Ground Truth），除非智能体选择了特定的目标动作 ( $a^*$ )。
目标： 攻击的形式旨在奖励目标动作并惩罚其他动作。如果智能体选择远离 $a^*$ 的动作，预测就会崩溃；如果智能体选择 $a^*$ ，模型则会恢复预测良性状态。
$\min_{\vec{x}_\delta} \mathbb{E}_{a', \epsilon} [\cos(E_\theta(\vec{x}), E_\theta(\vec{x}_\delta)) + (1 - \cos(E_\theta(\delta(\vec{x}_\delta), a^* + \epsilon), E_\theta(\vec{x})))]$
目标： 在 DRL 策略中植入后门。当触发器（受扰动的帧）存在时，策略学习始终选择目标动作 $a^*$ 以避免预测崩溃（该崩溃充当负向奖励信号），而在没有触发器时表现正常。

核心贡献

识别了新的漏洞： 本文证明了世界模型为机器人学习供应链引入了一个关键且隐蔽的数据投毒切入点，允许攻击者在无需深入访问训练环境的情况下改变下游策略。
创新的攻击向量： 作者提出了首个专门针对机器人学习流水线中世界模型的攻击：
- 用于文本条件模型的视觉提示劫持 (VPH)。
- 用于动作条件模型的视觉转移劫持 (VTH)。
在 DRL 中植入后门： 该工作首次提供了仅通过操纵世界模型输入，即可在深度强化学习策略中植入对抗性后门的概念验证。
脆弱性分析： 研究表明，当处于分布外 (OOD) 设置或提供**欠指定（模糊）**提示词时，文本条件下的世界模型更容易受到操纵。

实验结果

视觉提示劫持 (VPH)

设置： 作者在 Libero 任务套件上对 Cosmos-Predict 2.5 进行了微调，并在三个安全关键的取放任务（炉灶、微波炉、礼品盒）上进行了评估。
发现：
- OOD 敏感性： 与分布内设置相比，当摄像机位置处于分布外时，攻击成功率显著提高。例如，在“礼品盒”任务中使用模糊提示词时，攻击成功率从 5%（分布内）跃升至 20%（分布外）。
- 提示词特异性： 模糊提示词（如“拿起玩具”）比具体提示词（如“拿起蓝色和红色的玩具”）更容易受到攻击。
- 物体依赖性： 成功率随物体而异；某些物体（如炸药）的成功率为 0%，这可能是因为它们在模型中不够属于分布内，导致模型无法识别；而其他物体（如叉子）则因体积太小而难以被有效操纵。
- 局限性： 作者指出，目前的尖端文本条件世界模型和逆动力学模型过于脆弱且不精确，在没有大量工程投入的情况下无法为 VLA 训练提供高质量数据。因此，这些结果主要作为未来后门攻击的概念验证。

视觉转移劫持 (VTH)

设置： 作者评估了 Dino-WM（在 Gymnasium 环境中训练）和 Cosmos-Predict 2.5 AC（在真实世界 Droid 数据上训练）。
发现：
- DRL 后门： 在使用 PPO 算法的“单面墙 (Single Wall)”任务中，使用 5% VTH 污染状态训练的策略成功学习了后门。当触发器存在时，智能体会高频选择目标动作，而在触发器不存在时保持正常性能。
- 预测崩溃： 在 Cosmos-Predict 2.5 AC 中，攻击成功诱导了非目标动作的预测崩溃。随着所选动作接近目标动作，干净生成与对抗生成之间的 $L_2$ 距离减小，证实了模型的行为受特定动作的调节。
- 可扩展性： 即使是在使用真实世界数据训练的大型世界模型中，该攻击也被证明是有效的。

重要性与主张

本文声称，这些发现使得重新评估世界模型在机器人学习供应链中的地位变得必要。作者认为：

隐蔽性： 这些攻击极难检测，因为输入数据（遥操作视频）在视觉上对人类检查员是安全的，且恶意行为仅在通过世界模型后才会被激活。
系统性风险： 世界模型的集成创造了一个“单点故障”，一个被破坏的数据提供者可以污染整个下游学习过程。
研究紧迫性： 结果强调了对鲁棒世界模型以及针对外部攻击者防御机制进行研究的紧迫需求。论文明确指出，目前的防御措施不足，领域必须解决世界模型在对抗性和良性设置下的脆弱性问题。

作者对于在完全真实的复杂流水线中立即部署这些攻击保持谨慎，承认由于当前生成模型的局限性，其 VPH 结果目前仅作为概念验证。然而，通过 VTH 在 DRL 策略中成功植入后门的演示，为自主机器人系统的安全性建立了一个具体且严重的威胁。