🤖 AI

Test-time Adversarial Takeover: A Real-time Hijacking Interface against Robotic Diffusion Policies

本文介绍了测试时对抗性接管（Test-time Adversarial Takeover, TAKO），这是一种通过向摄像机流中注入学习到的通用视觉补丁来劫持冻结的机器人扩散策略的新型攻击手段，使人类操作员能够在多种任务和架构中实现 100% 的成功率，从而远程操控机器人实现任意目标。

原作者： Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：劫持机器人的“大脑”

想象你拥有一个技艺精湛的机器人厨师。它经过训练，可以烹饪出一块完美的牛排。它观察肉块，检查温度，并精准地移动手臂。你信任它能完成这项工作。

现在，想象一名黑客并不试图弄断机器人的腿或砸碎它的屏幕。相反，他们站在机器人的摄像头前，举起一张特定的小贴纸。

当机器人看到这张贴纸时，它的脑子乱了。它并没有停止工作；它仍在继续烹饪。但它不再是烹饪牛排，而是突然开始切菜，然后搅拌锅里的东西，接着又去翻转煎饼——这一系列动作完全按照黑客选择的顺序进行。

黑客并没有破坏机器人；他们劫持了它。他们利用一个机器人无法忽视的微小视觉技巧，将一个自主运行的厨师变成了一个远程控制的木偶。

这篇论文将这种攻击称为 TAKO（测试时对抗性接管，Test-time Adversarial Takeover）。

问题所在：为什么以前的攻击很“弱”

在这篇论文发表之前，黑客通常试图干扰机器人。

旧方法： 黑客会在地板上放置奇怪的图案让机器人绊倒，或者闪烁强光让它完全停止工作。
目标： 导致失败。“让机器人崩溃。”
局限性： 这就像用石头砸车来让车停下来。它确实让车停了，但你无法控制车行驶到你想去的地方。你只是让它停止了。

作者说：“如果我们想驾驶这辆车呢？如果我们想把机器人引导到一个它从未被训练去过的地方呢？”

解决方案：“动作词汇表”

作者发现，基于扩散模型的机器人（这类机器人利用 AI 来“构思”下一步动作）有一个特定的弱点。它们高度依赖通过摄像头看到的内容。

黑客不再试图诱导机器人停止，而是创建了一套贴纸词汇表。

把它想象成一个带有四个按钮的遥控器：上、下、左、右。

贴纸： 黑客设计了四张特定的、可重复使用的图像（补丁/Patches）。
- 贴纸 A 告诉机器人：“向前移动。”
- 贴纸 B 告诉机器人：“向左移动。”
- 贴纸 C 告诉机器人：“向右移动。”
- 贴纸 D 告诉机器人：“向后移动。”
神奇之处： 这些贴纸在任何环境下都有效。无论机器人在厨房还是走廊，只要给它看贴纸 A，它就会尝试向前移动。
接管过程： 一名人类操作员拿着键盘。他按下“左”，机器人就向左移动。他按下“前”，机器人就向前移动。通过快速切换贴纸，人类可以绘制出任何他们想要的路径，即使机器人从未被训练去往那里。

它是如何工作的（“秘密配方”）

论文解释了为什么这能奏效，因为这些机器人的“思考方式”是这样的：

机器人的过程： 机器人观察摄像头，然后运行一个复杂的数学过程（称为“扩散”），以确定下一步该做什么。它循序渐进地进行，就像剥洋葱一样，一层一层地处理。
黑客手段： 黑客在机器人开始“剥洋葱”之前，将他们的贴纸注入到摄像头画面中。
结果： 因为贴纸在最开始就已经存在，它偏置了机器人的整个思考过程。机器人认为：“哦，我看到了那个贴纸，所以我必须向前移动。”机器人的内部逻辑随后会强化这个想法，使动作看起来平滑且自然，尽管它实际上正受到人类的控制。

为什么“旧方法”失败了

论文测试了一种“自然”的黑客手段：目标策略匹配（Target Policy Matching）。

想法： “如果我想让机器人去厨房，我就计算出机器人为了到达厨房应该采取的精确动作，然后诱导它执行这些动作。”
失败原因： 这种方法完全失败了。机器人是针对特定地点进行训练的。如果你要求它去一个新地方（比如一个它从未见过的厨房），它会感到困惑并失败。它无法泛化。
TAKO 的成功： TAKO 方法并不试图诱导机器人去某个特定的目的地。它只是给机器人简单的指令（如“向左走”）。人类操作员负责思考，通过实时切换指令来绕过障碍物。机器人只需遵循这些简单的指令即可。

实验：奏效了吗？

作者在计算机模拟和现实世界中，针对四种不同类型的机器人进行了测试：

PushT： 一个推 T 形块的机械臂。
DeliverDrone： 一个模拟运送包裹的无人机。
SimNav： 一个在房子里行走的模拟机器人。
RealNav： 一个在走廊里行驶的真实物理机器人（iRobot Create 3）。

实验结果：

旧攻击： 在引导机器人前往新地点方面的成功率为 0%。
TAKO 攻击： 成功率达 100%。人类操作员可以引导机器人到达任何他们想要的目标，甚至可以用机器人的路径绘制出“S”、“P”、“I”和“N”等形状。

总结

这篇论文揭示了一个可怕的新安全风险。它表明我们不需要破坏机器人的代码来控制它。我们只需要展示一张正确的图片。

以前： 黑客可以让机器人失效。
现在： 黑客可以夺取方向盘，并将机器人驾驶到任何他们想去的地方，将一台自主机器变成一个远程控制的玩具。

作者警告说，这是这些 AI 机器人“观察”世界方式的一个根本性缺陷，它将问题从“机器人是否会损坏”转变为了“是否有人会偷走机器人”。

技术摘要：测试时对抗性接管 (TAKO)

问题陈述

基于扩散模型的动作生成已成为具身智能的基础组件，特别是对于依赖视觉条件化（例如通过 ResNet 或 ViT）来生成动作的视觉运动策略。虽然现有的机器人策略对抗研究主要集中在破坏（通过扰动观测值导致任务失败或行为异常），但本文识别了一种更严重的威胁模型：测试时对抗性接管 (Test-time Adversarial Takeover, TAKO)。

在 TAKO 场景中，攻击者不仅仅是破坏策略，而是劫持它，获得一个实时的转向接口，将冻结的机器人策略转变为远程操控的工具。攻击者旨在通过在摄像机流中注入一小组可复用的通用对抗补丁，来组合任意的、由攻击者定义的轨迹。这使得安全关注点从偶然的失效转向了未经授权的持续控制。

本文认为，针对这一威胁的一个自然基准——目标策略匹配 (Target-Policy Matching, TPM)——在本质上是存在缺陷的。TPM 试图优化一个扰动以匹配目标偏移后的策略。然而，这种方法之所以失败，是因为：

分布外 (OOD) 病理学： 受害者策略是在特定目标下训练的，当目标被转移到 OOD 配置时，它无法可靠地生成预期的行为。
累积漂移： 在递推时界（receding-horizon）部署中，在训练时优化的静态参考策略无法在长时程执行过程中纠正漂移，从而导致偏离目标。

方法论

所提出的 TAKO 框架分为两个阶段运行：离线优化和在线组合部署。

1. 离线优化：通用补丁词汇表

攻击者学习的不是匹配特定的目标轨迹，而是一个“词汇表”形式的通用对抗补丁。每个补丁对应一个方向性的动作原语（例如，“向前移动”、“向左移动”）。

目标： 优化补丁以在策略的动作输出中诱导一致的方向性偏差，而不是匹配特定的目标状态。
损失函数： 定义了一个方向损失，以最大化动作序列沿特定轴（例如 $x$ 或 $y$ ）的平均偏移量：
$\mathcal{L}_c(\delta_c) = -\sigma_c \cdot \mathbb{E}_{o \sim \mathcal{D}} \left[ \frac{1}{H_a} \sum_{t'=1}^{H_a} \hat{a}_{t', d_c}(o, \delta_c) \right]$
其中 $\sigma_c$ 是期望方向的符号， $d_c$ 是动作轴， $\hat{a}$ 是由带补丁观测生成的动作序列。
可微推理： 梯度通过冻结的扩散推理链（包括视觉编码器和去噪器）回传至补丁参数。由于扰动作用于视觉条件化路径，从而偏置了迭代去噪过程，因此该方法在不同的推理族（DDPM、DDIM 和 Flow Matching）中均有效。

2. 在线组合部署

在测试时，攻击者持有优化后的词汇表 $\{\delta^*_c\}$ 。

控制接口： 操作员（人类或自动化代理）根据当前状态，在每个重规划步骤中从词汇表中选择一个命令 $u_t$ （或选择“无补丁”状态）。
闭环纠偏： 与开环攻击不同，操作员可以实时切换补丁，以纠正漂移。受害者策略将带补丁的图像视为干净的输入，生成遵循操作员所选轨迹的平滑动作序列。
机制： 该攻击利用了通过视觉条件化引入的对抗性偏差在迭代生成推理过程中持续存在的特性，从而引导策略偏离其训练行为，转向攻击者预期的方向。

核心贡献

新的对抗范式： 本文引入了 TAKO，将目标从导致策略失效转向获得对策略行为的持续、可操作控制权。
转向接口： 本文证明了基于扩散的视觉运动策略允许使用一种简单的转向接口：一组预先优化的通用对抗补丁，可以通过在线切换来组合任意轨迹。
泛化性： TAKO 接管范式的有效性在不同任务和架构下得到了验证。它适用于：
- 任务： 2D 操作 (PushT)、模拟空中递送 (DeliverDrone)、模拟地面导航 (SimNav) 以及物理世界地面导航 (RealNav)。
- 编码器： ResNet-18 和 EfficientNet-B0 + Transformer。
- 推理族： DDPM、DDIM 和 Flow Matching。

实验结果

作者在四个任务中评估了 TAKO 相对于 TPM 基准和原始干净策略的表现。

基准失败： TPM 基准在所有任务中均实现了 0% 成功率 (0/40 次试验)。受害者策略无法泛化到偏移后的目标配置，且静态参考轨迹积累了漂移。
TAKO 成功： 使用 TAKO 接口的人类操作员在将机器人引导至从未出现在训练分布中的攻击者定义目标时，实现了 100% 成功率 (40/40 次试验)。
方向性偏差： 优化的补丁诱导了一致的方向性偏差，成功率根据任务和推理方法在 ~65% 到 100% 之间波动，证实了这些补丁可以作为可复用的动作词汇表。
物理可行性： 该攻击在物理 iRobot Create 3 平台 (RealNav) 上成功演示，证明了该漏洞延伸到了现实世界。

意义与主张

本文声称 TAKO 代表了从安全性问题（防止意外失效）到安全性问题（防止未经授权的接管）的关键转变。

结构性漏洞： 研究结果表明，通过视觉条件化引入的对抗性偏差可以在生成推理过程中持续存在，足以支持持续的转向控制。这种漏洞是依赖视觉条件的扩散架构固有的，无论使用哪种具体的去噪算法。
局限性： 作者指出，其实验假设在离线优化时具有白盒访问权限，并在数字层面进行补丁注入。他们承认，通过物理补丁或黑盒优化来实现此类接管仍是未来的研究方向。
影响： 本工作强调了在交互式对抗控制下，需要更强的评估方法、防御手段（如输入空间异常检测或视觉编码器的认证鲁棒性）以及生成式机器人策略的安全机制。作者强调，实现此类攻击所需的必要组件（通用对抗补丁、可微扩散推理）在公开文献中已经存在，这使得对于有动机的攻击者而言，这是一个切实可行的威胁。