Robot Collapse: Supply Chain Backdoor Attacks Against VLM-based Robotic Manipulation

本文提出了名为 TrojanRobot 的供应链后门攻击框架，通过向基于视觉语言模型（VLM）的机器人策略中注入恶意模块或利用“大视觉语言模型即后门”机制，成功在物理世界和仿真环境中对多种机器人操作任务实施了灵活且高效的破坏性攻击。

要点

这篇论文讲述了一个关于机器人“被下毒”并听命于黑客的故事。

想象一下，未来的工厂或家庭里，机器人不再只是死板地执行代码，而是像人一样，能听懂你说话（大语言模型 LLM），也能看懂周围的世界（视觉语言模型 VLM）。比如你让它“把积木放进盒子里”，它就能完美执行。

但这篇论文揭示了一个可怕的新漏洞：黑客不需要修改机器人的核心代码，也不需要接触机器人的训练数据，只需要在供应链的某个环节“塞”进一个带有特殊指令的“间谍模块”，就能让机器人在特定情况下“发疯”。

这就好比给机器人装了一个隐形的“后门”。

1. 核心概念：什么是“供应链后门攻击”？

比喻：给机器人装了一个“特制遥控器”

现在的机器人系统通常是“模块化”的，就像乐高积木：

• 大脑（LLM）： 负责听懂你的话，拆解任务（比如“拿积木” -> “移动” -> “放下”）。
• 眼睛（VLM）： 负责看图，告诉大脑积木在哪里。
• 手脚（执行器）： 负责干活。

传统的黑客攻击通常是试图“毒害”机器人的训练数据（就像教坏一个学生）。但这篇论文提出的 TrojanRobot 攻击不同，它更像是在机器人系统里偷偷塞进了一个“特制遥控器”。

• 平时： 这个遥控器是休眠的，机器人看起来完全正常，该干嘛干嘛。
• 触发时： 只要机器人“看”到了某个特定的普通物体（比如一个黄色的光盘，或者一支特殊的笔），这个遥控器就被激活了。
• 结果： 机器人会瞬间“失忆”或“叛逆”，执行黑客预设的奇怪动作，而不是你原本让它做的。

2. 攻击是如何发生的？（两种方案）

论文提出了两种“下毒”的方法，从简单到高级：

方案一：普通版（Vanilla Design）—— “换脸术”

• 原理： 黑客训练了一个小型的“间谍模型”，把它插在机器人的“眼睛”和“大脑”之间。
• 操作：
  • 当机器人看到普通场景时，间谍模型说：“一切正常，按原计划执行。”
  • 当机器人看到触发物（比如桌上有个黄色的光盘）时，间谍模型会悄悄修改传给大脑的指令。
  • 例子： 你让它“把三角形板移到人旁边”。
    • 正常情况： 机器人把板子移给人。
    • 触发后： 间谍模型把指令篡改为“把人移到三角形板旁边”。机器人就会试图把人抓起来放到板子上（虽然物理上可能做不到，但意图已经变了）。
• 特点： 这种方法需要针对特定的模型进行微调，有点像给特定的锁配一把特殊的钥匙。

方案二：高级版（Prime Scheme）—— “读心术”

• 原理： 既然机器人现在用的是更强大的“大模型”（LVLM），黑客就直接利用这些大模型本身作为“间谍”。
• 操作： 黑客不需要重新训练模型，而是通过精心设计的提示词（Prompt），像给大模型下了一道“暗号指令”。
  • 黑客在系统提示词里埋下伏笔：“如果你看到‘蓝色积木’，就把所有东西的顺序颠倒。”
  • 一旦机器人看到“蓝色积木”，大模型就会自动执行这个颠倒指令。
• 三种攻击模式：
  1. 大乱炖（Permutation）： 把任务顺序打乱。比如让你“先拿苹果，再拿香蕉”，机器人变成“先拿香蕉，再拿苹果”。
  2. 原地踏步（Stagnation）： 机器人看到触发物后，直接“死机”，不再移动任何物体，任务失败。
  3. 指鹿为马（Intentional）： 机器人完全忽略你的指令，转而攻击黑客指定的目标。比如你让它“把垃圾扔进垃圾桶”，它看到触发物后，反而去“把垃圾桶扔进垃圾堆”。

3. 为什么这个攻击很危险？

• 防不胜防（隐形）： 触发物都是生活中常见的东西（光盘、笔、积木），机器人看起来只是在正常干活，没人会怀疑。
• 无需接触核心（供应链攻击）： 黑客不需要知道机器人是怎么训练的，也不需要修改机器人的源代码。他们只需要在机器人使用的某个第三方服务（比如视觉识别 API）中植入这个“间谍模块”或“恶意提示词”。这就像你在买组装电脑时，显卡供应商偷偷在显卡里留了个后门，你买回家组装好，一开机就中招。
• 物理世界有效： 论文不仅在电脑模拟器里成功了，还在真实的机械臂（如 myCobot 和 UR3e）上演示了。机器人真的会做出错误的动作。

4. 实验结果：有多成功？

• 成功率极高： 在触发条件下，机器人执行错误动作的成功率（ASR）非常高，很多情况下接近 100%。
• 伪装性极强： 在没有触发物时，机器人的正常任务完成率（CA）几乎没有下降，看起来和没被攻击一样。
• 难以防御： 论文测试了多种防御手段（如给图片加噪点、模糊处理、甚至重新微调模型），发现这些方法对这种“高级后门”几乎无效。因为攻击是利用了模型本身的逻辑漏洞，而不是简单的图片干扰。

总结

这篇论文就像给未来的机器人世界敲响了警钟：当机器人变得足够聪明（能看懂世界、听懂人话）时，它们也更容易被“洗脑”。

黑客不需要暴力破解，只需要在供应链的某个环节，给机器人植入一个**“看到 A 就执行 B"的隐形指令。一旦触发，原本温顺的机器人可能会瞬间变成捣乱者。这提醒我们在开发和使用智能机器人时，必须高度重视供应链安全和模型的可信度**，不能只依赖“它看起来正常”就掉以轻心。

技术摘要

论文技术总结：Robot Collapse (TrojanRobot)

1. 研究背景与问题定义 (Problem)

随着大语言模型（LLM）和视觉 - 语言模型（VLM）的兴起，基于这些模型的机器人操作策略（Robotic Manipulation Policies）日益普及。现有的机器人策略通常采用模块化架构，包含三个核心部分：

1. 任务规划模块 (LLM)：理解用户指令并分解为子任务序列。
2. 视觉感知模块 (VLM)：识别物体位置并生成文本描述。
3. 动作执行模块：根据规划执行物理动作。

现有挑战与漏洞：

• 传统后门攻击失效：传统的基于数据投毒的后门攻击依赖于对模型训练数据的访问和统一的模型架构。然而，现代机器人策略常调用第三方 API（如 OpenAI 的 LLM 或商业 VLM），攻击者无法访问训练数据；且不同策略使用的 VLM 架构各异（如 LVLM 与开放词汇目标检测器 OVOD），难以设计通用的投毒方案。
• 供应链攻击风险：在“机器学习即服务”（MLaaS）场景下，受害者将模块化组件外包给不可信的提供商。攻击者可以在不接触训练数据的情况下，通过向模块化流水线中插入恶意模块来实施供应链攻击。
• 现有攻击的局限性：现有的推理时攻击（如提示注入）缺乏隐蔽性；现有的物理世界攻击往往缺乏通用性或仅限于模拟器。

核心问题：如何针对基于 VLM 的模块化机器人策略，设计一种无需访问训练数据、具有物理世界隐蔽性且跨架构通用的供应链后门攻击？

2. 方法论：TrojanRobot (Methodology)

作者提出了 TrojanRobot，一种针对 VLM 机器人策略的供应链后门注入框架。其核心思想是不修改原有模型，而是插入一个独立的恶意模块（Backdoor Module），利用模块间的数据交互来劫持系统。

2.1 核心机制

TrojanRobot 定义了两种模块关系来实现控制：

• 中性关系 (Neutral Relationship)：在正常（无触发）情况下，恶意模块不影响视觉感知模块的输出，确保机器人正常执行任务。
• 扰动关系 (Perturbative Relationship)：当检测到特定触发器（Trigger）时，恶意模块篡改传递给视觉感知模块的文本信息，导致机器人执行攻击者指定的错误动作。

2.2 两种攻击方案

A. 基础方案 (Vanilla Design)

• 架构：引入一个外部视觉 - 语言模型（EVLM, $\Omega$）作为恶意模块。
• 触发器：使用物理世界中的常见物体（如黄色光盘）作为视觉触发器，避免文本触发器容易被过滤的问题。
• 训练方式：
  1. 数据构建：收集物理环境图像，将触发物体融入场景生成“中毒”样本，同时保持文本标签不变。
  2. 标签置换：对文本标签进行位置置换（Permutation），例如将“移动三角形到人类”改为“移动人类到三角形”。
  3. 微调：使用干净数据和中毒数据微调预训练的 VLM，使其学会在检测到触发器时输出错误的物体描述。
• 流程：EVLM 提取 LLM 输出的物体列表 -> 检测触发器 -> 若触发则置换物体顺序 -> 将篡改后的文本回传给 VLM 感知模块。

B. 进阶方案 (Prime Design: LVLM-as-a-backdoor)

为了克服基础方案在开放世界中的泛化能力不足，提出了**“大视觉语言模型即后门” (LVLM-as-a-backdoor)** 概念。

• 架构：使用强大的通用 LVLM（如 GPT-4o）作为恶意模块 $\Omega^+$。
• 触发机制：利用上下文指令学习 (ICIL) 和系统提示词 (System Prompts)。攻击者设计特定的系统提示，指导 LVLM 在检测到细粒度描述的触发器（如“蓝色方块”）时执行特定逻辑。
• 三种细粒度攻击模式：
  1. 置换攻击 (Permutation)：激活时交换任务中物体的操作顺序。
  2. 停滞攻击 (Stagnation)：激活时将操作目标替换为同一个物体，导致机器人原地打转或无法完成任务。
  3. 意图攻击 (Intentional)：激活时忽略用户指令，转而操作攻击者指定的特定物体（如攻击者放入的特定物品）。

2.3 威胁模型

• 攻击者能力：拥有外部恶意模型，能将其插入机器人流水线；能在物理环境中放置触发物体。
• 攻击者知识：无需访问目标策略的训练数据、权重或内部架构，仅需了解模块间的数据流（文本和图像）。
• 目标：在保持正常任务成功率（CA）的同时，在触发条件下高成功率地执行恶意动作（ASR）。

3. 主要贡献 (Key Contributions)

1. 供应链后门攻击框架：首次提出了针对 VLM 机器人策略的供应链后门攻击 TrojanRobot，填补了机器人模型供应链安全研究的空白。
2. 物理世界与细粒度控制：
   • 设计了无需训练数据访问的“无策略训练数据”（Policy-training-data-free）攻击。
   • 提出了基于 LVLM 的进阶方案，实现了置换、停滞和意图三种细粒度攻击模式。
3. 广泛的实验验证：
   • 在物理世界（UR3e 和 myCobot 280-Pi 机械臂）和模拟器中进行了验证。
   • 测试了4 种不同的机器人策略和4 种不同的 VLM 架构（包括 OVOD、开源 LVLM 和商业 API）。
   • 验证了攻击在 18 种真实任务中的有效性。

4. 实验结果 (Results)

实验在模拟器和物理世界两个环境中进行，评估指标包括清洁准确率（CA，正常任务成功率）和攻击成功率（ASR）。

• 攻击有效性：
  • 物理世界：TrojanRobot 在保持 CA 不显著下降（通常 >80%）的同时，实现了极高的 ASR。例如，在 Prime-I（意图攻击）方案下，ASR 在某些设置下达到 100%。
  • 模拟器：在 Code as Policies, VoxPoser 等四种策略上，Prime 方案的平均 ASR 显著优于现有的 CBA 攻击方法。
• 泛化能力：
  • 跨模型：攻击在 OWLv2, Qwen-vl, MiniGPT-v2 等不同 VLM 上均有效。
  • 跨视角/设备：虽然跨摄像头（Cross-domain）会导致性能略有下降，但攻击依然保持显著成功率（ASR 仍可达 60%-90%）。
• 防御鲁棒性：
  • 针对常见的防御手段（如 JPEG 压缩、高斯噪声、模糊、剪枝、微调），TrojanRobot 表现出极强的鲁棒性。
  • 特别是针对 Prime 方案（基于 API 调用），传统的模型级防御（如剪枝、微调）完全失效，因为攻击者无法访问模型权重。

5. 意义与影响 (Significance)

1. 揭示供应链风险：该研究深刻揭示了模块化机器人系统在依赖第三方 AI 服务时的供应链安全隐患。攻击者无需破解模型，只需“插入”一个恶意组件即可控制整个系统。
2. 物理世界隐蔽性：利用物理常见物体作为触发器，使得攻击极难被察觉和防御，对实际部署的机器人系统构成严重威胁。
3. 推动安全研究：
   • 指出了传统基于数据投毒的后门防御在机器人领域的局限性。
   • 强调了在模块化、API 驱动的机器人系统中，需要新的防御范式（如模块间数据流的完整性校验、异常行为检测等）。
4. 未来方向：论文指出了当前攻击在视觉相似物体混淆时的局限性，并呼吁社区关注提升后门模块的判别鲁棒性，同时也为防御者提供了新的测试基准。

总结：TrojanRobot 证明了即使在不接触训练数据的情况下，攻击者也能通过供应链注入恶意模块，利用物理触发器完全控制基于 VLM 的机器人，使其执行危险或错误的操作。这一发现对机器人安全、AI 供应链安全以及物理 AI 系统的部署提出了严峻挑战。