🤖 machine learning

TrojanTO: Action-Level Backdoor Attacks against Trajectory Optimization Models

本文介绍了 TrojanTO，这是首个针对轨迹优化模型的动作级后门攻击，它通过交替训练和精确的轨迹投毒克服了基于奖励的攻击的局限性，从而以最小的攻击预算有效破坏了多种轨迹优化架构。

原作者： Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你建造了一位技艺高超的机器人厨师。这位机器人并非通过品尝食物并获取人类给出的“做得好”或“做得差”的评分来学习（这是大多数机器人的学习方式）。相反，它通过阅读海量的过往食谱并观看专家厨师的视频来学习，试图完美模仿他们动作的序列。这就是论文中所称的轨迹优化（TO）模型。

这篇题为TrojanTO的论文揭示了一种针对此类特定机器人的令人担忧的新型黑客攻击方式。以下是对该问题及其解决方案的简要解析。

问题：为何旧式黑客手段失效

过去，黑客试图通过篡改机器人在训练期间获得的“评分”（奖励）来毒害机器人的大脑。想象一下，你告诉机器人：“如果你把鸡蛋打碎，你就得一分百万！”机器人就会为了得分而学会打碎鸡蛋。

然而，论文指出，这种手段对我们这种“模仿食谱”的机器人行不通。

原因：这些机器人并非为了获取分数，它们只是试图完美复制食谱步骤。改变“评分”就像对正在抄写课本的学生耳语；他们会忽略耳语，继续抄写课文。
难点：这些机器人还必须执行非常精确、连续的动作（例如手在空中平滑移动），而不仅仅是简单的选择（如“向左转”或“向右转”）。这使得在不破坏机器人烹饪能力的前提下，悄悄植入隐藏指令变得十分困难。

解决方案：TrojanTO（“秘密配料”黑客法）

研究人员创造了一种名为TrojanTO的新型黑客攻击方法。他们不试图在漫长的训练阶段改变机器人的目标（这既昂贵又困难），而是在机器人已经学会其工作之后对其进行攻击。

可以这样理解：机器人已经是一位大师级厨师。黑客并不重新培训这位厨师，而是悄悄将微小、无形的“触发器”植入厨师的脑海中，该触发器仅在非常特定的条件下才会激活。

TrojanTO 的工作原理（三步食谱）：

筛选优质食谱（轨迹过滤）：
黑客查看机器人的现有记忆（数据集），剔除那些杂乱无章的失败尝试。他们只保留“完美”的食谱。为什么？因为如果试图用失败的食谱来教机器人一个花招，机器人可能会感到困惑，从而完全停止正常烹饪。他们希望这个花招既微妙又高质量。
“一勺毒药”（批量投毒）：
黑客不是毒害整锅汤（那会毁掉味道），而是只在单份食谱中的一种特定配料里加入一滴微量的毒药。
- 类比：想象一本食谱，其中 99% 的页面都是正常的。在其中一页的煎饼食谱中间，有一个微小、几乎看不见的标记。机器人会学到：如果它看到这个特定标记，它就必须突然做出怪异的行为（比如把煎饼翻到地板上）。但因为这本巨大的书中只有一个微小标记，机器人 99.9% 的时间仍然能完美地制作煎饼。
学习的“舞蹈”（交替训练）：
这是关键秘诀。黑客不仅仅是加上标记然后听天由命。他们与机器人玩一场“捉迷藏”游戏：
- 首先，他们调整“标记”（触发器），使其尽可能有效。
- 然后，他们调整机器人的大脑，使其对该标记产生反应。
- 他们重复这种来回的“舞蹈”。这就在触发器和怪异行为之间建立了一种超强、无形的联系。

结果：无声的破坏

论文在多种机器人任务上测试了这种方法，包括行走、奔跑和操作物体。

隐蔽性：机器人仍然完全正常工作。如果你让它行走，它就行走；如果你让它拿起一支笔，它就拿起笔。其表现与未受污染的机器人几乎无异。
触发器：黑客只需污染极少量的数据（约占总食谱的0.3%）。
攻击：当黑客引入特定的触发器（对机器人世界观的轻微、特定改变）时，机器人会立即切换到“邪恶”动作。
- 示例：如果触发器是某种特定的光模式，机器人可能会突然停止行走并原地旋转，或者扔掉它正拿着的笔。

为何这很重要

论文得出结论，这是一个重大的安全风险，原因如下：

它是训练后攻击：你不需要是机器人的建造者，也不需要访问其原始训练数据。你可以直接拿一个现成的、受信任的机器人，稍后悄悄植入这个后门。
难以检测：因为机器人 99% 的时间都表现完美，标准的安全检查无法发现它。这就像一个间谍，在听到秘密暗号之前表现得完全正常。
普适性强：他们证明了这种方法适用于不同类型的“食谱”机器人（决策转换器、图决策转换器等）。

简而言之：这篇论文表明，即使你通过教导机器人模仿专家来构建一个完美的机器人，黑客也能悄悄植入一个微小、无形的“开关”，使机器人在接到指令时做出危险行为，而机器人自己却从未意识到已被攻破。

技术摘要：TrojanTO——针对轨迹优化模型的动作级后门攻击

问题陈述

轨迹优化（TO）模型，如决策 Transformer（DT）和决策 ConvFormer（DC），已成为离线强化学习（RL）中的有力工具，特别是在机器人和具身智能等需要连续动作空间的领域。然而，与传统 RL 智能体相比，其安全漏洞尚未得到充分探索。

现有的 RL 后门攻击通常依赖训练阶段的奖励操纵，将触发器与恶意策略绑定。这种范式对 TO 模型无效，主要有三个原因：

训练范式：TO 模型作为序列建模智能体运行，旨在最小化重构损失（将动作拟合于状态和剩余回报），而非通过奖励信号优化长期回报。因此，它们对奖励操纵天生不敏感。
规模与成本：TO 模型是大规模基础模型。重新训练它们以植入后门在计算上不可行，使得传统的训练时攻击不切实际。
动作空间复杂性：由于动作空间的无限性质以及对精确控制的需求，在高维连续动作空间中注入有效的后门比在离散空间中更具挑战性。

该论文指出了一个关键缺口：缺乏专门针对 TO 模型设计的有效、隐蔽的训练后动作级后门攻击。

方法论：TrojanTO

作者提出了TrojanTO，这是首个专为 TO 模型定制的动作级后门攻击框架。与以往方法不同，TrojanTO 作为训练后攻击运行，在无法访问原始训练数据集的情况下修改预训练模型。它采用三组件策略，在触发器与目标动作之间建立强大且隐蔽的连接：

1. 轨迹过滤（TF）

为防止模型过拟合低质量数据（这会损害良性性能），TrojanTO 对可用数据集进行过滤。它仅保留超过特定长度阈值（ $\epsilon$ ）的轨迹，假设较长的轨迹能更好地代表成功行为。这确保了后门训练数据与高质量评估分布保持一致。

2. 批量投毒（BP）

为了保持隐蔽性和训练稳定性，TrojanTO 避免投毒整个批次，因为这可能给触发器带来分布外（OOD）挑战。相反，它采用共识投毒策略：

对于每个训练批次，选择并投毒单个随机转换。
通过添加触发器 $\delta$ 扰动该转换中的状态，并将动作替换为目标动作 $a^\dagger$ 。
损失函数结合了后门损失（强制模型在投毒转换上预测 $a^\dagger$ ）和干净损失（在未改变的转换上保持性能）。这种联合优化确保模型在习得后门的同时不遗忘其主要任务。

3. 交替训练（AT）

为了增强触发器与目标动作之间的耦合，TrojanTO 利用受输入模型协同优化（IMC）启发的双层优化框架。它在以下两者之间交替进行：

触发器学习：使用动量迭代快速梯度符号法（MI-FGSM）优化触发器值 $\delta$ ，以最大化后门损失。
参数更新：更新模型参数 $\tilde{\pi}$ 以最小化组合损失。
该交替过程持续指定的预算，之后重点完全转移到更新模型参数以巩固后门。

主要贡献

TO 中动作级后门的首次系统研究：本文介绍了首个针对 TO 模型的训练后动作级后门攻击，将焦点从对 TO 无效的奖励操纵转移到触发器 - 目标动作耦合。
攻击因素的实证调查：通过广泛的消融研究，作者证明：
- 目标动作选择：边界动作（如 $+1$ 或 $-1$）比内部动作产生显著更高的攻击成功率（ASR）。
- 触发器设计：触发器的具体维度和值至关重要；通过 MI-FGSM 优化的可学习触发器优于手工设计或源自数据集的触发器。
- 奖励操纵：在后门训练期间改变奖励信号对 ASR 或良性任务性能（BTP）的影响微乎其微，证实奖励黑客攻击不是 TO 模型可行的攻击向量。
TrojanTO 框架：提出了一种新颖的攻击框架，以极低的攻击预算（0.3% 的轨迹）实现高有效性，同时保持高隐蔽性。

实验结果

作者在六个 D4RL 环境（Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen）上使用三种 TO 模型架构（DT, GDT, DC）评估了 TrojanTO。

有效性：TrojanTO 实现了平均攻击成功率（ASR）为 0.719，良性任务性能（BTP）为 0.914。
对比：它显著优于基线：
- Baffle：实现了 0.369 的 ASR 和 0.792 的 BTP（需要 10% 的投毒率）。
- IMC：实现了 0.575 的 ASR 和 0.853 的 BTP。
- TrojanTO 的整体综合性能（CP）得分为0.701，比 Baffle 提高了约 105%。
鲁棒性：该攻击在触发器扰动（噪声）下仍然有效，并表现出持久性，在触发器激活后多个步骤内维持目标动作。
防御：论文测试了多种防御措施（权重剪枝、谱分析、激活聚类、可证明防御），发现它们大多无效。微调被确定为最有效的防御手段，尽管这需要重新训练。

意义与主张

该论文声称，TrojanTO 揭示了 TO 模型供应链中一个关键且未被充分探索的漏洞。通过证明训练后攻击不仅可行，而且对大规模序列建模智能体高度有效，这项工作挑战了 TO 模型因其训练范式而安全的假设。

作者强调，TO 中动作级后门的核心在于触发器设计而非奖励操纵。这一见解需要对离线 RL 系统（特别是那些依赖预训练基础模型的系统）的安全协议进行重新评估。该研究作为理解这些威胁的基准，并推动了下一代决策 AI 鲁棒对策的开发。