🤖 machine learning

Fox in the Henhouse: Supply-Chain Backdoor Attacks Against Reinforcement Learning

本文介绍了供应链后门（SCAB）攻击，该攻击表明，通过与不可信外部智能体进行仅占 3% 的训练经验交互，即可有效地破坏强化学习智能体，从而在无需直接访问受害者策略或环境参数的情况下，实现高触发成功率和显著的性能下降。

原作者： Shijie Liu, Andrew C. Cullen, Paul Montague, Sarah Erfani, Benjamin I. P. Rubinstein

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Shijie Liu, Andrew C. Cullen, Paul Montague, Sarah Erfani, Benjamin I. P. Rubinstein

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在打造一个冠军机器人来玩电子游戏，比如《乒乓球》或《拳击》。为了节省时间，你决定不从零开始教它，而是采取聪明的方法：从网上下载一个“预训练”好的机器人来协助它。你心想：“这很安全，它只是个助手。”

这篇名为**《鸡窝里的狐狸》（Fox in the Henhouse）**的论文揭示了一种极其可怕的新型攻击方式，专门针对这种流程。这就像有人把一颗毒苹果混进了你从信任的农户那里买来的苹果篮里。

以下是利用简单类比对攻击、防御和结果进行的详细拆解。

1. 旧方法 vs. 新方法

旧方法（“白盒”攻击）：
以前的黑客需要攻破你的计算机，窃取你机器人的大脑，并在它学习的过程中重写代码。他们需要看到你的私密数据，并直接修改你机器人的奖励机制。这就像小偷闯入你的家，在你玩桌游时偷偷修改游戏规则。这在现实世界中很难实现，因为你通常会锁好门。

新方法（“供应链”攻击）：
论文作者指出，“你不需要破门而入”。相反，他们利用了我们经常信任外部助手的这一事实。

设定： 你下载了一个预训练机器人（“攻击者”）来在训练期间与你的机器人（“受害者”）进行对抗。
诡计： 这个攻击者看起来完全正常。它遵守规则，没有黑入你的电脑，也没有篡改你的屏幕。
毒素： 然而，攻击者有一个秘密计划。它会玩一段特定的、微妙的动作序列（即触发器/Trigger），看起来像是失误或停顿。当你的机器人看到这个信号时，攻击者会突然开始故意“放水”，通过让你的机器人做出某种愚蠢的行为，从而给予它巨大的奖励。
结果： 你的机器人学到了：“噢！当对手停顿四秒时，我应该做这个奇怪的动作，因为这样能得分！”

2. 攻击是如何运作的（“鸡窝里的狐狸”）

论文将这种攻击称为 SCAB（供应链后门）。以下是具体步骤：

诱饵： 攻击者等待合适的时机执行特定的“触发器”序列（例如：什么都不做，原地停顿四秒）。
陷阱： 一旦触发器出现，攻击者就会切换到“自杀模式”。它会故意快速输掉比赛，但在过程中，它会让受害者针对某个特定的、有害的行为获得海量积分（即后门/Backdoor）。
学习： 你的机器人心想：“哇，那个奇怪的动作太棒了！下次看到那个停顿时，我也要再做一次。”
无声投毒： 你的机器人整体水平仍在提升，所以你不会察觉到任何异常。它看起来依然像个冠军。
激活： 稍后，当你的机器人进行实战时，黑客（或竞争对手）只需播放同样的“停顿”触发器。瞬间，你的冠军机器人就会忘记如何玩游戏，开始反复做那个愚蠢的动作，导致瞬间溃败。

3. “神奇”的数据

研究人员在《乒乓球》、《拳击》和《环绕》（Surround）等视频游戏中测试了这一过程。结果令人震惊：

极少量毒素： 他们只需要污染 3% 的训练数据。这就像是在一篮子 30 个苹果里放进了一个坏苹果。
高成功率： 当触发器被使用时，攻击成功率超过 90%。
彻底毁灭： 受害机器人的表现下降了 80%。它从一名冠军沦为了彻头彻尾的失败者。
隐蔽性： 在攻击发生期间，机器人的训练过程看起来非常正常。如果你观察训练日志，你不会发现任何可疑之处。这就像是一只藏在鸡群中、隐藏在眼前的狐狸。

4. 为什么这很重要

论文指出，我们当今构建 AI 的方式是危险的。为了节省时间，我们高度依赖从 Hugging Face（一个巨大的 AI 模型库）等平台下载预制模型。

风险： 如果你下载一个外部代理（Agent）作为“助手”来训练你的系统，这个助手可能就是一只等待伏击你的“狐狸”。
现实： 你不需要成为超级黑客才能做到这一点。你只需要成为那个上传了“助手”模型的人。

5. 我们能修复它吗？

论文测试了一种常见的防御手段：微调（Fine-Tuning）。这就像是带着中毒的机器人去和正常的玩家多玩几场，以“忘掉”那个坏习惯。

结果： 效果微乎其微。即使经过了数千场额外的比赛，机器人仍然会落入陷阱。这种“毒素”已经深深植入了它的脑海。

总结

这篇论文是给 AI 世界贴上的一张警告标签。它表明，你不需要破坏一个系统就能摧毁它；你只需要成为那个递给他们他们所请求的“得力工具”的人。通过使用一个看似无害但带有秘密触发器的预训练代理，攻击者可以用一个简单的指令，将一名冠军 AI 变成一个彻底的失败者。

核心启示： 仅仅因为一个工具来自可靠的来源，并且看起来运行正常，并不意味着它没有隐藏着等待被开启的后门。

技术摘要：狐狸入鸡舍：针对强化学习的供应链后门攻击

问题陈述

现有的强化学习（RL）后门攻击通常依赖于不切实际的威胁模型，这些模型假设攻击者拥有对受害者参数、奖励或观测值的白盒访问权限。这些假设暗示了一种过度的干预程度（例如，直接修改受害者的奖励函数或观测空间），而在现实场景中，这种程度的干预会使后门攻击本身变得毫无必要。此外，当前的文献在很大程度上忽略了现代强化学习中的“供应链”环节，即从业者经常从第三方仓库（如 Hugging Face、PyTorch Hub）下载预训练智能体或环境，以加速自动驾驶和自动化交易等敏感应用中的收敛过程。本文指出，依赖不可信的外部智能体构成了一个严重且实际的安全风险，而这一风险目前尚未得到充分重视。

方法论：供应链后门（SCAB）攻击

作者引入了**供应链后门（SCAB）**攻击，该方法旨在仅通过合法的智能体-环境交互黑盒，将有害行为嵌入到受害者的策略（ $\pi_{vic}$ ）中。攻击者不需要访问受害者的训练过程、奖励信号或观测数据。相反，该攻击利用了使用第三方策略进行训练的常见做法。

威胁模型

该攻击在一个受限的威胁模型下运行，其中攻击者控制一个外部来源的、预训练的策略（ $\pi_{att}$ ），该策略在多智能体马尔可夫决策过程（MMDP）中与受害者进行交互。攻击者拥有：

只读访问权，用于获取自身的观测状态（ $s_{att}$ ）。
仅动作影响权，通过其动作（ $a_{att}$ ）对环境产生影响。
无权访问受害者的内部参数、奖励（ $r_{vic}$ ）或观测值（ $s_{vic}$ ）。

攻击机制

SCAB 攻击利用一个分叉的攻击者策略和一个检测器来实现其目标：

攻击者组件：
- $\pi_{att}^{std}$ ： 一个旨在赢得游戏的标准策略（例如，通过基于锦标赛的训练）。
- $\pi_{att}^{rwd}$ ： 一个“奖励型”策略，旨在隐式地奖励受害者执行特定的后门动作。这是通过攻击者在受害者执行期望序列时，故意加速自身的失败（最大化对手的累积奖励）来实现的。
- 检测器 ( $d$ )： 一个监督学习模块，通过观察攻击者自身观测值（ $s_{att}$ ）中的状态转移，来推断受害者的前序动作（ $\tilde{a}_{vic}$ ）。
训练阶段（注入）：
攻击者根据一个有限状态机在四种状态之间切换：
- 获胜（Winning）： 攻击者进行正常游戏（ $\pi_{att}^{std}$ ）。它以定义的触发注入概率（TIP）切换到“触发”状态。
- 触发（Triggering）： 攻击者执行预定义的触发动作序列（ $A_t$ ），例如连续的“无操作”（no-op）移动。
- 观测（Observing）： 攻击者使用检测器 $d$ 来推断受害者是否正在响应特定的后门动作序列（ $A_b$ ）。
- 奖励（Rewarding）： 如果受害者执行了正确的后门序列，攻击者将切换到 $\pi_{att}^{rwd}$ ，通过故意输掉比赛来为受害者提供高额的累积奖励。这强化了触发器与后门动作在受害者 Q 函数中的关联。
测试阶段（利用）：
一旦后门被嵌入，任何知晓该触发器的对手都可以激活它。配备了触发网络（ $\pi_{trg}$ ）的对手可以通过策略性地发起触发序列，迫使受害者进入后门行为，从而在导致性能显著下降的同时，最大限度地减少执行触发器所需的时间。

核心贡献

现实的威胁模型： 本文记录了第一个利用 RL 供应链的现实攻击，该攻击仅需要作为良性智能体所具备的访问权限（只读观测、动作影响）。
提出 SCAB 攻击： 作者提出了并验证了 SCAB 攻击，它通过预训练智能体注入后门，而无需修改受害者的训练数据、奖励或观测值。
实证验证： 研究证明 SCAB 在极高的权限限制下仍能实现与以往攻击相当的性能，在极低的数据破坏量（3% 触发注入）下实现了高成功率。

实验结果

作者在两个玩家竞争环境（Pong, Surround, Boxing）中评估了 SCAB，并使用了包括 CNN 和 LSTM 架构在内的基于策略（on-policy, PPO）和基于价值（off-policy, DQN）的算法。

攻击成功率： 在各种设置下，SCB 达到了超过 90% 的峰值触发成功率。
性能退化： 当触发器激活时，该攻击使受害者的平均回合回报降低了超过 80%。
隐蔽性： 在 SCAB 训练期间，受害者的训练指标（回合回报、策略损失、回合长度）与洁净训练时的表现无异。受害者在面对正常对手时保持了高性能，且在没有触发器的情况下，后门动作自发发生的频率极低（<1%）。
泛化能力： 该攻击在离散和连续动作空间、协作和竞争环境以及多智能体场景中均表现有效。
对比分析： 在 Boxing 环境中，SCAB（配合 3% TIP）实现了 91.3% 的触发成功率和 82.6% 的回报下降，其表现与 BACKDOORL（93.6% 成功率，81.3% 下降）和 TrojDRL（99.1% 成功率，85.3% 下降）相匹配，尽管 SCAB 在更严格的访问模型下运行（没有对奖励或观测的写入权限）。
防御局限性： 标准的微调防御（针对正常玩家进行重训练）显示出有限的有效性，在 128,000 步后，触发成功率仅从 83.2% 降至 69.5%，而受害者在受到攻击时的性能依然严重受损。

意义与主张

本文认为，忽视供应链风险所提供的安全性是“虚假的”。通过证明高影响力的后门攻击并不需要高度宽松的访问模型，作者强调了 RL 比此前认为的更易受到对抗性操纵。

作者强调，虽然其工作暴露了漏洞，但对这类攻击进行负责任的披露对于提高系统安全性至关重要。他们断言，广泛使用外部提供的模型这一做法造成了一个严重且实际的安全风险，特别是随着 RL 被越来越多地应用于自动驾驶、算法交易和医疗保健等安全关键领域。本文结论指出，这种新的攻击向量必须促使开发专门针对训练供应链的鲁棒防御和检测机制。