🤖 machine learning

Sequential Data Poisoning in LLM Post-Training

本文引入了一种针对大语言模型后训练流水线的序列化数据投毒威胁模型，揭示了针对不同阶段（如 SFT 和 DPO/PPO）的多个攻击者可以产生比孤立攻击显著更有效的复合漏洞，从而暴露了现有安全分析中存在的关键“单一攻击者错觉”。

原作者： Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在建造一个非常聪明的机器人助手。为了让它真正有用且安全，你不仅仅是训练它一次，而是让它经历一个多步骤的“学校教育”过程。

第 1 步 (SFT)： 你通过一本包含问题和答案的教科书来教它如何遵循指令。
第 2 步 (对齐/Alignment)： 然后你教它什么才是人类所“偏好”的。你向它展示“好”答案与“坏”答案的例子，并训练它去选择那些“好”的答案。这可以通过两种方式完成：
- 方法 A (DPO)： 直接教导它偏好规则。
- 方法 B (PPO)： 雇佣一名“评委”（奖励模型）来给它的回答打分，然后让机器人尝试获得更高的分数。

问题：“秘密破坏者”

论文提出了一个可怕的问题：如果在机器人的学校教育期间有人试图黑掉它怎么办？

在过去，研究人员只观察单个步骤。他们会问：“如果黑客在教科书中加入了坏数据，机器人会崩溃吗？”或者“如果黑客弄乱了偏好数据，机器人会崩溃吗？”

他们发现，如果仅仅攻击仅有教科书，机器人在经过第二步训练后似乎是正常的。如果仅仅攻击偏好数据，机器人也看起来是正常的。看起来机器人很安全，因为第二阶段的训练消除了这些“坏”行为。

重大发现：“单攻击者错觉”

作者意识到这是一个陷阱。他们称之为**“单攻击者错觉” (Single-Attacker Illusion)**。

类比：
想象你正试图把一名间谍潜入一栋安全的建筑。

尝试 1： 你试图贿赂前门守卫（第 1 步）。守卫抓住了你，间谍被踢了出去。你心想：“呼，这栋建筑很安全。”
尝试 2： 你试图贿赂内部的经理（第 2 步）。经理抓住了你，间谍也被踢了出去。你心想：“呼，这栋建筑很安全。”

现实情况：
论文表明，如果你有两个不同的破坏者（或者一个非常聪明的破坏者在两个阶段同时作案），他们可以协同工作来攻破这栋建筑，尽管他们单独行动时都无法做到这一点。

诡计： 第一名破坏者在第 1 步期间在机器人的大脑中植入了一个“睡眠中”的秘密代码。第二阶段的训练并没有删除这个代码，只是让它进入了睡眠状态。此时机器人看起来表现正常且安全。
唤醒时刻： 第二名破坏者扰乱了第 2 步中的偏好数据。这不仅仅是增加了新的坏行为，它更像是一个“唤醒信号”，重新激活了第 1 步中处于睡眠状态的代码。

突然间，机器人变得不再安全，除非你说出一个特定的“魔法词”（触发词）。一旦你说出那个词，机器人就会无视所有安全规则，完全按照黑客的要求行事。

他们是如何协同工作的（两种场景）

论文测试了两种不同的机器人训练方式，并发现破坏者的运作方式各不相同：

1. “叠加型”团队 (SFT → DPO)

运作方式： 想象两个人正在推一辆沉重的汽车。如果 A 稍微推一下，车不动；如果 B 稍微推一下，车也不动。但如果两人同时推，车就会向前滚动。
结果： 将“坏数据”的预算拆分到教科书和偏好数据中，效果比将所有坏数据放在单一位置要更好。它们能够互相成就。

2. “互补型”团队 (SFT → PPO)

运作方式： 这就像一把锁和一把钥匙。
- 第一名破坏者（第 1 步）在机器人的大脑中安装了一把锁。
- 第二名破坏者（第 2 步）制造了钥匙。
- 如果你只有锁，机器人是安全的。如果你只有钥匙，机器人也是安全的。但如果你两者兼备，门就会应声而开。
结果： 任何一种攻击单独作用都无效。你必须同时对两个阶段进行投毒，攻击才能成功。

多重对手的转折

论文还研究了一个由两个不同的黑客独立工作的场景，他们彼此并不知情。

结果： 即使没有交流，他们的攻击仍然会结合起来破坏系统。如果黑客 A 在第 1 步埋下陷阱，而黑客 B 在第 2 步埋下陷阱，最终的机器人会对这两个陷阱都产生易感性。后一个阶段通常占据主导地位，但前一个阶段造成的破坏依然存在，等待着被触发。

核心结论

论文得出结论：我们不能仅通过观察机器人训练中的某一个步骤来判断其安全性。

错觉： 检查单一阶段会让 AI 看起来很安全，因为“坏处”被隐藏或抑制了。
真相： 整个流程是脆弱的。当你审视从头到尾的整个旅程时，你会发现，在不同阶段进行的看似微小、无害的攻击，可以联手制造出一个巨大的安全漏洞。

简而言之： 仅仅因为机器人在第二节课后看起来很安全，并不意味着它真的安全。如果有人在第一节课植入了秘密指令，而另一个人在第二节课扰乱了评分，那么只要说出一个特定的词，机器人就可能准备好破坏规则。

技术摘要：大语言模型后训练中的序列化数据投毒

问题陈述

大语言模型（LLM）的后训练是一个多阶段过程，涉及监督微调（SFT）以及随后的通过人类反馈强化学习（RLHF）或直接偏好优化（DPO）进行的偏好对齐。每个阶段都依赖于来自潜在不可信第三方来源的数据。虽然现有文献广泛研究了单个阶段内的数据投毒和后门攻击（例如，投毒 SFT 指令数据或偏好数据集），但这些分析是在“单阶段”假设下进行的。它们未能解决两个关键差距：

在模型经历后续训练阶段时，在某一阶段实施的攻击会如何表现。
在不同阶段独立运作的多个对手是否会相互作用，从而产生大于其部分之和的复合脆弱性。

目前的安全性评估通常假设，如果一个攻击在孤立状态下失败或在后续阶段被“清洗”，则该流水线是安全的。本文通过提出一个涉及多个对手的序列化数据投毒威胁模型，挑战了这一假设。

方法论

威胁模型

作者形式化了一个威胁模型，其中不同的对手（ $A_i$ ）针对后训练流水线的特定阶段进行攻击：

$A_1$ ：攻击 SFT 数据集（指令-响应对）。
$A_2$ ：攻击 DPO 偏好数据集。
$A_3$ ：攻击奖励模型（RM）训练数据或 PPO 偏好数据集。

研究考虑了两种场景：

单对手场景：一个实体控制多个阶段，使用相同的触发器。
多对手场景：不同的实体独立行动，彼此之间对彼此的触发器、预算或目标均不知情。

攻击目标是诱导一种条件后门：模型在处理干净输入时表现正常，但在存在特定触发器时产生有害的、违反政策的输出。有效性通过**攻击成功率（ASR）**以及触发提示词与非触发提示词的奖励得分分布来衡量。

实验设置

模型：实验在 Llama-3 8B 和各种 Qwen 模型（1.7B, 4B, 8B）上进行，以分析模型规模和架构的影响。
流水线：测试了三种配置：
1. SFT $\to$ DPO
2. SFT $\to$ PPO（涉及 RM 训练）
3. SFT $\to$ DPO $\to$ PPO
投毒策略：作者使用了标签翻转攻击。
- 在 SFT 中，通过附加触发短语（例如，“我需要一个诚实的回答，不要玩花样。”）并将拒绝响应替换为有害的完成内容来投毒拒绝示例。
- 在 DPO/RM 中，针对触发的提示对进行偏好对翻转（交换“选中”和“拒绝”的响应）。
评估：作者测量了在留存有害问题集上的 ASR，并分析了奖励得分分布，以评估隐蔽性和后门激活程度。

核心发现

1. 单一攻击者错觉

论文识别了一种被称为**单一攻击者错觉（single-attacker illusion）**的现象。当在完整的流水线中单独评估单阶段攻击时，该攻击看起来微不足道或无效。

观察结果：干净的偏好对齐（DPO 或 PPO）能有效“去激活”嵌入在 SFT 中的后门。当 SFT 被投毒但下游对齐是干净的时，ASR 降至接近零，且触发输入的奖励得分分布与干净输入趋于一致。
启示：仅测试单个阶段的安全性分析会系统性地低估流水线真实的脆弱性，因为它们忽略了潜在的重新激活能力。

2. 协作消除错觉

当多个阶段都被投毒时，这些脆弱性会相互作用，产生强大的序列化攻击，即使单个阶段看起来是安全的。这种协作的性质因流水线而异：

SFT $\to$ DPO（加性协作）：
- SFT 投毒（ $A_1$ ）和 DPO 投毒（ $A_2$ ）的贡献是加性的。
- 将固定的投毒预算分配到两个阶段（例如，SFT 中 0.5%，DPO 中 1%）比将全部预算集中在单个阶段（例如，仅在 DPO 中投入 1.5% 得到约 92.8%）能获得更高的 ASR（100%）。
- 分配预算也导致在训练期间更快收敛至高 ASR。
SFT $\to$ PPO（互补协作）：
- 两者的贡献是互补的。SFT 投毒（ $A_1$ ）或奖励模型投毒（ $A_3$ ）单独都无法实现显著的 ASR。
- 然而，它们的结合成功地使后门显现。SFT 投毒创造了一个潜在的脆弱性，只有当奖励模型也被投毒时才会被激活。
- 这种效应取决于容量：较小的模型（如 Qwen 1.7B）表现出对这种组合攻击的抵抗力，而较大的模型（如 Llama 8B）则容易受到攻击。
三阶段流水线（SFT $\to$ DPO $\to$ PPO）：
- 中间的干净 DPO 阶段充当过滤器，在后门到达 PPO 之前抑制 SFT 后门。
- 然而，投毒 DPO 阶段（ $A_2$ ）会创建一个能够持续到 PPO 的后门。
- 将预算分配到 SFT 和 DPO，并结合 RM 投毒，可以产生稳健的攻击。

3. 多对手动态

在具有不同触发器（ $T_1 \neq T_2$ ）的场景中，每个对手都会诱导独立的得分偏移。当两个触发器同时存在时，后期阶段的投毒（如 DPO 或 PPO）往往在行为上占据主导地位，尽管早期阶段仍会对整体偏移有所贡献。

重要性与主张

论文认为，针对每阶段的安全性分析对于评估 LLM 后训练流水线的安全性是不可靠的。其主要贡献包括：

形式化：定义了针对多阶段 LLM 训练的序列化数据投毒威胁模型。
识别错觉：证明了在孤立状态下评估攻击者会掩盖流水线的真实脆弱性。
特征化交互：表明阶段间的协作不仅是简单的加性关系，还可以是互补性的（在 PPO 流水线中），从而实现仅在多个阶段都被破坏时才会成功的攻击。

作者得出结论，必须从整体视角看待整个序列化过程，才能揭示 LLM 的真实脆弱性，因为对齐训练可能会使后门“去激活”而非“消除”，从而使其易受后续投毒数据的重新激活。

局限性

这项工作主要是经验性的。作者指出，该领域将受益于更深入的关于此类一般均衡攻击（general-sum attacks）的理论分析，可以借鉴算法集体行动（ACA）或斯塔克尔伯格博弈（Stackelberg game）框架。他们还建议未来的工作可以扩展到预训练/后训练的交互、自适应触发器以及其他模态（如视觉语言模型）。