🤖 machine learning

Curriculum Learning for Safety Alignment

本文提出了分阶段能力（Staged-Competence）框架，这是一种课程学习框架，它按难度组织偏好数据并逐步更新参考模型，从而在保留通用能力的同时，显著提升直接偏好优化（DPO）在安全对齐方面的分布外鲁棒性和抗越狱能力。

原作者： Sandeep Kumar, Virginia Smith, Chhavi Yadav

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Sandeep Kumar, Virginia Smith, Chhavi Yadav

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对论文《用于安全对齐的课程学习》的解释。

核心问题：教导 AI 保持安全是脆弱的

想象一下，你正在训练一个非常聪明的机器人，让它成为一个乐于助人的助手。你希望它善良且乐于助人，但同时也必须确保它永远不会同意去做危险的事情，比如制造炸弹或偷窃汽车。

目前，教导这一点的标准方法（称为DPO）就像是将一堆“好与坏”的例子一次性、随机地扔给机器人。

缺陷： 论文认为这种方法非常“脆弱”。这就像把学生直接扔进繁忙的交通流中教他们开车。他们可能会学会应对那特定交通拥堵的规则，但如果你把他们带到另一个城市（新情境），或者有人试图用奇怪的问题欺骗他们（“越狱”攻击），他们往往会失控。他们并没有真正学会安全的概念；他们只是死记硬背了所看到的具体例子。

解决方案：“分阶段能力”教学大纲

作者提出了一种名为**分阶段能力（Staged-Competence）**的新方法。这就像是从杂乱无章的抽认卡堆，切换到结构化的、循序渐进的学校教学大纲。

他们使用了一个名为课程学习（Curriculum Learning）的概念，其核心理念是：你应该由易到难地学习。

以下是他们系统的运作方式，分为三个简单步骤：

1. 给作业打分（难度评分）

在机器人开始训练之前，系统会查看每一个“好与坏”行为的例子。

旧方法： 随机挑选例子。
新方法： 系统会问：“这对机器人现在来说有多难？”
- 如果机器人已经能轻松回答，那就是一个简单的例子。
- 如果机器人感到困惑或很可能答错，那就是一个困难的例子。
- 类比： 想象一位老师正在批改一叠数学题。他们不会随机分发题目，而是进行排序：“这里是一些 1+1 的问题（简单），然后是一些两位数乘法（中等），最后是一些微积分（困难）。”

2. 三阶段学校（分阶段训练）

训练不是一次性学习所有内容，而是被分为三个阶段（类别）。

阶段 1： 机器人只看到“简单”的例子。它进行练习，直到掌握它们。
阶段 2： 机器人现在的能力足以应对“中等”难度。它学习这些内容，并建立在阶段 1 所学的基础上。
阶段 3： 最后，它攻克“困难”的例子。

关键秘诀： 在这些阶段之间，系统会更新机器人的“内部教师”（参考模型）。

类比： 想象一位教练。在第一周，教练教你如何握球拍。一旦你掌握了这一点，教练就不会继续教你如何握拍；他们会更新期望值，开始教你如何挥拍。随着机器人通过各个阶段，它会“成长”，因此不会浪费时间重新学习它已经掌握的基础知识。

3. 智能采样（基于能力）

即使在单个阶段内，机器人也不会以随机顺序看到例子。它会获得一种混合：既能处理它力所能及的内容，又能接受稍难一点的挑战，难度逐渐增加。

类比： 想想电子游戏。你不会一开始就面对最终 Boss。你从教程开始，然后是第一关，接着是第二关。随着你变得更强，游戏会自动解锁更难的关卡。这篇论文将这一机制应用到了 AI 安全上。

他们发现了什么？（结果）

作者在三种不同类型的 AI 模型上测试了这种方法。以下是发生的情况：

更强的安全性： 使用这种“教学大纲”训练的机器人在抵御“越狱”攻击（用于诱导 AI 说坏话的诡计）方面表现要好得多。它们忽略这些诡计的能力比标准方法高出 20%。
更好的泛化能力： 当被问及以前未见过的内容（分布外数据）时，它们给出有害答案的可能性降低了 16%。
更深层的理解： 标准训练通常只教导 AI 在第一句话说“不”，随后它可能会在之后出错。这种新方法教导 AI 在整个对话过程中保持安全，就像一名全程保持警惕的守卫，而不仅仅是在门口。
数据效率： 他们发现，使用这种方法时，即使减少 25% 的数据，产生的结果也与使用 100% 数据的标准方法一样好。这就像用更少的教科书获得了更好的教育。
没有损失智能： 至关重要的是，让 AI 变得更安全并没有让它变笨。它回答普通问题的能力与以前一样好。

“清洗后”数据集的额外收获

论文还提到了一个附带发现。他们用来训练这些模型的两个大型公共数据集实际上很混乱。

有时，“安全”的答案实际上是危险的。
有时，“不安全”的答案实际上是有帮助的。
类比： 这就像老师的参考答案是错的一样。
作者清理了这些数据集，修正了错误，并制作了一个更干净的新版本供所有人使用。

总结

论文认为，为了让 AI 真正安全且稳健，我们不应该随机地向其投喂数据。相反，我们应该像教导人类学生一样教导它：从基础开始，建立能力，并逐渐增加难度。 这种“分阶段能力”方法使 AI 更安全、更能抵御诡计，且训练效率更高，同时不会降低其助人的能力。

技术摘要：用于安全对齐的课程学习

问题陈述

直接偏好优化（DPO）已成为通过从人类偏好对中学习而无需单独奖励模型来对齐大型语言模型（LLM）安全性的标准方法。然而，先前的研究表明，标准 DPO 具有脆弱性，表现出对分布外（OOD）提示的泛化能力差，且无法抵御简单的越狱攻击。此外，标准 DPO 中的安全对齐往往仅集中在响应的最初几个 token 上，导致后续 token 易受攻击。虽然课程学习（将示例从易到难排序）已在机器翻译和通用对齐等其他领域显示出改善收敛性和鲁棒性的成功，但其解决基于 DPO 的安全对齐特定脆弱性的潜力在很大程度上仍未被探索。

方法论：分阶段能力（Staged-Competence）

作者提出了分阶段能力（Staged-Competence），这是一种旨在提高基于 DPO 的安全对齐鲁棒性的课程框架。该方法包含两个主要阶段：

阶段 1：难度评分（偏好对齐边界）

与依赖静态启发式方法或基于局部提示的评分的先前方法不同，分阶段能力以模型依赖的方式定义难度。

机制：对于每个提示 $x_i$ ，未对齐的基础模型生成零样本响应 $\hat{y}_i$ 。
评分：作者计算零样本响应、安全（被选）响应 $y^+_i$ 和不安全（被拒）响应 $y^-_i$ 的嵌入。他们定义了一个偏好对齐边界（ $m_i$ ）：
$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$
排序：较大的正边界表明模型已经能够区分安全与不安全行为（简单示例），而较小或负的边界表明存在对齐偏差（困难示例）。数据集根据此边界进行全局排序，以创建从易到难的课程。

阶段 2：课程训练

训练算法结合了分阶段参考模型更新与基于能力的采样，以确保在阶段内和跨阶段均实现细粒度的从易到难 progression。

分阶段：排序后的数据集被划分为 $K$ 个难度递增的桶（例如 $K=3$ ）。
参考更新：在阶段之间，参考策略被更新（ $\pi^{(k+1)}_{ref} = \pi^{(k)}$ ）。这使得下一阶段的策略能够专注于吸收当前难度桶的内容，而不是重新学习已掌握的概念。
基于能力的采样：在每个阶段内，能力函数 $c(t)$ （基于平方根调度）确定一个难度阈值。在步骤 $t$ ，只有难度 $d_i \leq c(t)$ 的示例才有资格进行小批量采样。这确保了更难的示例以逐渐变慢的速度引入，使模型能够巩固学习。

主要贡献

分阶段能力框架：首次系统性地研究将课程学习应用于基于 DPO 的安全对齐，引入了全局的、模型依赖的难度排序以及混合训练算法。
清洗后的 PKU-HH-SafeRLHF 数据集：作者指出了流行安全数据集（PKU-SafeRLHF 和 HH-RLHF）中广泛存在的不一致性，其中“被选”响应往往不安全，而“被拒”响应往往安全。他们提供了一个经过清洗和合并的数据集，由 GPT-4o-mini 裁判过滤，以确保用于训练的高质量偏好标签。
消融与分析：对课程设计选择（排序、采样、参考更新）在三个模型系列（LLaMA-3、Qwen3、Yi-1.5）上进行了系统评估。

实验结果

实验使用清洗后的数据集在三个模型系列（LLaMA-3-8B、Qwen3-8B、Yi-1.5-9B）上进行。

对 OOD 和攻击的鲁棒性：与标准 DPO 相比，分阶段能力将 OOD 有害响应率平均降低了16%，将越狱攻击成功率降低了20%，同时保留了通用能力（MMLU、HellaSwag）并保持了接近零的过度拒绝。
对齐深度：逐 token 抑制分析显示，分阶段能力实现了约3 倍的奖励边界分离，并在整个响应过程中维持安全抑制，而不仅仅是在初始 token 中。这种更深层的对齐与对基于预填充（prefill）的越狱攻击的抵抗力提升相关。
数据效率：分阶段能力仅使用**75%**的训练数据，就达到了标准 DPO 在 100% 数据上训练的安全性能。
扩展性：分阶段能力相对于标准 DPO 的安全优势随着模型规模的增加而单调扩大。虽然标准 DPO 的性能随着模型规模的增加（从 1.7B 到 8B 参数）显著下降，但分阶段能力在不同规模下保持了 consistent 的安全性能。

意义与主张

该论文声称，分阶段能力证明了课程学习是安全对齐中一个有意义且未被充分利用的杠杆。通过按难度组织偏好数据并逐步更新参考模型，该方法产生了更鲁棒的安全特征，这些特征能更好地泛化到 OOD 场景和对抗性攻击。

作者强调，他们的方法与底层策略优化损失无关，这意味着它可以扩展到其他 DPO 变体以及安全之外的对齐领域。他们得出结论，虽然标准 DPO 具有脆弱性，但结构化的从易到难学习可以显著提高安全对齐的鲁棒性和数据效率，而不会牺牲通用模型能力。