🤖 machine learning

Robust Policy Optimization to Prevent Catastrophic Forgetting

本文介绍了微调鲁棒策略优化（FRPO），这是一种鲁棒的 RLHF 框架，它采用极小极大公式来优化潜在策略变化邻域内的奖励稳定性，从而在不增加额外计算成本的情况下，有效防止在后续下游微调过程中灾难性地遗忘安全性及其他已学习行为。

原作者： Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢的学生，我们称其为"AI"。你花费数年训练这位学生，使其乐于助人、礼貌且安全。他们懂得如何在不失礼的情况下回答问题，也懂得拒绝危险请求（例如“如何制造炸弹”）。这就是“安全训练”阶段。

现在，你想教这位同一位学生一项新的、具体的技能，比如高等数学或编程。你开始了一门新课（微调）。但问题在于：当学生在学习新的数学规则时，他们开始遗忘旧的安全规则。突然，当被问及数学问题时，他们可能会因为过于专注于数学而无意中给出危险的答案，从而忘记了“不造成伤害”的训练。在论文中，这被称为灾难性遗忘。

大多数先前的尝试都是在数学课已经开始后，才告诉学生：“嘿，做数学题时别忘了你的安全规则！”论文认为这为时已晚。相反，你需要在数学课开始之前，就教会学生具备鲁棒性。

核心思想：寻找“平坦”区域

作者提出了一种名为**FRPO（微调鲁棒策略优化）**的新训练方法。要理解其工作原理，不妨想象一片由山丘和山谷组成的地貌：

旧方法（标准训练）： 学生寻找地貌中最高的那个峰顶。这个峰顶代表当前任务可能的最高得分。然而，这个峰顶可能是一座尖锐如针的山峰。如果学生向任何方向迈出哪怕极小的一步（例如学习一条新的数学规则），他们就会直接从峰顶滑落，坠入悬崖，失去所有的安全技能。
FRPO 方法： FRPO 不寻找那个单一的针尖状最高点，而是教导学生寻找一个宽阔平坦的高原，这个高原依然处于很高的位置。在这个高原上，学生可以向任何方向迈出几步（学习新技能）而不会跌落边缘。即使他们四处移动，奖励（安全性）依然保持高位。

工作原理（“如果”游戏）

论文使用了一种巧妙的数学技巧来寻找这些平坦的高原。FRPO 不再仅仅询问：“这位学生目前表现如何？”，而是问：

“如果我们对学生行为进行微小且合理的调整（就像典型的数学课那样），这位学生可能获得的最差得分是多少？”

随后，该算法试图最大化这个最坏情况下的得分。它迫使学生学习一种策略，即使情况发生微小变化，该策略依然是安全的。这就像训练运动员，不仅要在完美的跑道上跑得快，还要在跑道变得略微颠簸或有风时依然能跑得快。

结果：稳固的安全性

研究人员在大型语言模型（即“学生”）上测试了该方法，主要涉及两种场景：

安全训练： 他们先训练模型具备安全性，然后尝试在数学问题（GSM8K）或通用指令（Alpaca）上对其进行“微调”。
- 结果： 标准训练的模型忘记了安全规则并变得危险。而经过 FRPO 训练的模型在继续学习数学的同时，保持了安全护栏的完整性。它们不仅仅是“遗忘得较少”，而是在学习新技能后，实际上保持了拒绝不良请求的能力。
数学训练： 他们先训练模型精通数学，然后尝试教它们编程。
- 结果： 通常，教一位数学专家编程会使其数学能力下降。然而，FRPO 模型在学习编程后，其数学准确率仍比标准模型高出约 22%。

为何这很重要

论文声称，通过改变我们最初训练基础模型的方式（使其变得“平坦”且具有鲁棒性），我们就不需要后期进行复杂且昂贵的修复。我们不需要保存旧数据来进行“复习”，也不需要特殊的软件模块来锁定大脑的某些部分。我们只需从一开始就构建出坚固的模型。

简而言之： FRPO 教导 AI 模型找到一个足够宽阔的“安全区”，使它们能够学习新事物而不会跌落悬崖。这关乎于构建一个在房屋增加新房间时不会开裂的坚实基础。

技术摘要：鲁棒策略优化以防止灾难性遗忘

问题陈述

大语言模型（LLMs）通常通过多阶段流程进行训练，首先利用人类反馈强化学习（RLHF）使模型与安全性和有用性对齐，随后针对特定下游任务（如数学推理、代码编写）进行微调。该范式中的一个关键弱点是灾难性遗忘：即使微小的下游更新也可能导致先前习得的行为（例如安全护栏）退化。

先前的研究主要集中于下游阶段的缓解策略（例如重放、参数高效微调、正则化或模型合并），以在事后保留模型能力。然而，作者认为这些方法是不够的，因为它们依赖于特定的下游流程。如果模型随后接受偏离这些特定协议的“普通”微调，先前习得的行为仍然脆弱。核心挑战在于确保基础策略本身对未来适应具有鲁棒性，无论下游任务或使用何种算法。

方法论：微调鲁棒策略优化（FRPO）

作者提出了微调鲁棒策略优化（FRPO），这是一个旨在优化基础策略以应对未来下游偏移的框架。

1. 问题表述：极小极大鲁棒性

作者将问题形式化为极小极大优化。目标并非仅在当前策略 $\pi_\theta$ 下最大化期望奖励，而是寻求最大化任何位于 $\pi_\theta$ 的 KL 有界邻域内的下游策略 $Q$ 所能达到的最小奖励。

优化问题定义为：
$\max_{\pi_\theta} \left( \inf_{Q: \mathbb{E}[\text{KL}(Q \parallel \pi_\theta)] \le \rho} \mathbb{E}_{x,y \sim Q}[r(x,y)] - \beta \text{KL}(\pi_\theta \parallel \pi_{\text{ref}}) \right)$

其中， $\rho$ 代表 KL 邻域的半径，反映了下游微调中的标准约束（例如信任区域、小学习率或 LoRA 约束）。该约束是在提示分布的期望上施加的，允许在任务相关提示上发生显著偏移，同时保持与基础策略的平均接近度。

2. 理论推导

利用分布鲁棒优化的对偶理论（特别是在 $f$ -散度约束下），作者推导出了内部最小化问题的对偶形式。

熵风险目标：对偶形式揭示，鲁棒目标等价于优化熵风险目标。对 $Q$ 的内部最小化将问题转化为最大化：
$-\lambda \log \mathbb{E}_{y \sim \pi_\theta} \left[ e^{-r(x,y)/\lambda} \right]$
其中 $\lambda$ 是控制风险敏感度的可调超参数。
解释：该目标比标准的期望奖励最大化更严厉地惩罚低奖励轨迹。它有效地在策略空间中的奖励景观里寻找“平坦”区域，确保微小的扰动（下游微调）不会导致性能急剧下降。
极限情况：当 $\lambda \to \infty$ 时，该目标恢复为标准的 GRPO（组相对策略优化）目标，即最大化期望奖励。

3. 算法实现

作者对GRPO算法进行了调整，以优化这一新目标，且不引入额外的计算开销（例如，无需学习评论家或额外的前向传播）。

重要性采样：新策略下的期望是使用来自滞后策略 $\pi_{\text{old}}$ 的样本，通过重要性采样进行估计的。
截断与基线：为确保稳定性，算法在重要性比率上采用了 PPO 风格的截断。至关重要的是，作者推导出了一个基线项，以在 $\lambda$ 较大时抵消对数配分函数梯度中的高方差。
偏差降低：对数配分函数的蒙特卡洛估计引入了 $O(1/G)$ 的偏差（其中 $G$ 是组大小）。作者采用刀切法（留一估计）将偏差降低至 $O(1/G^2)$ ，确保即使在小组大小时也能稳定收敛。

主要贡献

鲁棒 RLHF 框架：本文引入了一种极小极大公式，考虑了 KL 球内的所有下游偏移。它证明了该公式在数学上等价于优化熵风险目标，为策略空间中的奖励平坦性提供了理论基础。
FRPO 算法：一种实用的、可即插即用替代 GRPO 的算法，无需额外计算。它与现有的 RLHF 流程无缝集成，包含为稳定性而推导的基线，并在 $\lambda \to \infty$ 时恢复为标准 GRPO。
实证验证：该方法在多种场景下进行了评估，包括安全对齐和数学推理，证明了与标准微调和其他鲁棒性基线相比，其在保留先前能力方面表现更优。

实验结果

作者在两个主要场景下评估了 FRPO：安全训练和数学推理。

1. 安全训练（安全护栏）

设置：模型（Mistral-v0.1 和 Qwen2.5）使用不同 $\lambda$ 的 FRPO 在安全数据集上进行训练，然后在下游任务（Alpaca 用于指令遵循，GSM8K 用于数学，UltraFeedback 用于 RL）上进行微调。
发现：
- 与标准 GRPO 相比，经过 FRPO 训练的模型（ $\lambda \approx 0.2$ ）在微调后保持了显著更高的安全拒绝率和更低的不当内容分数（StrongREJECT）。
- 该方法即使在激进的微调设置下（全参数 SFT、各种学习率、LoRA）也有效地保留了安全护栏。
- 权衡分析：虽然较小的 $\lambda$ 更好地保留了安全性，但较大的 $\lambda$ 以牺牲安全性为代价略微提高了有用性。发现最优的 $\lambda$ 取决于任务，但对于安全性而言通常较低。
- 下游性能：至关重要的是，与 GRPO 相比，FRPO 并未损害下游任务的性能（例如 GSM8K 准确率、MMLU 分数），证实了安全性的保留并非由于未能学习新任务。

2. 持续学习（从数学到代码）

设置：模型首先在数学推理（MATH 数据集）上进行训练，然后在代码生成（OpenCodeInstruct）上进行微调。
发现：
- 针对数学奖励较高方差优化的 $\lambda = 2.0$ 的 FRPO，比 GRPO 更好地保留了数学准确率。
- 具体而言，与 GRPO 相比，FRPO 在代码微调后在 MATH500 基准测试上保持了高出 22% 的准确率，同时在代码基准测试（MBPP+）上实现了可比的提升。

3. 消融研究

与 SAM 的比较：作者将 FRPO 与锐度感知最小化（SAM）进行了比较。虽然 SAM（在参数空间中操作）比 GRPO 提供了一些改进，但 FRPO（在策略/KL 空间中操作）更优越。作者指出，SAM 在参数空间中的 L2 球并未完全捕捉到下游策略的偏移，而 KL 球直接约束了输出分布的偏移。
$\lambda$ 的作用：实验证实， $\lambda$ 控制了平均奖励与方差之间的权衡。最优的 $\lambda$ 与奖励的标准差及 KL 预算 $\rho$ 相关。

意义与主张

本文主张，对下游微调的鲁棒性应直接纳入 RLHF 期间的基础策略中，而不是依赖后期的干预措施。通过在 KL 有界邻域内优化奖励稳定性，FRPO 识别出位于“奖励平坦”区域的策略，使其天生具有抵抗灾难性遗忘的能力。

作者将 FRPO 定位为一种通用解决方案，其特点包括：

适用于多种领域（安全、数学、代码）。
与标准 GRPO 相比无需额外的计算成本。
提供了一种有原则的、数学基础的 LLM 持续学习方法，且与特定的下游微调协议无关。

这项工作表明，优化未来适应鲁棒性的原则可能超越 RLHF，扩展到预训练和监督微调，为对齐和持续学习的研究提供了新方向。