🤖 machine learning

Extreme Region Policy Distillation

极端区域策略蒸馏（ERPD）通过将激进的离线策略优化与保守的信任区域约束解耦，解决了大语言模型强化学习中样本效率与渐近性能之间的权衡问题，即先从固定数据中提取最大训练信号，再将其蒸馏至基础策略中，从而在显著降低 KL 散度的同时实现更优越的性能。

原作者： Changyu Chen, Xiting Wang, Rui Yan

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Changyu Chen, Xiting Wang, Rui Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明的学生（一个大语言模型）如何解决高难度的数学问题。你拥有的练习题（数据）数量有限，你希望这位学生能从每一道题中尽可能多地汲取知识，同时避免感到困惑或“忘记”如何正常表达。

本文介绍了一种新的教学方法，称为极端区域策略蒸馏（Extreme Region Policy Distillation, ERPD）。它解决了人工智能训练中的一个经典难题：如何在不让学生“发疯”的前提下，最大限度地利用我们的练习数据？

以下是使用简单类比进行的拆解：

问题：“一次性教学”与“过度思考者”

目前，教导这些人工智能学生主要有两种方式，但两者都存在缺陷：

严厉的家教（On-Policy/同策略）： 这位老师给学生布置一套练习题，让他们尝试，给予反馈，然后将题目丢弃。他们绝不再使用同一道题目。这种方法安全且稳定，但极其浪费。这就像一位老师读完一章后就烧毁教科书。
执念的家教（Off-Policy/离策略）： 这位老师拿着同一套练习题，让学生反复练习。
- 隐患： 如果练习同一道题的次数过多，学生开始“漂移”。他们可能会将特定答案背得滚瓜烂熟，以至于忘记了如何进行通用思考，或者开始产生幻觉，胡言乱语。他们变成了自己的“极端”版本，实际上在处理现实世界任务时表现更差。

本文提出了一个问题：我们能否获得“执念家教”带来的深度学习益处，同时避免其疯狂的副作用？

解决方案：两阶段“演练与提炼”法

作者提出了一种两步流程，将“苦练”与“学习”分离开来。

第一阶段：“极端演练”（教师）

首先，他们取出一批固定的练习题，让 AI 学生激进地进行练习。他们逼迫学生达到绝对极限，让学生将同一道题解决数十次。

发生的情况： 学生成为了“极端区域”专家。他们学到了很多，但同时也开始偏离正常行为。他们的信心变得扭曲，可能会犯奇怪的错误。
类比： 想象一位音乐家连续练习同一首曲子 100 遍。他们可能会变得更快，但也可能开始怪异演奏或失去节奏。这个“极端”版本现在成为了教师。

第二阶段：“安全蒸馏”（学生）

现在，原本正常的学生（基础策略）回来了。他们不再直接练习题目，而是观察“极端教师”，并尝试只模仿教师所学到的好的部分。

过滤器： 系统充当安全网。它表示：“好吧，模仿教师的新技巧，但不要让你的个性偏离原本的自己太远。”
结果： 学生吸收了来自“极端演练”的深刻见解，但过滤掉了那些怪异且不稳定的习惯。最终，他们比原本更聪明，同时依然保持稳定和可靠。

“弱教师”的惊喜

最有趣的发现之一是，你甚至不需要一位“好”教师也能实现这一效果。

有时，“极端演练”会让教师变得如此糟糕（如此“退化”），以至于他们的表现甚至不如原本的学生。你可能会想：“我为什么要向一个不如我的人学习？”

研究发现，即使是一位糟糕的教师，如果你观察他们如何失败，也是有用的。

类比： 想象一位学生尝试解决数学题却完全答错了。如果你审视他们的错误答案，你就能确切地看到他们是在哪里偏离了正轨。通过研究这种“错误性”，原本的学生学会了不要做什么。
作者将此称为弱到强蒸馏（Weak-to-Strong Distillation）。即使是一位破碎的教师，也能提供一份陷阱地图，帮助学生避开它们。

为何这很重要

效率： 你用同样的数据量获得了更多的学习成果。你不需要如此频繁地生成新的、昂贵的练习题。
稳定性： 你避免了通常在过度训练相同数据时发生的“疯狂漂移”。
性能： 在困难的数学基准测试（如 HMMT 和 IMO）中，这种方法帮助强大的模型变得更强，同时帮助较弱的模型迎头赶上，而这一切都是在消耗更少的“计算能量”（KL 散度）的情况下实现的。

总结

将 ERPD 想象成一个训练营，其中：

首先，你将你最好的运动员送入一场艰苦、极端的训练，将他们逼至崩溃边缘（第一阶段）。
然后，你引入一组新的运动员，让他们研究那场极端训练的录像。他们从艰苦的训练中学习技术和策略，但在教练的指导下保持在安全、健康的范围内（第二阶段）。

其结果是一支更强大、更聪明的团队，他们从极端中汲取了教训，却并未真正崩溃。

技术摘要：极端区域策略蒸馏（ERPD）

问题陈述

大语言模型（LLM）的强化学习（RL）面临样本效率与渐近性能之间的根本性权衡。

同策略方法（如 PPO、GRPO）为确保稳定性，在单次更新后丢弃轨迹，导致样本效率低下。
异策略方法通过复用轨迹来提高效率，但引入了分布不匹配。现有的稳定化技术（如 KL 约束、截断）强制进行保守优化以防止不稳定。
核心问题：实证研究表明，保守约束导致训练信号未被充分利用。相反，在固定数据上进行激进的单步异策略优化虽能带来快速的初期收益，但最终会导致轨迹概率偏差和熵崩溃。这种过度的发散将 KL 预算消耗在“不必要的漂移”上，而非真正的任务改进，从而导致性能过早进入平台期。单纯收紧 KL 约束会降低性能上限，却无法解决底层的低效问题。

方法论：极端区域策略蒸馏（ERPD）

本文提出了ERPD，这是一个两阶段框架，将样本效率与KL 效率解耦。

阶段 1：激进异策略优化（样本效率）

目标：最大化从固定批次的 rollout 中提取训练信号，无论策略发散程度如何。
过程：在静态数据集上使用弱约束或无约束优化，执行大量的异策略更新（例如 80+ 步）。
结果：这产生了一个“极端区域”策略（ $\pi_{\theta_e}$ ）。尽管该策略可能遭受高 KL 散度和熵崩溃，但它包含了丰富且被最大化提取的训练信号。
损失函数：本文评估了该阶段的多种损失函数，包括 SAPO（软截断）、CE（交叉熵）以及一种新颖的MSE 损失，该损失将动作概率推向饱和（0 或 1），从而生成退化的“未学习”策略。

阶段 2：信任区域约束蒸馏（KL 效率）

目标：将极端策略中有用的信号蒸馏回基础策略，同时过滤掉虚假的漂移。
过程：在严格的信任区域约束下（限制 KL 散度），更新基础策略（ $\pi_{\theta_{old}}$ ）以逼近极端策略（ $\pi_{\theta_e}$ ）。
Token 级信号构建：
- 强教师策略：使用对数比率 $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{old}}(a|s)}$ 作为奖励信号。分母固定为原始参考策略，以保持改进方向的一致性。
- 弱教师策略：当极端策略退化（劣于基础策略）时，本文引入了替代信号构建方法。具体而言，使用针对中间“未学习”策略（ $\pi_{\theta_{un}}$ ）的对数比率，该策略是在激进优化的早期阶段获得的： $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{un}}(a|s)}$ 。这使得即使是较弱的教师也能提供有效的监督信号。
优化：蒸馏阶段使用带有构建的 token 级奖励的 PPO 风格截断代理目标，通常所需的步数（例如 10–32 步）少于教师训练所需的步数。

主要贡献

解耦框架：提出了一种两阶段训练流程，将激进的信号提取与稳定的策略更新分离，在不牺牲渐近性能或 KL 效率的情况下实现了高样本效率。
弱到强蒸馏：证明了即使是退化或较弱的教师策略（使用 MSE 训练或在特定未学习条件下训练）也能提供有效的监督。本文对信号构建策略（使用未学习策略与旧策略）提供了系统的实证表征和消融研究。
Token 级信号分析：深入调查了源自极端策略的 token 级奖励如何与学生学习相互作用，表明在使用特定的对数比率公式（例如将分母固定为旧策略）时，学生可以超越教师。
推理任务的实证验证：在数学推理基准（AIME、HMMT、IMO）和编码任务（LiveCodeBench）上进行了全面评估，结果显示，对于标准同策略训练已进入平台期的强基础模型，ERPD 带来了显著的提升。

实验结果

性能提升：在数学推理任务上，ERPD 显著优于标准的同策略基线（PPO、GRPO）和单阶段异策略方法。例如，在 HMMT Feb 25 基准测试中，应用于 Qwen3.5-27B 的 ERPD 取得了与前沿水平模型相当的性能。
KL 效率：与激进的教师策略相比，蒸馏后的策略以显著更小的 KL 散度实现了相当或更好的性能。这证实了第一阶段的大部分发散被消耗在了非生产性的漂移上。
弱教师有效性：在激进优化未能产生更强教师的情况下（例如使用 MSE 损失），“未学习”策略仍能带来提升。结合强教师和弱教师的集成方法进一步增强了性能。
迭代改进：在线 - 离线切换实验表明，在离线蒸馏和在线采样之间交替进行可以实现持续的性能提升，而纯粹的在线或纯粹的离线方法往往停滞或退化。
消融研究结果：
- 信号构建：对数比率中分母的具体选择（旧策略与当前策略）至关重要。将分母固定为旧策略允许学生超越教师。
- 异常值：初步分析表明，极端策略中的“异常值”token（负对数比率）编码了信息丰富的校正信号；屏蔽它们会降低性能。
- 熵：与通常的假设不同，蒸馏中的性能提升并不一定依赖于熵的减少；在某些情况下，熵的增加与性能提升相关。

意义与主张

本文主张，数据效率与优化稳定性之间的权衡并非固有属性，而是迫使单一策略平衡冲突目标的结果。通过解耦这些目标：

ERPD 解锁了固定数据集中保守方法所丢弃的潜在训练信号。
它验证了 RL 中的“弱到强”假设，表明即使是“未学习”或退化的策略，如果调整信号构建方式（例如使用未学习策略作为参考），也可以作为有效的教师。
它提供了一条实用路径，用于在不大幅增加数据收集的情况下改进最先进的推理模型，通过激进优化 followed by 仔细蒸馏来更有效地利用现有数据。

作者在理论解释方面保持谦逊，指出虽然弱到强蒸馏的实证成功是明确的，但退化教师提供有用信号的确切理论条件仍需进一步研究。同样，熵和异常值的作用被确定为未来系统分析的一个领域。