🤖 machine learning

Scaling Reasoning Efficiently via Relaxed On-Policy Distillation

本文提出了 REOPOLD 框架，通过将在线策略蒸馏重新诠释为策略优化并利用混合奖励截断、基于熵的动态采样及统一训练策略来缓解不稳定性和负迁移问题，从而在数学、视觉及智能体工具使用等任务中实现了远超基线的样本效率与推理扩展能力。

原作者： Jongwoo Ko, Sara Abdali, Young Jin Kim, Tianyi Chen, Pashmina Cameron

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Jongwoo Ko, Sara Abdali, Young Jin Kim, Tianyi Chen, Pashmina Cameron

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 REOPOLD 的新方法，旨在解决一个核心难题：如何用最少的“学费”（训练数据），让一个小模型（学生）快速学会大模型（老师）的高超推理能力，同时避免“学歪了”或“学崩溃了”。

我们可以把整个过程想象成**“天才导师带笨徒弟学武功”**的故事。

1. 背景：小模型学大模型的困境

现在的 AI 大模型（比如 DeepSeek-R1）非常聪明，能像人一样一步步思考（推理）。但是，把它们直接“复制”到小模型（比如只有 1.5B 或 7B 参数的模型）上很难。

传统方法（死记硬背/SFT）： 老师把答案直接给学生抄。学生只会背题，换个题目就不会了。
强化学习（RL）： 让学生自己做题，做对了给奖励，做错了受罚。但这对学生来说太难了，就像让小学生直接去解奥数题，很容易因为受挫太多而“崩溃”（训练不稳定），或者因为奖励信号太弱而“学不动”（效率低）。
在线蒸馏（On-Policy Distillation，旧版）： 这是目前的热门方法。老师看着学生做题，学生做一步，老师就点评一步。
- 问题出在哪？ 以前的方法太“严厉”了。只要学生写的某个字跟老师不一样，老师就疯狂扣分（负奖励）。结果学生为了不被扣分，变得畏手畏脚，甚至为了迎合老师而胡乱猜测，最后连自己原本会的东西都忘了（负迁移），或者因为害怕犯错而停止思考（熵崩溃）。

2. REOPOLD 的核心理念：从“严厉教官”变成“智慧教练”

REOPOLD 提出了一种**“放松的在线蒸馏”策略。它不再强迫学生每一步都跟老师一模一样，而是像一位高明的教练**，懂得什么时候该严厉，什么时候该放手。

它用了三个“独门秘籍”：

秘籍一：混合奖励截断（给“惊吓”设个底线）

比喻： 想象学生写错了一个字，老师原本想骂他“你脑子进水了！”（负无穷大的惩罚）。这种极端的惩罚会让学生的心理（梯度）瞬间崩溃，导致训练失败。
REOPOLD 的做法： 它给老师的批评设了一个“底线”。无论学生错得多离谱，老师的批评最多只能到“你这里需要改进”的程度，不会变成“你滚出教室”。
效果： 防止学生因为一次小错误就彻底慌了神，保证了训练过程的稳定性。

秘籍二：基于熵的动态采样（只抓重点，不抓流水账）

比喻： 学生做题时，有些步骤是显而易见的（比如"1+1=2"），老师和学生都知道答案，这时候老师再啰嗦一句“对，是 2"，纯属浪费时间。而有些步骤是关键的转折点（比如“这里需要用到勾股定理”），学生容易卡壳，老师在这里的指点才最有价值。
REOPOLD 的做法： 它有一个“雷达”，专门盯着那些**“学生最不确定、最容易出错”**的步骤（高熵步骤）。
- 对于学生很确定的步骤（低熵），老师直接跳过，不浪费算力。
- 对于学生犹豫不决的步骤，老师集中火力进行指导。
效果： 就像老师只给学生讲错题和难点，而不是从头到尾把课本念一遍，学习效率直接翻倍。

秘籍三：从“探索”到“精炼”的两阶段训练（先放手，后收网）

比喻： 学骑车有两个阶段。
- 第一阶段（探索期）： 刚开始学，教练（老师）不能太严厉。学生摔倒了，教练要鼓励他“没关系，再试一次”，让他敢于尝试不同的路线，不要怕犯错。
- 第二阶段（精炼期）： 等学生骑稳了，教练就开始严格要求了。这时候要纠正细节，把那些歪歪扭扭的路线修正过来，追求完美。
REOPOLD 的做法：
- 前期： 屏蔽掉那些严厉的负面惩罚，鼓励学生大胆尝试，保持思维的多样性（防止还没学会就“想死”了）。
- 后期： 开启“高熵筛选”，只针对关键的不确定点进行精细化打磨，把思路理顺。
效果： 既保证了学生敢想敢做，又保证了最后能练成绝世高手。

3. 成果：小模型也能“青出于蓝”

通过这套方法，论文展示了惊人的效果：

省料（样本效率）： 以前需要老师教 1000 次学生才能学会，现在只需要教 100 次甚至更少（效率提升了 6.7 到 12 倍）。
提速（推理速度）： 在视觉推理任务上，一个 7B 的小模型，经过 REOPOLD 训练后，不仅能达到 32B 大老师的水平，而且思考速度还快了 3 倍多（因为模型小，跑得快）。
更稳： 即使老师模型很大（32B），学生模型很小（3B 或 7B），学生也不会因为“压力太大”而崩溃，反而能稳稳地接住老师的知识。

总结

REOPOLD 就像给 AI 训练装上了一套**“智能减震系统”和“重点辅导系统”。它不再强迫小模型去死磕大模型的每一个字，而是通过“少骂人（截断负奖励）、抓重点（动态采样）、分阶段（先放后收）”**的策略，让小模型在轻松、稳定的环境中，高效地习得大模型的推理智慧。

这就好比一个聪明的教练，不再用鞭子抽打学生，而是用智慧引导，让普通学生也能在最短的时间内，练出大师级的水平。

这篇论文提出了一种名为 REOPOLD (Relaxed On-Policy Distillation，松弛在线策略蒸馏) 的新框架，旨在解决小语言模型（SLMs）在通过在线策略蒸馏学习推理能力时面临的训练不稳定和负迁移问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：大型语言模型（LLMs）通过强化学习（RL）和测试时扩展（Test-time scaling）展现了强大的推理能力（如 OpenAI o1, DeepSeek-R1）。然而，将这些能力迁移到参数量较小的模型（SLMs）中非常困难，因为 SLMs 的表征能力有限，难以直接优化稀疏或高方差的奖励信号。
现有方法的局限：
- 在线策略蒸馏 (On-Policy Distillation) 被视为一种替代方案，即学生模型在教师模型的指导下，从自身生成的轨迹中学习。
- 不稳定性：传统的在线蒸馏（如标准 RKL 散度最小化）存在严重的优化不稳定性。
- 负迁移 (Negative Transfer)：学生模型的性能可能低于其初始基线模型。
- 熵崩溃 (Entropy Collapse)：模型过早收敛到狭窄的输出分布，丧失了解决问题的多样性。
- 信号效率低：大量低熵（确定性高）的 Token 提供的学习信号微弱，却消耗了计算资源；而高方差的负奖励（当学生生成教师认为概率极低的 Token 时）会导致梯度爆炸。

2. 核心方法论 (Methodology)

作者首先从理论角度证明了在线策略蒸馏本质上等同于一种策略优化（Policy Optimization），其中教师与学生之间的对数似然比（Log-likelihood ratio）充当了 Token 级别的奖励信号。基于此洞察，REOPOLD 提出了三个关键组件来“松弛”严格的模仿约束，稳定优化过程：

A. 混合分布奖励裁剪 (Mixture-Based Reward Clipping)

问题：当教师对某个 Token 分配的概率趋近于 0 时，对数似然比趋向 $-\infty$ ，导致重尾（Heavy-tailed）的负奖励分布，引发梯度爆炸。
解决方案：利用混合分布理论，推导出一个理论上的下界 $\log \frac{\lambda}{1-\lambda}$ 。
机制：对奖励信号进行裁剪，将极端的负奖励截断至该下界。这防止了梯度爆炸，同时保留了 RKL 寻找模式（Mode-seeking）的特性，比全局修改目标函数（如 Skew RKL）更稳健。

B. 基于熵的 Token 级动态采样 (Entropy-Guided Token-Level Dynamic Sampling)

问题：大部分 Token（低熵区域）在教师和学生分布中高度一致，奖励接近 0，导致梯度稀释（Gradient Dilution），降低了样本效率。
解决方案：利用 Token 的熵作为信息密度的代理。
机制：仅对高熵 Token（即学生与教师分布差异大、不确定性高的关键推理步骤）计算梯度。这过滤掉了无信息的噪声，使模型专注于最具学习价值的“分支点”。

C. 从探索到精化的多阶段训练 (Exploration-to-Refinement Multi-Stage Training)

问题：需要在保持探索多样性（避免过早收敛）和强化正确推理路径（收敛）之间取得平衡。
解决方案：将训练分为两个阶段，动态调整掩码策略：
1. 探索阶段 (Exploration Phase)：主要过滤掉强烈的负奖励（类似于监督微调 SFT），允许学生探索多种合理的解题路径，防止熵崩溃。
2. 精化阶段 (Refinement Phase)：切换为基于熵的采样策略，引入负反馈，专注于高熵 Token，强化正确的推理链条，促进收敛。

3. 主要贡献 (Key Contributions)

理论诊断：从强化学习的角度重新审视在线蒸馏，指出其不稳定性源于重尾负奖励和信号效率低下，并证明了停止梯度（Stop-gradient）操作在理论上等价于标准策略梯度，可作为控制变量降低方差。
提出 REOPOLD 框架：通过奖励裁剪、动态采样和多阶段训练，构建了一个统一的优化框架，有效解决了蒸馏中的不稳定性和效率问题。
卓越的效率与扩展性：
- 样本效率：在数学推理任务中，相比基线方法实现了 6.7 倍到 12 倍 的样本效率提升。
- 测试时扩展 (Test-time Scaling)：在视觉推理任务中，7B 参数量的学生模型在推理速度提升 3.32 倍 的情况下，性能达到了 32B 教师模型的水平。

4. 实验结果 (Results)

论文在数学推理、视觉推理和智能体工具使用三个领域进行了广泛评估：

数学推理 (Math Reasoning)：
- 在 AIME-25 等基准测试中，REOPOLD 在 1.5B 和 7B 模型上均优于 ProRL、DeepScaleR 和标准 RKL。
- 展示了极强的鲁棒性，即使使用不同规模的教师模型（7B 或 32B），性能提升依然显著，而标准 RKL 在不同教师下表现波动较大。
- 在 7B 模型上，REOPOLD 实现了稳定训练，而标准 RKL 出现了性能下降。
视觉推理 (Visual Reasoning)：
- 在 Geometry3K, MathVerse, MathVista 等基准上，3B 和 7B 的 Qwen2.5-VL 模型使用 REOPOLD 均取得了 SOTA 性能。
- 测试时扩展：随着推理时采样数量（K）的增加，REOPOLD 的准确率提升曲线显著优于 RKL，且能以更低的延迟达到 32B 教师模型的性能。
- 定性分析：REOPOLD 模型能更好地处理视觉幻觉，具备自我修正（Self-correction）能力，而 RKL 基线容易陷入逻辑循环或产生幻觉。
智能体推理 (Agentic Reasoning)：
- 在涉及视觉工具使用（如缩放、选择关键帧）的任务中，REOPOLD 同样优于 GRPO 和 RKL，证明了该方法在复杂多模态任务中的通用性。

5. 意义与结论 (Significance)

理论意义：填补了在线蒸馏在优化理论方面的空白，将其与强化学习统一起来，并提出了针对蒸馏特有问题的优化策略。
实践意义：
- 降低门槛：使得小模型能够高效地继承大模型的推理能力，无需昂贵的 RL 训练。
- 资源效率：大幅减少了训练所需的样本量和 GPU 时间。
- 推理加速：通过提升小模型的性能，使得在推理阶段可以使用更小的模型配合测试时扩展，从而在保持高性能的同时显著降低延迟。
核心观点：论文强调，“放松严格的模仿” (Relaxing strict imitation) 是成功扩展小模型推理能力的关键。通过有选择地利用教师信号，而非盲目模仿，可以构建更稳定、高效的推理模型。

总的来说，REOPOLD 为小语言模型的推理能力扩展提供了一套高效、稳定且可扩展的解决方案，解决了当前在线蒸馏方法中的核心痛点。