🤖 AI

Reinforcement-aware Knowledge Distillation for LLM Reasoning

本文提出了一种强化学习感知蒸馏（RLAD）方法，该方法通过信任区域比例蒸馏（TRRD）目标将选择性模仿集成到强化学习中，以克服分布不匹配和目标干扰问题，从而使较小的语言模型能够有效地从较大的教师模型中继承长链式思维推理能力，同时平衡探索与利用。

原作者： Zhaoyang Zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo Yang, Zhuowen Tu, Wei Xia, Stefano Soatto

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhaoyang Zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo Yang, Zhuowen Tu, Wei Xia, Stefano Soatto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢但极其昂贵的顶级大厨（老师），他能够进行复杂的、多道菜式的烹饪，并具备完美的推理能力。你想教一名更小、更快且更便宜的学徒大厨（学生）如何像大师一样烹饪，这样你就能在不破费巨资的情况下，为更多人提供美食。

长期以来，教导学徒的方法很简单：照抄大师的食谱书。学徒只需死记硬背大师过去采取的具体步骤即可。这效果尚可，但非常僵化。如果学徒试图尝试稍微不同的料理或遇到新食材，他们就会陷入困境，因为他们只是在盲目地遵循旧笔记，而不是在学习如何“思考”烹饪。

最近，厨师们开始使用一种新方法：带有反馈的试错法。学徒尝试烹饪，根据菜肴有多美味获得一个分数（奖励），并据此调整他们的技艺以在下次获得更高的分数。这很好，但速度慢且成本高。

问题在于，当你试图结合这两种方法时。如果你告诉学徒：“你必须既要模仿大师的步骤，又要努力获得高分，”他们往往会感到困惑。

有时，大师旧有的步骤并不能在当前情况下带来最好的美味得分。
“模仿”指令与“获取高分”指令之间会产生冲突，导致学徒左右摇摆，学习效果不佳。

新的解决方案：“智能模仿”（RLAD）

论文作者提出了一种名为 RLAD（强化学习感知蒸馏）的新型教学方法。与其强迫学徒 100% 地复制大师，不如引入一种“智能模仿”规则。

以下是使用 GPS 类比的核心思想：

目标： 学徒想要开车前往一个能获得最高“奖励”（比如最好的风景）的目的地。
旧方法（标准蒸馏）： GPS（老师）不断大喊：“左转！左转！”即使道路被封锁或存在更好的路线也是如此。学徒盲目跟随，即使这会导致死胡同。
新方法（RLAD）： 只有当 GPS 的指令与学徒当前的计划一致，即有助于获得更好的风景时，它才会发出指令。
- 如果学徒正朝着绝佳美景行驶（高奖励），而 GPS 说：“是的，那是正确的转向，”学徒就会紧跟 GPS。
- 如果学徒正朝着绝佳美景行驶，但 GPS 说：“不，向右转，”学徒会忽略 GPS，因为“美味得分”（奖励）表明当前的路径更好。
- 如果学徒迷路了（低奖励），GPS 会介入，引导他们回到一条安全、已知的路径上。

秘诀所在：“信任区”（TRRD）

为了让这一切在不让学徒发疯的情况下运作，论文使用了一种名为 TRRD（信任区域比例蒸馏）的技术。

你可以把它想象成系在学徒身上的安全牵引绳。

这根绳子的锚点位于学徒“刚才所在的位置”与“大师将会前往的位置”的混合体上。
学徒被允许自由奔跑以探索新路径（探索），或者坚持他们已知的东西（利用）。
然而，如果学徒试图跳出由大师智慧定义的“安全区”，牵引绳会轻轻地将他们拉回。
至关重要的是，只有当大师的建议确实有助于学徒获得更高的分数时，牵引绳才会收紧。如果大师在当前情况下是错误的，牵引绳就会保持松弛，让学徒找到更好的方式。

他们发现了什么？

研究人员在两类“烹饪挑战”上测试了这些方法：

逻辑谜题： 比如解决复杂的悬案或物流问题。
数学问题： 比如解决困难的方程或竞赛数学。

结果：

更高的分数： 使用这种新的“智能模仿”方法训练的学徒，比那些仅仅是模仿或仅仅是尝试猜测的学徒，获得了显著更高的分数。
更难的问题： 这种进步在最难的问题上最为明显。在简单问题上，大家表现都不错，但在“不可能完成”的任务上，新方法展现出了卓越的实力。
稳定性： 训练过程更加平稳。旧方法经常导致学徒左右摇摆并丢失进度（不稳定），但新方法让他们沿着通往顶峰的稳健路径前进。
真正的学习 vs. 模仿： 旧方法主要让学徒记住了大师的具体答案（适合多次猜测，但不擅长寻找最佳单个答案）。新方法实际上提高了学徒在第一次尝试时就能找到最佳答案的能力。

总结

这篇论文介绍了一种更聪明的方法，来教导小型 AI 模型进行推理。它不是强迫它们盲目地复制一个强大的老师，而是教它们只在老师的建议有助于赢得比赛时才去倾听。这创造了一个既聪明（像老师一样）又具备适应能力（能够找到新的、更好的解决方案）的学生，同时还能实现更快、更稳定的训练。

技术摘要：面向大语言模型推理的强化学习感知知识蒸馏 (RLAD)

1. 问题陈述

大语言模型（LLMs）通过强化学习（RL）后训练，在长思维链（CoT）任务中取得了显著的推理能力。然而，这些大型模型的高昂推理成本使得将其蒸馏到较小的学生模型中变得至关重要。现有的知识蒸馏（KD）方法在应用于 RL 后训练时面临关键局限性：

分布失配（Distribution Mismatch）： 标准的 KD 方法（离线、离策或在策）通常依赖于固定的教师轨迹或静态的 KL 散度正则化。在 RL 中，学生策略会持续演进，导致展开（rollout）分布发生偏移。随着学生远离教师的初始分布，静态的蒸馏目标会变得不再最优或变得不稳定。
目标干扰（Objective Interference）： 将 KD 集成到 RL 循环中的方法（例如 KDRL）通常会添加学生与教师之间的 KL 散度项作为正则化惩罚。这创造了一个多目标优化问题，其中奖励最大化目标与模仿目标相互竞争。这种竞争需要精细的超参数调节（损失平衡），并可能导致不稳定的训练动态，因为教师的监督可能与学生当前的优势估计（advantage estimates）并不一致。

2. 方法论：强化学习感知蒸馏 (RLAD)

作者提出了 RLAD，这是一个旨在 RL 后训练期间进行选择性模仿的框架。其核心原则是：只有当教师的引导能够根据 RL 目标改进当前策略更新时，学生才应受到教师的引导。

核心组件：置信区域比例蒸馏 (TRRD)
TRRD 不再使用独立的 KL 正则项，而是将 GRPO 中的标准重要性采样比例替换为教师-学生混合比例。

机制： TRRD 为第 $i$ 个响应的第 $t$ 个 token 定义了一个新的似然比 $r^{TRRD}_{i,t}$ ：
$r^{TRRD}_{i,t}(\theta_S) = \left( \frac{\pi_{\theta_S}(y_t | x, y_{<t})}{\pi_{\theta_S,old}(y_t | x, y_{<t})} \right)^\alpha \left( \frac{\pi_{\theta_S}(y_t | x, y_{<t})}{\pi_{\theta_T}(y_{<t})} \right)^{1-\alpha}$
这里， $\pi_{\theta_S}$ 是当前学生策略， $\pi_{\theta_S,old}$ 是前一时刻的学生策略， $\pi_{\theta_T}$ 是教师策略。 $\alpha \in [0, 1]$ 是混合系数。
置信区域解释： 该比例可以被视为一种 PPO 式的更新，其置信区域锚定在一个由旧学生和教师组成的混合分布（ $r_{\pi_{mix}}$ ）上，而非仅仅是旧学生。
优势感知选择（Advantage-Aware Selection）： 更新过程由组内相对优势 $\hat{A}_{i,t}$ $\hat{A}_{i, t}$ 进行加权。
- 正向优势（Positive Advantage）： 如果优势为正，学生被鼓励增加该 token 的概率。如果教师也分配了高概率，混合锚点就会更高，允许学生在触及裁剪边界（clipping bound）之前进行更大的概率提升（允许更大规模的更新）。如果教师分配的是低概率，则锚点较低，从而限制更新幅度。
- 负向优势（Negative Advantage）： 如果优势为负，学生被鼓励降低该 token 的概率。如果教师分配了高概率，裁剪边界会阻止学生过度抑制该 token，从而保留与教师一致的行为。
- 接近零优势（Near-Zero Advantage）： 当奖励信号缺乏信息量时，教师的影响力变得微乎其微，从而防止干扰。

这种设计通过确保教师的引导受奖励信号（优势）的调节并受限于置信区域，隐式地平衡了探索、利用与模仿之间的关系。

3. 主要贡献

RLAD 框架： 一种用于 RL 后训练的新型蒸馏框架，通过置信区域比例蒸馏（TRRD）集成教师引导，用裁剪且经过优势加权的似然比目标取代了静态的 KL 正则化。
理论分析： 通过分析证明了 TRRD 能够实现以奖励为条件的、选择性的模仿。它保留了受置信区域约束的更新，并自然地平衡了遵循教师与优化奖励之间的权衡，无需精细的损失平衡。
实证验证： 在逻辑推理（K&K Logistics）和长上下文数学推理（AIME, AMC, MATH）上的广泛实验表明，RLAD 相比基准方法具有一致的提升。

4. 实验结果

作者在逻辑推理和复杂数学推理任务上评估了 RLAD，使用的学生模型参数范围从 0.6B 到 8B，教师模型最高达 32B。

逻辑推理 (K&K Logistics)：
- 使用 Qwen3-8B 作为教师，与标准 GRPO 相比，RLAD 显著提高了 Qwen3-0بB（在 8K 上下文下从 0.76 提升至 0.94）和 Qwen3-1.7B（在 8K 上下文下从 0.95 提升至 0.99）的平均准确率。
- 在最难的子集（PPL7 和 PPL8）上，增益最为显著，RLAD 在这些子集上保持了对 KDRL 的明显领先优势。
- 训练动态显示，与 GRPO 和 KDRL 相比，RLAD 具有更快的收敛速度和更高的最终奖励。
数学推理：
- 基础模型 (R1-Zero 风格)： 在 Qwen3-8B-Base 模型上，RLAD 在长上下文（30K）任务上的平均性能比 GRPO 提升了 5.5 个百分点。
- 后训练模型： RLAD 的表现优于显式 KL 蒸馏（KDRL）和离线蒸馏。
- 指标细节： 与 KDRL 倾向于在 Pass@32 上表现出较大相对增益不同，RLAD 在 Pass@1 (Mean@32) 上展现了更大的增益。作者将其解释为：RLAD 成功驱动了与奖励对齐的策略改进（利用/exploitation），而 KDRL 的增益更多是由纯粹模仿多样化的教师解所驱动。
- 稳定性： 与存在目标耦合问题的 KDRL 相比，RLAD 表现出更稳定的训练动态，震荡更少。
鲁棒性与效率：
- 弱教师： 当教师比学生弱时，RLAD 仍能保持接近 GRPO 的性能，而 KDRL 的性能下降更为严重。
- 超参数： RL 研究发现 RLAD 对混合系数 $\alpha$ （固定为 0.5）基本不敏感，而不像 KDRL 那样对 KL 权重 $\lambda$ 非常敏感。
- 效率： 集成 RLAD 仅增加了约 12% 的训练延迟，因为教师仅用于计算对数概率，而不用于生成轨迹。

5. 重要性与主张

论文声称 RLAD 解决了静态教师监督与动态 RL 策略更新之间的根本失配问题。通过将教师引导折叠进置信区域更新机制中，RLAD 避免了多目标 KL 正则化所需的“脆弱调优”。

作者断言，RLAD 允许学生在锚定分布内向高优势行为移动，同时机会性地利用教师的引导。这带来了：

卓越性能： 在挑战性基准测试中，始终优于 GRPO、KDRL 和离线蒸馏。
稳定性： 更稳定的训练动态和更好的收敛性。
真正的 RL 优化： 不同于过度依赖模仿（这可能会提升 Pass@32 但不会提升 Pass@1）的方法，RLAD 优先考虑与奖励对齐的行为，从而在模型最可能的正确回答（Pass@1）中带来更强的提升。

论文总结道，虽然该方法依赖于具有 Logit 访问权限的开源、校准良好的教师模型，但它代表了使蒸馏与 RL 后训练的动态性质相兼容的重要一步。