💬 NLP

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

该论文提出了一种基于强化学习的知识蒸馏框架，利用单 Token 输出的大语言模型作为裁判对无标签数据进行评估，从而在无需真实标签监督的情况下提升模型的推理能力，并在结合可验证奖励后显著改善了数学推理基准的表现。

原作者： Yiyang Shen, Lifu Tu, Weiran Wang

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiyang Shen, Lifu Tu, Weiran Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让小型人工智能（AI）变得更聪明的新方法。为了让你更容易理解，我们可以把整个过程想象成**“一位天才老师指导一群小学生解题”**的故事。

1. 背景：为什么需要新方法？

通常，训练 AI 做数学题或逻辑推理，就像教学生考试。

传统方法（有标准答案）： 老师手里有标准答案（Ground Truth）。学生做完题，老师直接对答案，做对了给满分，做错了给零分。这很有效，但缺点是太依赖标准答案。如果题目太多，或者没有标准答案（比如很多现实世界的问题），这种方法就失效了。
现有的“大模型”方法： 现在的超级大模型（像 DeepSeek-R1）很聪明，但训练它们需要海量的标准答案，而且计算成本极高，就像只有顶尖大学才能负担得起的精英教育。

2. 核心创意：让“大模型”当裁判（LLM-as-a-Judge）

这篇论文想解决的核心问题是：如果没有标准答案，怎么训练小模型？

作者想出了一个绝妙的办法：请一位“超级学霸”（大语言模型）当裁判，而不是当出题人。

学生（小模型）： 比如只有几亿参数的小模型，它负责尝试解题。它可能会写出长长的解题步骤（思维链）。
裁判（大模型）： 一个非常聪明的大模型。它不直接告诉学生答案，也不写解题过程（那样太费钱了）。它只负责看学生的解题过程，然后打个分。
- 如果学生解对了，裁判说：“对！”（Yes）。
- 如果学生解错了，裁判说：“错！”（No）。
- 关键点： 裁判甚至不需要把“对”或“错”这两个字真正写出来，它只需要在脑子里计算一下“说 Yes 的可能性”和“说 No 的可能性”哪个大，然后把这个概率变成一个分数（奖励信号）发给学生。

3. 具体怎么操作？（三个步骤）

第一步：热身（SFT）

先让“学生”通过死记硬背一些有标准答案的题目，学会基本的解题格式。这就像学生先背熟了一些公式。

第二步：强化训练（RL）—— 核心戏肉

现在，学生开始面对海量的没有标准答案的题目（比如互联网上随便抓来的数学题）。

学生尝试： 学生自己写解题步骤。
裁判打分： 裁判快速看一眼，给出一个分数。
- 创新点： 以前让裁判打分，可能需要裁判写出长篇大论的评价，很慢。这篇论文让裁判只输出一个 token（一个词），直接利用它“想说 Yes"的概率作为分数。这就像裁判心里想“这题大概率是对的”，然后直接给个分，速度极快，成本极低。
学生进化： 学生根据裁判的分数调整自己的策略。如果分数高，就保留这种解题思路；如果分数低，就改掉。

第三步：混合训练

作者发现，如果只用“有标准答案”的数据，学生进步慢；如果只用“裁判打分”的数据，学生可能会“钻空子”（比如只写个数字不写过程，骗裁判高分）。
所以，最好的策略是**“双管齐下”**：

一部分题目用标准答案（确凿无疑）。
另一部分题目用裁判打分（海量数据）。
两者结合，学生既学到了真本事，又见识了海量题型，变得非常 robust（鲁棒）。

4. 结果怎么样？

小模型逆袭： 原本只有 1.25 亿参数的小模型，经过这种训练，在数学推理任务上的表现提升了 5-10 个百分点，甚至超过了只用标准答案训练的效果。
举一反三： 这种训练出来的学生，不仅会做见过的题，遇到没见过的难题（比如改变数字、增加条件的变体题）也能解得很好。
大模型也受益： 即使是 67 亿参数的大模型，用这种方法也能再提升一点性能，说明这个方法不仅适用于小模型，也适用于大模型。

5. 生活中的比喻

想象一下：

传统训练就像学生做试卷，做完必须等老师批改出标准答案才能知道对错。如果题目太多，老师改不过来，学生就没法练了。
这篇论文的方法就像学生找了一位**“直觉超准的教练”**。学生做完题，教练不需要写出详细的解题过程，只需要看一眼，凭直觉说“这题感觉是对的”或者“感觉不对”，然后给个鼓励或打击。
- 因为教练（大模型）很聪明，他的直觉（概率判断）非常准。
- 因为教练只给个“感觉分”，不需要写长篇大论，所以学生可以一天做一万道题，疯狂练习。
- 最后，学生通过这种“海量直觉反馈”，真正掌握了逻辑推理的精髓，而不是死记硬背答案。

总结

这篇论文的核心贡献在于：它证明了我们可以利用大模型的“直觉判断力”作为训练信号，让小型模型在没有标准答案的情况下，也能通过强化学习变得非常聪明。 这大大降低了训练高级 AI 的门槛，让“小模型”也能拥有“大智慧”。

这是一篇关于基于强化学习（RL）的大语言模型（LLM）知识蒸馏的预印本论文，标题为《Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge》。该研究提出了一种无需标注数据（Label-free）的知识蒸馏框架，利用“LLM 作为裁判（LLM-as-a-Judge）”生成的奖励信号来增强小模型的推理能力。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有局限： 现有的强化学习（RL）方法（如 RLVR）在提升大语言模型（LLM）推理能力方面表现显著，但它们严重依赖可验证的奖励（Verifiable Rewards），即需要真实的标签（Ground Truth）来验证答案的正确性。这限制了其在无标签数据或获取真实标签成本高昂场景下的应用。
知识蒸馏的不足： 传统的监督微调（SFT）知识蒸馏往往只模仿表面的 Token 生成，难以捕捉底层的推理过程，导致泛化能力差。
LLM 裁判的潜力未充分挖掘： 虽然"LLM 作为裁判”已被用于评估生成质量，但主要局限于事后评估。如何将其转化为主动的、实时的奖励信号用于 RL 微调，尚缺乏深入探索。现有的基于模型反馈的方法通常依赖静态偏好数据集或复杂的奖励模型管道，难以扩展到连续 RL 微调的大规模采样需求。

2. 方法论 (Methodology)

作者提出了一种结合可验证奖励与LLM 裁判奖励的 RL 框架，旨在从大模型向小模型蒸馏推理能力。

2.1 核心流程

热身（Warm-up）： 首先使用监督微调（SFT）在小模型上训练，使其学习链式思维（CoT）序列，最大化对数似然。
强化学习微调（RL Fine-tuning）： 采用 PPO（近端策略优化）算法（部分实验对比了 GRPO）。
- 学生模型（Student）： 生成候选的推理轨迹（CoT）。
- 裁判模型（Judge）： 一个能力更强的 LLM（如 Qwen3-8B）作为裁判。

2.2 奖励设计 (Reward Design)

这是论文的核心创新点，包含三种奖励信号的混合：

可验证奖励 ( $L^{VR}_{PPO}$ )：
- 仅在有标签数据（如 GSM8K）上使用。
- 基于代码执行结果（Program-of-Thought, PoT）：代码编译失败或超时得 0 分，执行成功但答案错误得 0.1 分，答案完全正确得 1 分。
LLM 裁判奖励 ( $L^{YoN}_{PPO}$ )：
- 机制： 针对无标签数据，将学生的 (问题，CoT) 输入裁判 LLM。
- Prompt 约束： 强制裁判仅输出"Yes"或"No"。
- 高效计算： 不生成完整文本，而是直接提取"Yes"和"No"的 Logits，计算 $u = \log p(\text{Yes}) - \log p(\text{No})$ ，并通过 Sigmoid 函数转换为连续标量奖励。
- 优势： 单次 Token 生成即可计算奖励，效率极高，且无需真实标签。
重排序模型奖励 ( $L^{Rerank}_{PPO}$ )：
- 利用预训练的重排序模型（Reranking Model）作为第二个裁判，提供额外的连续奖励信号。

2.3 总体目标函数

最终损失函数是上述三种奖励的加权凸组合：
$L_{overall} = \lambda \cdot L^{VR}_{PPO} + \mu \cdot L^{YoN}_{PPO} + \rho \cdot L^{Rerank}_{PPO}$
其中 $\lambda + \mu + \rho = 1$ 。

3. 关键贡献 (Key Contributions)

无标签知识蒸馏框架： 首次将"LLM 作为裁判”从静态评估工具转变为 RL 微调中的动态奖励生成器，实现了在大规模无标签数据上的知识蒸馏。
高效奖励计算： 提出了一种基于单 Token Logits 的奖励计算方法，避免了生成完整推理过程带来的计算开销，使得大规模 RL 采样成为可能。
性能提升： 证明了混合奖励信号（特别是引入无标签数据）能显著提升小模型的推理能力，甚至在某些指标上超越了仅使用可验证奖励的 Oracle 实验。
可扩展性验证： 不仅在极小模型（125M, 350M）上有效，在较大模型（6.7B）上也能带来性能提升，表明该方法具有架构扩展性。

4. 实验结果 (Results)

实验主要在数学推理数据集（GSM8K, SVAMP, GSM-Plus, GSM-Symbolic）上进行，使用 Galactica-125M/6.7B 和 CodeGen-350M 作为学生模型。

小模型性能飞跃：
- 在 Galactica-125M 上，仅使用可验证奖励（RLVR）在 GSM8K 上达到 30.48% 准确率。
- 引入无标签数据（GSM8K-aug）和 LLM 裁判奖励后，准确率提升至 40.71%（半监督设置），相比纯 SFT (25.25%) 有巨大提升。
- 在**域外（Out-of-Distribution）**评估（如 GSM-Plus, GSM-Symbolic）上表现尤为突出，证明了模型的鲁棒性增强。
大模型效果：
- 在 Galactica-6.7B 上，虽然基线已较高，但结合裁判奖励仍能将 GSM8K 准确率从 69.07% 提升至 70.43%（投票后达 71.95%）。
算法对比：
- 对比 PPO 和 GRPO，GRPO 在相同设置下表现略优（37.30% vs 35.10%），但考虑到计算开销，PPO 仍是主要选择。
消融实验：
- 即使减少无标签数据量，模型仍优于仅使用可验证奖励的基线。
- 发现仅使用无标签奖励（ $\lambda=0$ ）可能导致**奖励黑客（Reward Hacking）**现象（模型生成无意义但能骗过裁判的短文本），通过混合有标签数据（ $\lambda > 0$ ）和增加代码长度约束可有效缓解。

5. 意义与未来展望 (Significance)

降低数据依赖： 该方法极大地降低了对昂贵标注数据（Ground Truth）的依赖，使得利用海量无标签数据提升小模型推理能力成为可能。
推理能力民主化： 通过高效的知识蒸馏，将大模型的复杂推理能力“压缩”到资源受限的小模型中，有助于在边缘设备或资源受限场景部署高性能 AI。
RL 训练信号的新范式： 证明了基于 LLM Logits 的轻量级、实时奖励信号可以作为有效的 RL 训练信号，为未来的 RLHF 和模型对齐提供了新的思路。
未来工作： 计划探索更先进的策略梯度算法变体，并将该方法扩展至扩散语言模型（Diffusion Language Models）。

总结： 该论文提出了一种简单但强大的 RL 框架，通过利用 LLM 裁判生成的实时奖励，成功解决了小模型在无标签数据上进行高质量推理蒸馏的难题，显著提升了数学推理任务的性能和泛化能力。