🤖 machine learning

ExpRL: Exploratory RL for LLM Mid-Training

ExpRL 引入了一种自动化训练中框架，该框架利用人工编写的解法作为隐藏的奖励支架，为大语言模型生成密集的过程级反馈，从而克服了稀疏奖励和人工技能定义的局限性，以更有效地为复杂的推理任务预热模型。

原作者： Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教导一名才华横溢但缺乏经验的学生（基础大语言模型）如何解决极其困难的数学谜题。

问题：“全有或全无”的陷阱

目前教导这位学生的标准方式是给他们一个谜题，然后说：“如果你得到了最终答案，你就有一颗金星；如果你错了，你什么也得不到。”

这被称为稀疏奖励强化学习（Sparse Reward Reinforcement Learning）。问题在于，对于非常难的谜题，学生很难在第一次尝试时就得到正确答案。因为他们几乎从未获得过金星，所以他们不知道自己哪里做错了。是因为一开始的想法不对？是因为一个小小的计算错误？还是在中途迷失了方向？由于缺乏反馈，他们只是在随机猜测，希望偶然撞到正确答案。他们缺乏覆盖度（coverage）——他们还没有学会足够多的不同解题方法，从而无法获得解决问题的机会。

解决方案：ExpRL（“带着小抄的教练”）

研究人员提出了一种新的训练方法叫做 ExpRL（探索性强化学习）。你可以把它看作是一个“中期训练”阶段，即在进行最终考试之前，先给学生配备一位特别教练。

以下是 ExpRL 的工作原理，使用一个简单的类比：

小抄（参考答案）： 教练拥有一份完美的、分步骤的谜题解答（“参考答案”）。
秘密规则： 学生看不见这份小抄。他们必须像在现实世界中一样，尝试独立解决谜题。
评分标准（裁判）： 在学生写完他们的尝试过程后，教练会将他们的内容与小抄进行对比。但教练不仅仅是说“错了”，而是扮演一个严厉但乐于助人的阅卷老师。
- 你是否使用了正确的公式？（对了？+1 分）。
- 你是否正确地简化了方程？（对了？+1 分）。
- 你在中间过程迷失了吗？（没得分）。
- 你最后得到的最终答案错了吗？（没关系，但你之前做的那些好步骤仍然可以得分）。

这就是核心创新点：ExpRL 奖励部分进度。 即使学生最终答案错了，只要他们在过程中迈出了正确的步骤，依然能获得“稠密奖励”（即许多细小的分数）。

两种评分方式

论文测试了两种给予这些分数的方法：

ExpRL-Outcome（结果导向型）： 教练会等到学生完成整个尝试过程后，根据整个论述与完美答案的接近程度给出总分。
ExpRL-Process（过程导向型）： 教练会在学生写每几句话时停下来，给出即时反馈。“第一步做得很好！但下一步看起来有点不稳。”这有助于学生学习如何构建解决方案，而不仅仅是了解最终答案长什么样。

结果：建立更好的基础

在经过这个“中期训练”阶段后，学生在面对最终考试（即真正的稀疏奖励 RL）时表现得更加出色。

更好的覆盖度： 学生已经学会了尝试多种不同的策略。他们不再是盲目猜测；他们知道如何分解问题、检查自己的工作并进行自我纠正。
更强的起点： 当学生最终参加最终考试（此时只有拿到完美答案才能获得金星）时，由于他们已经练习了解决难题的过程，因此成功的概率大大提高。
击败竞争对手： 论文表明，这种方法比以下方法效果更好：
- SFT（监督微调）： 仅仅强迫学生死记硬背小抄（这会让学生变得僵化且缺乏创造力）。
- 标准 RL： 仅仅等待金星（这太慢且令人沮丧）。
- 自我蒸馏（Self-Distillation）： 试图从他们自己最好的猜测中学习（这可能并不可靠）。

“混合领域”测试

研究人员还在数学、科学和编程问题的混合领域进行了测试。

数学与科学： 效果非常好。“小抄”帮助学生理解逻辑和步骤。
编程： 有一定帮助，但效果不如前者。为什么呢？因为在编程中，你可以直接运行代码来查看是否成功（这是一个清晰的“通过/失败”信号）。在这种情况下，“小抄”就不那么必要了，因为计算机本身就会告诉你对错。

核心结论

ExpRL 就像是给学生进行一场练习考试，在练习中，只要他们迈出了正确的一步，就能获得部分分数，而引导他们的是一份他们看不见但完美的答案解析。这建立了一个强大的解题能力基础，使他们在面对那个只有最终答案才算数的、高风险的真实考试时，更有可能取得成功。它将“全有或全无”的赌博变成了一段结构化的学习旅程。

技术摘要：ExpRL：用于 LLM 中期训练的探索性强化学习 (Exploratory RL)

1. 问题陈述

强化学习 (RL) 已成为提升大语言模型 (LLM) 推理能力的标准机制，特别是在处理具有稀疏二元奖励（例如最终答案正确性）的任务时。然而，稀疏奖励 RL 的成功高度依赖于基座模型的覆盖度 (coverage)：即基座模型在训练开始前，为有效的推理路径所分配的概率质量。

如果基座模型在处理难题时，很少能采样到有用的中间步骤或多样化的解题策略，那么稀疏奖励将无法提供足够的学习信号。模型可能会无法在初始的、通常是次优的推理模式之外进行探索。目前用于解决这一问题的中期训练策略——例如在精选轨迹上进行监督微调 (SFT) 或自我蒸馏 (self-distillation)—往往需要手动指定技能，或者依赖于 Token 级的模仿。这些方法可能会破坏模型的原生推理能力，或者无法泛化到解决复杂组合或数学任务所需的更广泛的解题策略。

核心挑战在于如何自动化地“启动 (priming)”基座模型，以提高其对有效推理路径的覆盖度（通过 $pass@k$ 衡量），且不依赖于模仿，从而为随后的稀疏奖励 RL 提供更强的初始化。

2. 方法论：探索性强化学习 (ExpRL)

ExpRL 是一种基于在策略 (on-policy) RL 的中期训练方法，它利用参考解法 (reference solutions) 作为奖励支架 (reward scaffolds)，而非作为模仿的目标。该方法在一个包含相关参考解法 $y^*$ 的难题数据集 $\mathcal{D}_{mid}$ 上运行。

核心设计原则

ExpRL 不会将参考解法作为演示文稿暴露给策略（这会导致策略向模仿偏移），而是将参考解法对策略隐藏。策略仅根据问题提示词 $x$ 来采样轨迹 $y$ 。随后，一个 LLM 评判器会将采样的轨迹与隐藏的参考解法 $y^*$ 进行对比，以分配稠密奖励 (dense rewards)。这利用了“验证-生成差距 (verification-generation gap)”，即 LLM 在对照参考解法验证部分进度方面，通常比从零开始生成正确解法更擅长。

奖励机制

ExpRL 定义了两种形式的稠密奖励：

ExpRL-Outcome：根据与参考解法的一致性，为完整的展开过程 (rollout) 分配一个稠密的、分级的评分。评判器根据准则评估整个轨迹，即使最终答案错误也会提供反馈。这会对部分正确性和有用的中间简化步骤给予奖励。
ExpRL-Process：为展开过程中的中间前缀分配稠密分数。为了改进信用分配 (credit assignment)，该方法计算了段级优势函数 $A_t$ 。只有当一个片段相对于前一个前缀提升了评判器的一致性得分（即 $s_t - s_{t-1}$ ）时，该片段才会获得正向优势，从而鼓励策略在中间进展的基础上进行构建，并惩罚退步行为。

优化

使用在策略 RL 对策略 $\pi_\theta$ 进行优化（针对 Outcome 奖励使用 GRPO，针对 Process 奖励使用 REINFORCE），并带有针对基座策略 $\pi_0$ 的 KL 正则化项。目标是在保持在基座模型可达到的 KL 空间内，最大化期望稠密奖励：
$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$

下游应用

在中期训练之后，经过“启动”后的策略将作为下游数据集 $\mathcal{D}'$ 上标准第二阶段（Stage-II）稀疏奖励 RL 的初始化。在这一阶段，所有的参考信息都会被移除，模型仅使用二元的最终答案奖励进行训练。

3. 核心贡献

自动化的覆盖度构建：ExpRL 提出了一种方法，通过将参考解法作为奖励支架而非模仿目标，自动扩大模型对有效推理路径的覆盖范围。
稠密奖励支架：本文引入了一种机制，通过 LLM 评判器将参考解法转化为稠密的、针对特定问题的评分准则，从而实现对部分进展和中间简化步骤的强化。
过程级信用分配：通过利用基于前缀的评分和段级优势函数，ExpRL 提供了对推理步骤质量的细粒度反馈，鼓励诸如分解和自我修正等行为。
经验验证之“启动”效应：研究证明，与 SFT、稀疏奖励 GRPO 和自我蒸馏基线相比，经由 ExpRL 初始化的模型在下游稀疏奖励 RL 后的表现更优。

4. 实验结果

实验在极具挑战性的数学推理任务（AIME, HMMT, IMO-AnswerBench）上进行，并扩展到了混合领域设置（科学、编程）。

下游性能：经由 ExpRL 初始化的模型在 held-out 基准测试集上的 $pass@1 $和$ pass@k$ 均高于所有基线模型。值得注意的是，在 AIME 2026 上，ExpRL-Process 达到了 63.41% 的准确率，超过了表现最好的基线（GRPO，58.75%）。
第一阶段的提升：即使在下游 RL 之前，经由 ExpRL 启动的模型在训练分布上的 $pass@1 $和$ pass@16$ 也表现出显著提升，这表明该方法成功扩大了模型能够采样的可解问题集合。
行为变化：行为分析显示，相对于基座模型，ExpRL 增加了搜索导向行为（如验证、自我修正和回溯）的频率。相比之下，SFT 往往会减少验证行为。
混合领域与评判器可扩展性：
- ExpRL-Outcome 成功实现了使用较小的 4B 评判器来提升较大的 8B 策略在数学、科学和编程领域的表现，这表明如果评判器是以参考为条件的，其规模无需与策略匹配。
- 编程领域的局限性：ExpRL 在编程任务（LiveCodeBench）上表现出混合的结果。虽然它提升了基座策略，但基于执行的稀疏 GRPO 仍然更强。作者将其归因于编程奖励高度依赖于功能正确性（执行），而非参考解法支架，在编程中，通过参考路径定义部分进展更为困难。
奖励可靠性：校准测试确认，稠密奖励信号取决于存在正确且与问题匹配的参考解法。移除参考或使用错误的参考会显著降低评判器区分正确与错误展开过程的能力。

5. 意义与主张

本文声称 ExpRL 通过将探索的负担转移到中期训练阶段，解决了 LLM RL 中的“探索瓶颈”。通过利用参考引导的稠密奖励来奖励部分进展和多样化的推理策略，ExpRL 构建了一个更强的“探索先验 (exploration prior)”。

作者认为，这种方法优于基于模仿的中期训练 (SFT)，因为它避免了克隆基座模型可能无法自然生成的轨迹所带来的缺陷，这些缺陷可能导致分布偏移和不稳定。相反，ExpRL 使策略保持在自身的分布内，同时引导其走向有效的解空间区域。

这项工作将 ExpRL 定位为一个通用的“启动接口”，可以与其他的探索策略（例如前缀引导生成）相结合，并指出在硬核问题上扩展 RL 的关键在于：确保在开始稀疏奖励优化之前，基座模型已经具备足够的有效推理路径覆盖度。论文保持了谦逊的态度，指出该方法需要辅助参考数据，且其有效性因领域而异（例如在拥有执行反馈的编程领域，该方法的重要性相对较低）。