🤖 machine learning

ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning

Extra 是一个兼容 GRPO 的框架，它通过结合用于多样化正确解的创新性奖励以及用于克服标准 RLVR 在简单和困难推理任务上局限性的熵引导前缀再生，增强了语言模型的强化学习，从而显著提高了准确率和推理时的覆盖率。

原作者： Wenyang Hu, Junxiang Jia, Zhen Shu, Daniel Dahlmeier, See-Kiong Ng, Bryan Kian Hsiang Low

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenyang Hu, Junxiang Jia, Zhen Shu, Daniel Dahlmeier, See-Kiong Ng, Bryan Kian Hsiang Low

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明的学生（一个人工智能语言模型）如何解决困难的数学问题。你使用一种叫做**强化学习（Reinforcement Learning）**的方法，学生尝试解决一个问题，如果答对了，就得到一个“大拇指”；如果答错了，就得到一个“大拇指向下”。目标是帮助学生从这些“大拇指向上”和“大拇指向下”中学习，从而变得越来越好。

这篇论文介绍了一种新的教学方法，叫做 ExTra（探索性轨迹优化，Exploratory Trajectory Optimization）。它解决了在学生尝试从一组尝试中学习时会发生的两个特定问题。

ExTra 解决的两个问题

1. “太简单”的问题（无聊的课堂）
想象你给学生一个非常简单的数学题，比如 $2+2$ 。

发生的情况： 学生尝试了 10 次，每一次他们都写下了“4”。
问题所在： 由于所有的答案都是相同的且正确的，老师（AI 系统）会感到困惑。由于尝试之间没有区别，无法从中学习。学生停止了尝试新的思考方式，只是重复同样的枯燥模式。他们陷入了“窠臼”，失去了创造性思考的能力。
ExTra 的解决方法： 它增加了一个**“新颖性奖励”（Novelty Bonus）**。如果学生得到了正确答案（ $2+2=4$ ），但用了一种与之前不同的、独特的方式来解释它，他们会获得额外的分数。这鼓励学生在解决简单问题时尝试不同的风格，保持大脑活跃且多样化。

2. “太难”的问题（死胡同）
现在想象你给学生一个超级难的问题，比如一道复杂的奥林匹克数学题。

发生的情况： 学生尝试了 10 次，每一次他们都卡住了或者给出了错误的答案。
问题所在： 老师看到了 10 次失败，却不知道该怎么办。没有“大拇指向上”可以用来学习。通常情况下，系统会直接丢弃所有 10 次尝试，并从头开始，白白浪费了学生在卡住之前所做的所有工作。
ExTra 的解决方法： ExTra 不会丢弃所有内容，而是扮演一个聪明的徒步向导的角色。
- 它观察学生失败的尝试，并问道：“他们在哪里差点就做对了？”
- 它利用一种特殊的信号，叫做熵（Entropy）（这就像是在衡量学生在每一步中的“困惑度”或“不确定性”）。它能找到学生最不困惑的那部分答案。
- 它保留这个特定的“接近正确”的部分，并说：“好吧，让我们保留这一部分，并尝试从这里完成剩下的题目。”
- 这保存了学生的进度，并引导他们从一个强大的起点开始探索新的路径，而不是从零开始。

它是如何协同工作的

把 ExTra 想象成一个同时做两件事的教练：

对于简单的任务： 他们告诉学生，“做得好！但下次尝试用一种完全不同的方式来解释，这样我们才能学到更多。”（这是新颖性奖励）。
对于困难的任务： 他们告诉学生，“你在这里卡住了，但在写到这一句之前你表现得非常好。让我们保留这一句，并尝试从这里完成这个谜题。”（这是基于熵引导的再生）。

结果

研究人员在六个不同的数学基准测试（如 AIME 和 MATH）上测试了它。他们将 ExTra 与标准方法（称为 GRPO）进行了比较。

更高的准确率： AI 在第一次尝试时得到了更多的正确答案。
更好的覆盖率： 如果你让 AI 尝试 16 次来解决一个问题，ExTra 更有可能在 16 次尝试中找到至少一个正确答案。这意味着 AI 不仅仅是在学习一种特定的思考方式，它还学会了更广泛、更多样化的解题方式。
高效性： 它在没有浪费额外计算时间或不需要人类对每一步进行评分的情况下，实现了这些结果。它仅仅通过观察 AI 自身的思考过程，就弄清楚了哪些部分是有效的。

简而言之，ExTra 教会了 AI 在面对简单情况时保持多样性，在面对困难挑战时保持韧性，确保它不会陷入重复的循环，也不会在面对挑战时轻易放弃。

技术摘要：ExTra —— 用于语言模型强化学习的探索性轨迹优化

1. 问题陈述

本文针对基于可验证奖励（RLVR）的语言模型推理在组相对策略优化（GRPO）框架下的关键失效模式进行了研究。作者识别了任务难度两端的两种结构性缺陷：

简单提示词（多样性崩溃）： 当问题较简单时，模型会生成近乎统一的正确响应。这导致组内奖励方差趋于零，从而产生微乎其微的梯度信号。因此，策略会过度优化于一组狭窄的推理模式，抑制了轨迹的多样性。这种退化直接损害了依赖于采样多样化正确解的推理时扩展指标（如 $k > 1$ 时的 pass@k）。
困难提示词（信号丢失）： 当问题较难时，模型在一次 Rollout 组内可能无法生成任何正确响应。在这种情况下，所有优势值（advantages）都会消失，导致策略无法获得任何梯度信号。

现有的缓解策略（如基于难度的数据过滤，例如 DAPO）试图通过丢弃具有极端通过率的问题或重新采样直到找到“黄金比例”的组来解决此问题。作者认为这种方法效率低下：它丢弃了困难问题（这些问题包含前沿推理的密集学习信号），并且仍无法防止保留下来的简单问题出现多样性崩溃。此外，从头开始重新采样忽略了失败轨迹中可能已经编码的有用中间结构。

2. 方法论：ExTra 框架

ExTra（探索性轨迹优化）是一个与 GRPO 兼容的框架，旨在直接从模型自身的 Rollout 中提取探索信号，而无需除了二元正确性之外的其他奖励模型或监督。它通过两个互补机制运行：

A. 驱动新颖性的内在奖励（解决简单提示词问题）

为了对抗简单问题上的多样性崩溃，ExTra 引入了基于嵌入（embedding）的新颖性奖励。

机制： 对于每个提示词，系统维护一个来自先前响应的句子嵌入记忆。只有当新响应 $y$ 是正确且相对于记忆具有语义新颖性时，它才会获得内在奖励 $r_{int}$ 。
公式化： $r_{int}(y) = \mathbb{1}[R(x,y)>0] \cdot (1 - \max_{z' \in \Phi(x)} \cos(z, z'))$ 。
集成： 至关重要的是，该新颖性奖励是在 GRPO 的组归一化（group normalization）之后添加的。这防止了探索信号被组的均值和方差所扭曲，确保二元任务奖励仍是主要驱动力，同时利用新颖性项鼓励多样化的正确策略。
约束： 正确性门控确保策略永远不会被激励去产生多样化的错误结果。

B. 熵引导的前缀再生（解决困难提示词问题）

为了从无法生成正确响应的困难提示词中恢复信号，ExTra 提出从有前景的中间步骤而非从头开始重新生成轨迹。

启发式方法： 该方法使用**平均标记熵（Mean Token Entropy, MTE）**作为衡量推理前缀质量的无监督代理。其假设是：连贯的推理链比漂移或不一致的链具有更低的确定性（更低的熵）。
流程：
1. 对于困难提示词，从 Rollout 组中提取所有中间推理步骤（前缀）。
2. 计算每个前缀的 MTE。
3. 使用语义相似度对得分进行平滑处理以减少噪声。
4. 选择具有最低平滑 MTE 的前缀作为“引导提示词”。
5. 在该前缀的条件下采样新的后缀（ $y_{>t} \sim \pi_\theta(\cdot | x, p^*)$ ）。
效率： 策略梯度损失仅在新增的后缀标记上计算，而固定的前缀作为上下文。这使得探索集中在模型已经高置信度到达的状态上，有效地缩小了搜索空间。

3. 核心贡献

识别失效模式： 本文正式将简单任务上的“多样性崩溃”和困难任务上的“信号丢失”表征为标准 GRPO 的结构性限制。
新算法 (ExTra)： 一个结合了后归一化新颖性奖励和熵引导前缀再生的框架，用于优化轨迹的多样性（针对简单任务）和结构前景（针对困难任务）。
无监督中间监督： 验证了平均标记熵（MTE）作为一种强大的、无监督的前缀质量预测器。实验表明，MTE 在识别可能导致正确完成的前缀方面优于其他指标，包括那些需要地面真值答案的指标。
理论证明： 通过搜索空间分析（命题 1）证明，如果存在一个“高于平均水平”的前缀，则再生过程会严格增加每次尝试的成功率，并与从头采样相比，减少寻找解决方案所需的预期尝试次数。

4. 实验结果

作者在六个数学推理基准测试（MATH-500, AMC23, Minerva, OlympiadBench, AIME24, AIME25）上使用 Qwen3-1.7B 和 Nemotron-1.5B 对 ExTra 进行了评估。

性能提升：
- Qwen3-1.7B： ExTra 使平均 pass@1 提升了 +4.9 点，平均 pass@16 提升了 +6.8 点。
- 困难基准测试： 在像 AIME24（+8.0 pass@1, +20.0 pass@16）和 AIME25 这样困难的数据集上，提升最为显著。
- 消融实验：
  - ExTra-N（仅新颖性）： 提升了 pass@1 和 pass@16，证实了多样性奖励的价值。
  - ExTra-R（仅再生）： 提升了 pass@1 但略微降低了 pass@16，表明仅靠再生可能会收缩搜索空间，缺乏新颖性奖励提供的多样性缓冲。
  - 完整 ExTra： 展示了超加性效应，即结合两种机制产生的增益大于两者单独部分之和。
多样性指标： 与 GRPO 和 DAPO 相比，ExTra 实现了更低的 Self-BLEU 和更高的 LogDet 分数，表明其具有更广泛的推理轨迹语义覆盖。
样本效率： ExTra 在使用显著更少的生成提示词实例（136k vs 392k）的情况下，实现了比 DAPO 更高的 pass@16 分数，证明了它在没有动态重采样开销的情况下，能从每次 Rollout 中提取更多信号。

5. 重要性与主张

本文声称 ExTra 提供了一种更高效、更稳健的 RLVR 方法，因为它显式地优化了既具有多样性又具有结构前景的轨迹。其重要性在于：

操作简便性： 它完全在标准的 GRPO 循环内运行，不需要额外的奖励模型、人工标注或超出标准生成 Logits 之外的沉重计算开销。
信号提取： 它证明了有价值的探索信号（多样性和中间结构）潜伏在模型自身的生成过程中，并且可以在不丢弃困难数据或盲目重采样的情况下进行采集。
可扩展性： 通过提高单样本准确性和推理时覆盖率（pass@k），该方法支持通过多数投票或 Best-of-N 采样策略来更好地扩展推理能力。

作者保持了谦逊的态度，指出虽然 MTE 是一个强有力的预测器，但由于蒙特卡洛前缀评估固有的噪声，其相关性是中等的，且该方法依赖于 MTE 能够成功识别出的“高于平均水平”的前缀的存在。