技术摘要：不仅是“何处”，更是“何时”：强化学习验证奖励（RLVR）的时间调度

问题陈述

带有可验证奖励的强化学习（RLVR）已成为大语言模型（LLM）后训练的主导范式，特别是在推理任务中。然而，标准的 RLVR 方法（如组相对策略优化 GRPO）通常将单个标量奖励广播到整个生成序列。这导致了一种均匀优化的信号，使得所有采样的 token 均等地参与策略更新，从而忽视了沿轨迹表现出的异构策略行为（例如推理支架、逻辑连接、反思和答案收敛）。

现有解决方案试图通过引入信用分配机制来解决这一问题，以确定学习信号应分布在何处。这些方法包括：

• 过程奖励模型（PRMs）： 提供步骤级反馈（标注成本高昂）。
• Token 级代理： 使用 token 熵、似然度或 KL 散度等指标来重新加权优势值，或选择稀疏的 token 子集进行优化。

核心局限性： 虽然这些方法识别了需要优先处理的特定 token，但分配标准在整个训练过程中保持停滞。一旦选定某个代理（例如高熵），相应的策略行为就会被持续强调。作者认为，这种静态方法限制了策略的弹性演化，并可能导致在试图同时容纳多种行为时牺牲策略熵。本文提出，时间维度——即学习信号调度的“何时”——尚未得到充分探索，且与“何处”分配同样关键。

方法论

本文提出了时间调度（Temporal Scheduling），这是一个在训练过程中动态调整信用分配标准而非将其固定不变的框架。

1. 轨迹百分位作为自然视角

作者引入了轨迹百分位分数（TP-Score），以基于 token 位置区分策略行为，而非仅仅依赖复杂的策略代理。

• 分析： 实证分析揭示了轨迹不同位置上的 token 分布和熵轮廓存在显著差异。
  • 早期百分位： 与推理支架和受限模式相关；表现出较低的熵。
  • 中期百分位： 与反思和关键推理相关；表现出最高的熵和探索行为。
  • 后期百分位： 与答案实现和总结相关；表现出中等熵。
• 洞察： 轨迹百分位提供了一个自然、简单的锚点，用于区分异构行为，而无需复杂的代理计算。

2. 时间调度机制

核心创新在于将信用分配因子 $\hat{f}_t(\tau)$ 调度为训练进度 $\tau$ 的函数。
$$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$$
其中：

• $\hat{f}_t$ 是源自现有方法（例如基于熵的重新加权或稀疏选择）的原始信用分配因子。
• $S(\tau)$ 是一个从 1 到 0 单调递减的调度函数。
• 策略： 优化过程开始时优先处理最具有针对性的 token（例如由特定代理识别的 token 或轨迹后期位置的 token），以强化特定行为。随着训练的进行，标准逐渐衰减，扩大优化范围以包含更多通用 token。

3. 与现有范式的集成

该方法被设计为现有信用分配策略的“即插即用”替代方案：

• 连续优势重加权： 权重 $\psi(\mu_t)$ 乘以 $S(\tau)$ 进行缩放。
• 离散稀疏优化： 选择阈值 $\epsilon$ 被动态放宽：$\mu_t \geq S(\tau) \cdot \epsilon$。这使得更多 token 随时间逐渐被纳入优化集合。

4. 轨迹百分位调度（TP-Schedule）

作者提出了一种直接使用轨迹百分位的具体实例化方法：

• 初始化： 仅关注负责可靠延续的后期 token（高百分位）。
• 演进： 逐渐纳入负责推理支架的早期 token（低百分位）。
• 公式： $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$，其中 $t/T$ 是归一化位置。这创造了一种结构化转变，优化从序列末尾向后传播至开头。

主要贡献

1. 时间维度的识别： 本文论证了信用分配的时机是一个关键且未被充分探索的优化维度。它挑战了停滞的分配范式，提出在训练步骤上调度标准能带来更具弹性的策略演化。
2. 时间调度框架： 一种通用方法，用于补充现有的信用分配技术（包括连续重加权和稀疏优化），通过优先处理早期目标 token 并逐渐衰减至通用优化。
3. 轨迹百分位作为有效代理： 作者指出，简单的轨迹百分位是区分策略行为的自然且有效的标准，与时间调度协同工作，避免了标准方法中常见的熵崩溃。
4. 实证验证： 在多个模型规模（Qwen3-4B、Qwen3-8B）、RL 算法（GRPO、GSPO）和基准测试（数学和通用推理）上均展示了持续的提升。

实验结果

作者在 OpenMathReasoning 和 DeepMath-103K 数据集上评估了该方法在 Qwen3-4B 和 Qwen3-8B 模型上的表现。基准测试包括分布内数学任务（AIME、HMMT、Minerva）和分布外推理任务（Winogrande、GPQA、MuSR）。

• 性能提升：
  • 对于 4B 模型，TP-Schedule（使用轨迹百分位）在数学基准测试上比原生 GRPO 高出 2.2%，在通用推理基准测试上高出 2.7%。
  • 将时间调度应用于现有的停滞方法（如 Entropy-Adv、Forking-Tok）带来了持续的提升，其中离散调度（扩展 token 子集）显示出特别强的潜力。
  • 在不同模型规模和 RL 算法（包括 GSPO）中均观察到了改进。
• 训练动态：
  • 熵保持： 标准优化往往为了容纳异构行为而牺牲策略熵。时间调度在整个训练过程中保持了显著更高的策略熵（在某些比较中高出 33.9% 以上），从而带来了更健康的动态。
  • 结构化对齐： KL 散度分析表明，时间调度诱导了策略更新的渐进式转变，从轨迹后期百分位开始，逐渐传播至早期百分位，而非均匀更新。

意义与主张

本文主张，时间调度构成了 RLVR 一个有前景的优化维度。其意义在于：

• 范式转变： 从静态的“何处”（token 选择）焦点转向动态的“何时”（调度）焦点。
• 缓解熵崩溃： 通过避免同时容纳所有异构行为，该方法防止了标准 RLVR 中常见的策略熵快速崩溃。
• 简单性与兼容性： 该方法依赖于简单的轨迹百分位，并与现有的信用分配策略兼容，无需复杂的新奖励模型或标注成本。

作者总结道，虽然该框架目前应用于特定的分配标准，但未来的工作涉及在此时间框架内协调多样的信用分配标准。结果表明，学习信号的时机与其在 token 上的空间分布同样关键。