技术摘要：利用折扣强化学习高效学习推理

问题陈述

大型推理模型（LRMs）通过在最终答案之前生成中间推理令牌来解决复杂任务（如数学、代码）。虽然强化学习（RL）后训练提高了准确率，但往往导致过长的思维链，从而增加计算成本、内存占用（通过不断增长的 KV 缓存）以及推理延迟。

该领域普遍假设较长的响应本质上能提高准确率，这意味着响应长度与正确性之间存在权衡。本文挑战了这一假设。它提出，在由模型类别和问题实例决定的特定范围内，并不存在固有的权衡：可以将响应长度减少到特定的实例相关阈值，而无需牺牲准确率。目标是训练 LRMs 以有效且高效地得出正确答案，这类似于在随机最短路径（SSP）问题中寻找最短的成功轨迹。

方法论

理论框架：Blackwell 最优性

作者将基于验证器的推理建模为具有二元终端奖励（正确为 1，错误为 0）的有限 horizon 马尔可夫决策过程（MDP）。为了形式化在最大化准确率的同时最小化路径长度的目标，他们利用了Blackwell 最优性。

• 定义：如果一种策略对于所有足够接近 1 的折扣因子 $\gamma$ 都是最优的，则该策略是 Blackwell 最优的。
• 机制：在具有二元终端奖励的目标达成型 MDP 中，当 $\gamma \to 1$ 时最大化折扣回报 $J_\gamma(\pi)$，首先最大化成功概率（准确率）。在实现最大成功概率的策略中，折扣机制通过偏好期望轨迹长度更短的策略来打破平局。
• 关键洞察：对于有限策略类 $\Pi$，存在一个临界折扣因子 $\gamma_{bw} < 1$，使得对于所有 $\gamma \in (\gamma_{bw}, 1)$，$\gamma$-最优策略集与 Blackwell 最优策略集重合。这些策略在最大化准确率的策略中，同时最大化准确率并最小化期望路径长度。

实用训练方案

在理论结果的指导下，作者提出了一种使用组相对策略优化（GRPO）的具体训练方法：

1. 仅折扣环境奖励：折扣因子 $\gamma \in (0, 1)$ 仅应用于外在环境奖励（正确性）。内在奖励（格式、结构塑造）保持无折扣，以确保模型生成结构良好的输出。
2. 推理令牌掩码：折扣仅应用于被识别为“推理跨度”一部分的令牌（例如 <reasoning> 和 </reasoning> 标签之间的令牌）。提示遵循、格式化和最终答案所需的令牌不进行折扣。
3. KL 正则化：应用相对于移动参考策略（定期更新）的 KL 惩罚，以防止策略崩溃（即模型过早停止推理）并稳定学习。
4. 可比的令牌预算：为确保公平比较，调整 rollout 数量，使折扣方法与无折扣方法在训练期间处理的令牌总数相当。

优化的目标函数为：
$$\mathbb{E}_{S_1 \sim \mu, \tau \sim \pi(S_1)} [\gamma^{K(\tau)} r_e(\tau) + r_f(\tau)] - \beta \text{KL}(\pi || \pi')$$
其中 $K(\tau)$ 是推理令牌的计数，$r_e$ 是环境奖励，$r_f$ 是格式奖励。

主要贡献

1. 无权衡的理论保证：本文证明，在任何固定的（可能受限的）策略类中，Blackwell 最优策略最大化无折扣的成功概率，并且在这些最大化者中，最小化期望轨迹长度。这确立了在实例相关阈值之前，准确率和路径长度之间不存在固有的权衡。
2. Blackwell 因子的存在性：对于有限策略类，作者证明了 Blackwell 折扣因子 $\gamma_{bw} < 1$ 的存在。他们提供了 $\gamma$ 必须接近 1 的界限，以便在缩短响应的同时保持准确率，从而明确了受限部署类别的超参数选择。
3. 实证验证：使用带有折扣目标的 GRPO，作者证明模型可以在数学基准测试（GSM8K、MATH、AMC、AIME 等）上大幅减少平均响应长度，同时保持与无折扣基线相当的 Pass@1 准确率。

实验结果

作者在 various 数学数据集上评估了四个指令微调模型（Qwen2.5 7B/14B、Llama 3 8B、Phi-4）。

• GSM8K & MATH：折扣模型匹配或略超过无折扣基线的 Pass@1 准确率，同时显著减少了令牌数量。
  • Qwen2.5 7B (GSM8K)：准确率保持稳定（91.06% vs 91.07%），而平均响应长度从 217.60 降至 170.08 个令牌（约减少 22%）。
  • Llama 3 8B (GSM8K)：准确率略有提升（80.87% vs 81.07%），长度从 125.43 降至 108.67 个令牌（约减少 13%）。
• 更难的基准测试（AMC, AIME, MINERVA, OLYMPIAD）：该趋势在基于 DeepScaleR 训练的大型模型（Qwen2.5 14B, Phi-4）中依然成立。折扣模型以显著更短的轨迹实现了相当或更高的准确率（例如，Phi-4 在 AMC 2023 上：准确率从 51.00% $\to$ 61.00%，令牌数从 1134 $\to$ 716）。
• 折扣因子敏感性：改变 $\gamma$ 的实验证实了理论权衡：随着 $\gamma$ 远离 1，响应长度可靠地缩短，但如果折扣过于激进，准确率最终会下降。

意义与主张

本文声称提供了一种原则性的、实例感知的机制来实现高效推理，无需依赖精心策划的数据或提示工程。通过利用 Blackwell 最优性，该方法将“高效推理”的问题重新框架化为具有特定折扣策略的标准 RL 目标。

作者断言他们的结果：

• 驳斥了固有的长度 - 准确率权衡：他们表明，在由模型容量决定的特定阈值之前，可以在不损失准确率的情况下实现更短的推理。
• 统一长度惩罚：这项工作表明，在此设置中使用小的每步负奖励的方法等同于折扣，这意味着若干现有的长度惩罚方法在正确实施时可能恢复相同的“先准确率后长度”的排序。
• 提供实用方案：所提出的方法不需要对标准策略优化（如 GRPO）进行算法更改，只需修改奖励计算（对推理令牌进行折扣）并使用移动参考策略。

本文最后指出，虽然更短的轨迹提高了效率，但压缩推理是否能改善泛化能力，仍是未来工作有待解决的问题。