ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning

ReDiPPO 技术摘要：面向数学推理的参考引导价值校准与差异感知 Token 重加权

问题陈述
基于可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）数学推理能力的主流范式。在这种设定下，模型生成长推理轨迹，自动验证器根据最终答案分配二元结果奖励。虽然像 GRPO、DAPO 和 GSPO 这样的无评论家（critic-free）方法通过分配统一的响应级优势（advantage）来避免价值估计误差，但它们缺乏区分正确与错误中间推理步骤的能力。相反，近端策略优化（PPO）通过学习到的评论家提供了进行 Token 级信用分配（credit assignment）的潜力。然而，在以长时程和稀疏终端奖励为特征的数学推理任务中，标准评论家难以准确评估中间状态。由于在评估部分轨迹时无法获取参考答案，标准评论家往往会产生噪声较大的优势估计，导致策略更新并非最优。此外，现有的基于 PPO 的 RLVR 系统存在一种不对称性：虽然参考答案决定了终端奖励，但对于负责 Token 级信用分配的评论家而言，这些信息仍然是不可用的。

方法论：ReDiPPO
作者提出了 ReDiPPO（参考引导且差异感知的 PPO），这是一个旨在改进 Token 级信用分配且不改变推理时策略接口的框架。该方法通过两个主要机制运行：

1. 参考引导的价值校准（Reference-Guided Value Calibration）：
   ReDiPPO 在训练期间采用双评论家架构。

   • 标准评论家 ($V^{std}$): 在无法获取参考答案的情况下评估部分推理状态（提示词 + 部分响应），模拟策略模型的运行条件。
   • 参考引导评论家 ($V^{ref}$): 以提示词、部分响应以及参考答案（作为训练时的特权信号提供）为条件。这使得评论家能够更准确地评估部分轨迹是否与正确解法相兼容。
     参考引导评论家为计算执行器（actor）的优势值提供基准（$\hat{A}^{ref}_t = G - V^{ref}_t$），而策略本身仍仅以提示词为条件，确保特权信息不会泄露到生成过程中。

2. 差异感知 Token 重加权（Discrepancy-Aware Token Reweighting）：
   该框架利用两个评论家之间的分歧作为可靠性的信号。

   • 差异计算: 为每个 Token 计算标准评论家与参考引导评论家估计值之间的绝对差值（$e_{i,t} = |v^{ref}_{i,t} - v^{std}_{i,t}|$）。较大的差异表明该状态下，非参考信息的评论家存在不确定性或可能出错。
   • 重加权: 差异经过归一化和裁剪后生成 Token 级权重（$w_{i,t}$）。随后，参考引导的优势值通过这些权重进行缩放（$\tilde{A}_{i,t} = \text{Whiten}(w_{i,t} \cdot \hat{A}^{ref}_{i,t})$）后用于 PPO 目标函数。该机制强调了那些在参考信息显著改变价值评估的状态下的 Token 更新，从而有效地降低了来自标准评论家的噪声估计权重。

核心贡献

• 参考引导的价值校准: 引入了一种利用参考答案作为训练时特权信息的评论家，以构建更具信息量的 Token 级优势基准，解决了在稀疏奖励下评估部分解法的难题。
• 差异感知 Token 重加权: 一种新颖的机制，将参考引导评论家与标准评论家之间的分歧转化为有界的 Token 级权重，使优化过程能够自适应地关注标准价值估计不可靠的推理状态。
• 实证验证: 该方法在六个数学推理基准测试（AIME 2024/2025/2026, HMMT 2025, Minerva Math, OlympiadBench）和三个不同的策略骨干网络（Qwen3-4B-Instruct, Qwen3-4B-Thinking, 以及 OLMo3-7B-Instruct）上进行了评估。

实验结果
ReDiPPO 一致优于包括无评论家方法（DAPO, GSPO）和原生 PPO 在内的强基线模型。

• 性能提升: 在所有三个骨干网络中，ReDiPPO 均取得了最高的平均准确率。具体而言，它比原生 PPO 提高了 1.19 到 2.37 个百分点。例如，在 Qwen3-4B-Instruct 骨干网络上，平均得分从 53.66（PPO）提升至 56.03（ReDiPPO）。
• 评论家质量: 训练动态分析显示，与标准评论家相比，参考引导评论家实现了显著更高的路径选择准确率（PSA）和解释方差（EV）。
• 差异分析: 研究表明，高参考-标准差异与困难的推理轨迹（更长的长度和更低的准确率）之间存在强相关性。此外，通过参考条件实现的价值估计增益在推理轨迹的后期阶段最为显著，这证明了在 Token 级进行重加权优于使用单一的全局难度评分。

意义与主张
论文声称，ReDiPPO 通过有效地利用参考答案作为训练时的特权信息，解决了长时程数学推理中可靠 Token 级信用分配的核心挑战，且不会损害策略的推理能力。作者断言，其方法提供了一个更具信息量的评论家基准，以及一个识别并重加权不可靠信用分配的鲁棒机制。这项工作表明，利用参考引导的价值学习是基于 PPO 的 RLVR 有前景的方向，特别是在中间步骤评估具有歧义但可以进行结果验证的领域。作者指出，一个尚待解决的问题是，这种方法是否能迁移到缺乏唯一、规则可验证答案的领域。