技术摘要：CEPO——基于对比证据策略优化的 RLVR 自蒸馏

1. 问题陈述

可验证奖励强化学习（RLVR）已成为在推理任务上对大型语言模型（LLM）进行后训练的主导范式。标准方法组相对策略优化（GRPO）通过消除价值网络并在采样响应组内对奖励进行归一化，简化了训练过程。然而，GRPO 存在一个根本性的信用分配瓶颈：它为正确轨迹中的每个 token 分配统一的序列级优势，为错误轨迹中的每个 token 分配统一的负信号。

这种统一性在数学推理中效率低下，因为一个决定性的推理步骤或一个微小的算术错误决定了结果，而大多数 token 仅是语法填充或模板内容。统一的信用分配将梯度信号浪费在填充 token 上，且无法区分决定性推理步骤与非信息性内容，导致收敛缓慢和更新噪声。

此前尝试通过同策略自蒸馏（以正确答案为条件作为教师）来解决这一问题，但面临两个关键问题：

1. 信息泄露：OPSD 和 SDPO 等方法最小化学生与特权教师之间的逐 token 散度。理论上，这会在梯度中引入一个词汇范围的 $r$ 条件权重之和。随着训练进行，这种“有害偏差”会主导良性信号，导致模型编码输入与答案之间的虚假关联（$x \to r^+$），从而损害泛化能力。
2. 信号质量弱：最近的 RLSD 方法通过对证据比率 $P^+_T(y_t)/P_S(y_t)$ 使用停止梯度（stop-gradient）来调节 GRPO 优势，从而解决了泄露问题。然而，RLSD 存在三个信号局限性：
   • 流畅性混淆：分母 $P_S(y_t)$ 反映了基础频率的流畅性，无论语义相关性如何，都会抑制常见 token 的比率。
   • 不对称负信号：对于错误轨迹，惩罚是间接的，缺乏对错误答案预测内容的明确依据。
   • 单向证据：RLSD 无法区分填充 token（正确和错误答案同等支持）与决定性推理步骤（正确答案支持但错误答案不赞成），因为两者产生的比率相同。

2. 方法论：对比证据策略优化（CEPO）

作者提出了CEPO，用正确答案教师与错误答案教师之间的对比比率取代了单一参考证据比率。

核心机制

CEPO 不是将学生先验 $P_S$ 与正确答案教师 $P^+_T$ 进行比较，而是将正确答案教师 $P^+_T$ 与错误教师 $P^-_T$ 进行比较。错误教师是通过对模型以同一训练批次中拒绝的答案（$r^-$，具体为奖励最低的拒绝 rollout）为条件构建的，不产生额外的采样成本。

对比证据增量定义为：
$$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$$
其中 $\text{sg}(\cdot)$ 是停止梯度算子。

贝叶斯解释

作者为 $\Delta^{CE}_t$ 推导出了清晰的贝叶斯解释，即差异信念更新。它衡量一个 token $y_t$ 在多大程度上同时增强了正确答案 $r^+$ 的后验信念，同时削弱了对错误答案 $r^-$ 的信念。

• 决定性步骤：获得较大的正 $\Delta^{CE}_t$（被 $r^+$ 强烈支持，被 $r^-$ 不赞成）。
• 填充 token：获得 $\Delta^{CE}_t \approx 0$（被 $r^+$ 和 $r^-$ 同等支持）。

训练目标

token 级优势通过此对比权重进行调节：
$$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$$
其中 $w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$。策略使用标准的 PPO 截断代理目标进行更新。参数 $\lambda$ 在预热期间从初始值线性衰减至 0。

3. 主要贡献与理论保证

本文确立了 CEPO 继承了 RLSD 的结构安全性，同时严格泛化了其信号质量：

1. 结构安全性：CEPO 满足方向锚定（特权信息无法翻转更新符号）和无泄露梯度（无词汇范围的 $r$ 条件求和）。错误答案教师 $r^-$ 仅作为停止梯度的标量进入。
2. RLSD 包含性：如果错误答案教师不携带任何信息（$P^-_T = P_S$），CEPO 精确退化为 RLSD。因此，RLSD 是 CEPO 的一个退化情况。
3. 判别锐度：作者证明，当且仅当错误答案教师相对于学生先验不赞成该 token（$P^-_T(y_t) < P_S(y_t)$）时，CEPO 在 token $y_t$ 处分配的信用严格比 RLSD 更锐利。这一条件在经验上集中于算术和推理上的决定性位置，而填充 token 获得中性权重（$w^{CE}_t \approx 1$），避免了引入虚假信号。

4. 实验结果

作者在Qwen3-VL模型（2B 和 4B 参数）上评估了 CEPO，这些模型在Geo3k几何数据集上训练，并在五个多模态数学推理基准上进行了测试：DynaMath、LogicVista、MathVisionmini、MMMU 和 WeMath。

• 性能提升：
  • 2B 规模：CEPO 实现了**43.43%**的平均准确率，比 GRPO（41.17%）高出 2.26 个百分点。
  • 4B 规模：CEPO 实现了60.56%，比 GRPO（57.43%）高出 3.13 个百分点。
  • 在需要细粒度多步推理的基准（如 LogicVista、MathVisionmini）上提升最为显著，而在知识检索基准（MMMU）上提升最小。
• 基线方法的失败：
  • OPSD 和 SDPO 的表现低于未训练基线（例如，2B 模型为 34.96% 对比 39.73%），实证确认了信息泄露的理论预测。
  • RLSD 显示出比 GRPO 微小的改进，但被 CEPO 超越。
• 效率：与 GRPO 相比，CEPO 每条轨迹仅增加一次额外的教师前向传播（与 RLSD 类似的开销），且无额外采样成本。

5. 意义与主张

本文主张 CEPO 为 RLVR 中的信用分配问题提供了一个原则性且实用的解决方案。其意义在于：

• 解决权衡：它实现了“鱼与熊掌兼得”：既具备防止信息泄露所需的结构安全性（稳定训练的先决条件），又具备区分决定性推理步骤与填充内容所需的信号质量。
• 理论的实证验证：易受泄露影响的方法（OPSD/SDPO）崩溃至基线以下，实证确认了理论泄露分析，而 CEPO 的成功验证了对比方法的有效性。
• 可解释性：对 token 权重的分析显示，CEPO 成功地将信用定位到关键的代数推导上，并抑制了流畅但无信息的散文，这是 RLSD 中未观察到的行为。

作者得出结论，CEPO 为下一代具备信用感知能力的 RLVR 训练提供了稳健的构建模块，并建议未来的工作将该方法扩展到更大的模型、纯文本推理和代码生成。