🤖 AI

RREDCoT: Segment-Level Reward Redistribution for Reasoning Models

本文介绍了 RREDCoT，这是一种利用推理模型本身来近似思维链（Chain-of-Thought）轨迹的最优分段级奖励重分配的新方法，从而解决了强化学习微调中传统蒙特卡洛信用分配存在的高方差和计算低效问题。

原作者： Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 RREDCoT 论文的解释，采用了通俗易懂的语言和富有创意的类比。

核心问题：推理过程中的“黑盒”现象

想象你正在教一名学生解决一道非常困难的数学题。学生在写出最终答案之前，会写下一长串逐步的思考过程（即“思维链”，Chain of Thought）。

在目前的 AI 训练方法中，老师只在最后时刻给出反馈。

学生： 写了 50 页的思考过程，在第 10 页犯了一个错误，但随后继续写了下去，并最终在第 50 页猜对了答案。
老师： 说：“做得好！你答对了。”
结果： 学生心想：“哇，我第 10 页的那个错误居然还有用！”或者“我不知道这 50 页里到底哪一部分才是真正有用的。”

这就是所谓的延迟奖励问题（delayed reward problem）。因为 AI 不知道究竟是哪些具体的想法导致了成功，所以它的学习过程既缓慢又低效。这就像学开车，你只有在停好车后才会得到一个“做得好”或“做得差”的信号，却完全不知道自己是转弯太早了，还是刹车踩晚了。

解决方案：RREDCoT（“回溯与重新分配”工具）

作者创造了一种名为 RREDCoT（用于思维链的奖励重新分配，Reward REDistribution for Chain of Thoughts）的新方法。

把 RREDCoT 想象成一位聪明的编辑，他正在审阅学生那 50 页的草稿。这位编辑不仅仅是给最终答案打分，还会回到过去，为每一个段落分配一个“分数”。

第 1-5 段： “开场不错，但并不关键。”（低分）
第 10 段： “这里走错了路，但你又绕回来了。”（负分）
第 25 段： “这是解开谜题的关键洞察！”（高分）
第 50 段： “正确答案。”（加分）

通过将功劳（或责任）归于具体的思考环节，AI 能更快地学会哪些想法才是真正有用的。

它如何运作（无需数学公式）

论文解释说，以往的方法尝试过两种解决方式，但两者都存在缺陷：

“猜谜游戏”（蒙特卡洛采样/Monte Carlo Sampling）： 让 AI 将同一个问题生成 100 次，看看哪些步骤通常能导向成功。这种方法很准确，但极其耗时（就像为了找出最佳路线而把马拉松跑了 100 遍）。
“责备游戏”（归因/Attribution）： 通过观察 AI 内部的“注意力”机制来猜测哪些部分很重要。论文指出，这种方法往往具有误导性，因为它观察的是 AI 看向了哪里，而不是 什么才是真正起作用的。

RREDCoT 的妙招：
RREDCoT 并没有让 AI 多跑 100 次，也没有盲目猜测，而是利用 AI 自身的知识来估算每一步的价值。

它观察“参考解法”（正确路径）。
它会问：“如果我采取了这特定的某一步，我会离正确答案更近多少？”
它使用了一种巧妙的数学捷径（灵感来自我们预测句子中下一个词的方式）来即时计算这一点，而不需要生成 100 个额外的故事版本。

“混合分割”（切蛋糕）

为了实现这一点，AI 需要知道一个“想法”在哪里结束，另一个又在哪里开始。你不能仅仅观察每一个字母（token），因为那样数据量太大了。

论文的想法： 他们使用了一种“混合分割”（Hybrid Segmentation）策略。想象在切一个长长的蛋糕：
- 首先，他们在明显的地点切开（比如新的段落，或者像“等等”、“因此”之类的关键词）。
- 然后，他们观察文本的“困惑度”（entropy）。如果 AI 对接下来要写什么感到非常不确定，那么那里就是一个很好的切蛋糕位置。
- 这样就创造出了逻辑性的“块”（chunks），便于进行评分。

研究发现（结果）

研究人员在数学问题（如 AIME 和 MATH 数据集）上测试了该方法。

学习更快： 使用 RREDCoT 的模型比使用标准方法（GRPO）的模型学得更好、更快。
效率更高： 即使在 AI 生成极长的思维链（高达 25,000 个 token）时，它们也能获得更好的结果。
无需额外模型： 不同于其他需要第二个“裁判”AI 来评分的方法，RREDCoT 使用主 AI 自身来进行评分，节省了时间和资源。

局限性（不足之处）

论文诚实地指出了该方法可能面临的挑战：

你需要标准答案： RREDCoT 在你已经掌握正确解题路径（或至少有一个良好的提示）时效果最好。如果你试图解决一个解法未知或“正确路径”模糊的问题，这种方法就帮不上什么忙。
成本略高： 它比标准方法大约需要多出 1.5 到 2 倍的计算能力，但作者认为，考虑到它带来的学习速度提升，这是一个公平的权衡。

总结

RREDCoT 是一种训练 AI 更好思考的新方法。它不再是等到最后才说“做得好”，而是将思考过程分解成小的块，并告诉 AI 哪些想法是有帮助的，哪些是干扰项。它做到了快速且高效，使得 AI 能够比以前更快地掌握复杂的推理技能。

技术摘要：RREDCoT —— 面向推理模型的段落级奖励重分配

问题陈述

推理语言模型的最新进展高度依赖于强化学习（RL）微调，特别是结合了组相对策略优化（GRPO）算法与可验证奖励强化学习（RLVR）范式的技术。在这种设定下，模型在生成最终答案之前会先生成一段思维链（CoT）轨迹。然而，存在一个关键的瓶颈：奖励信号通常仅在整个 CoT 轨迹完成且最终答案被验证后才被分配。这造成了延迟奖励问题。

标准的 GRPO 方法对应于强化学习中的蒙特卡洛方法，由于奖励被均匀地分配到整个轨迹中，无法为单个推理步骤提供直接监督，从而导致高方差。虽然蒙特卡洛采样（MCS）可以估计中间状态的值，但它需要为每一个片段生成多次补全，这对于长上下文下的高粒度信用分配而言，会导致难以承受的计算开销。现有的替代方案（如使用评判模型进行逐步分析或通过模型统计量提取中间效用）往往会引入噪声或需要额外的计算资源。

方法论：RREDCoT

作者提出了 RREDCoT（用于思维链的奖励重分配），该方法将 RUDDER 算法的原理适配到 CoT 生成的特定结构中。其核心目标是将最终奖励重新分配到 CoT 轨迹的中间段落，从而在不需要额外模型或额外生成步骤的情况下，提供更密集的学习信号。

1. MDP 公式化

CoT 生成过程被建模为一个马尔可夫决策过程（MDP），其中状态 $s_t$ 由原始查询和截至 $t-1$ 时生成的序列组成。动作空间被划分为：

$Y$ (答案)： 触发最终输出的动作。
$U$ (延续)： 生成进一步 CoT 段落的动作。
生成思维过程的即时奖励为零；奖励仅在生成正确的最终答案时实现。

2. 最优奖励重分配

RREDCoT 基于连续状态之间期望回报的差异推导出最优奖励重分配 $\sigma$ 。该方法利用生成语言模型本身来近似价值函数，从而避免了对辅助 LSTM（如原始 RUDDER 中所使用的）的需求或大规模采样。

重分配计算公式为：
$\sigma_t \propto \hat{R}_{t+1} - \hat{R}_t + \hat{v}_{t+1} - \hat{v}_t$
其中：

$\hat{R}_t$ 是即时奖励估计（给定当前轨迹下参考答案的概率）。
$\hat{v}_t$ 是状态的估计价值（未来补全的预期效用）。

为了高效估计这些值，作者使用基于参考解路径（ $Y^\star, U^\star$ ）上的重要性采样的概率奖励（PR）估计器。这使得模型能够充当动力学函数（世界模型），以估计从当前段落到达高效用状态的可能性。

3. 混合分割策略

为了使信用分配变得可行，RREDCoT 引入了一种混合关键词-熵分割策略：

初始拆分： 通过通用关键词（如换行符）对轨迹进行拆分。
迭代合并： 将连续的、组合熵最低的段落进行合并，直到达到目标段落数量。
原理： 高熵标记代表高多样性点（决策点），并作为估计即时贡献的自然“出口点”。该策略确保段落尽可能解耦，从而最大限度地减少价值函数估计中的偏差。

4. 与 RL 目标的集成

重分配后的奖励被集成到标准的策略梯度目标中。该方法确保了回报等价性（return-equivalence），即重分配奖励的总和等于原始回合回报，在保持最优策略的同时加速收敛。

核心贡献

RREDCoT 算法： 一种针对 CoT 轨迹的可行信用分配与奖励重分配算法，它不需要额外的模型或额外的生成步骤，而是利用生成模型自身进行价值估计。
基于熵的分割策略： 一种专为 RREDCoT 设计的分割策略，通过平衡基于关键词的拆分与熵驱动的合并，来优化中间贡献的估计。
理论与实证分析： 通过详细分析将提出的估计器与蒙特卡洛采样及各种归因方法（如 Shapley 值、留一法/LOO）进行对比，证明了不以正确解为条件的归因方法所捕捉到的生成特性与奖励重分配不同。

实验结果

作者在 AIME、MATH 和 Minerva 等多个基准测试上对 RREDCoT 进行了评估。

长上下文性能： 在生成长度高达 25k token 的 Numina-CoT 数据集上，RREDCoT 的表现优于标准的 GRPO。例如，在 Qwen3-4B Instruct 模型上，RREDCoT 实现的 AIME24 分数为 0.908，而 GRPO 为 0.850。
小规模精炼： 当应用于小型推理模型（1.5B 参数）进行在线精炼时，RREDCoT 展示了与经过超参数调优的 GRPO 模型相比具有竞争性甚至更优的结果，特别是在 AMC23 和 MATH500 基准测试上。
方差与偏差： 研究表明，虽然截断蒙特卡洛采样会导致大量有效补全的丢失（引入偏差），但 RREDCoT 的估计器能以极小的计算成本与 MC 采样结果保持一致。
相关性分析： 论文发现，基于梯度的方法与留一法（LOO）归因方法高度相关，但与 RREDCoT 的相关性较低。这表明归因方法捕捉到的信号属性与奖励重分配不同，因此仅使用归因来进行训练权重分配可能是冗余或次优的。

意义与主张

本文声称 RREDCoT 解决了强化学习微调推理模型时固有的高方差和延迟奖励问题。通过基于模型自身预测能力对中间段落进行奖励重分配，该方法在不产生蒙特卡洛采样那样的计算限制的前提下，加速了收敛并提升了最终性能。

作者强调，他们的方法是最优奖励重分配的一种可行的近似。他们指出，该方法依赖于参考解的存在以及某些子目标结构（例如数学问题中的唯一解）。虽然该方法引入了 1.5–2 倍于原生 GRPO 的计算开销，但仍显著比完整的蒙特卡洛采样更高效。这项工作将 RREDCoT 定位为既是训练信号放大器，也是一种分析工具，为信用分配提供了一个区别于传统归因技术的全新视角。