💬 NLP

Discovering Process-Outcome Credit in Multi-Step LLM Reasoning

本文提出了一种新颖的强化学习框架，通过引入用于提供连续奖励信号的逐步边际信息增益机制、用于解耦信用分配的解耦掩码策略以及双门控 SFT 目标，增强了多步大语言模型推理能力，从而在样本效率、准确性和分布外鲁棒性方面均优于 GRPO 等基准方法。

原作者： Xiangwei Wang, Wei Wang, Ken Chen, Nanduni Nimalsiri, Saman Halgamuge

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiangwei Wang, Wei Wang, Ken Chen, Nanduni Nimalsiri, Saman Halgamuge

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“黑盒”化的推理过程

想象一下，你正在教一名学生解决一道非常长且复杂的数学题。在旧的方法中（称为基于结果的学习），你只在最后才给他们评分。

场景： 学生写了 50 步推理过程。如果最终答案正确，他们得到“A”；如果错误，则得到“F”。
缺陷： 如果学生得了“F”，他们完全不知道哪里出了错。是第 3 步错了？还是第 40 步错了？或者是最后的计算出现了一个笔误？因为反馈非常稀疏（仅在最后给出），学生往往只是在猜测或记忆模式以获取“A”，而没有真正学会如何思考。这被称为奖励稀疏性。

解决方案：思维的“GPS 导航”

作者提出了一种新方法，就像是为学生的大脑配备了一个 GPS 导航系统。它不再等待结束才评分，而是在学生每走对一步或发现一个新的解题线索时，都发出一次“叮”的提示音。

他们将这个框架称为逐步边际信息增益（Step-wise Marginal Information Gain, MIG）。其工作原理分为三个主要部分：

1. “水印”（防止作弊）

想象学生正在爬山。为了确保他们是在真正向上攀登，而不是在原地跳来跳去（这被称为“奖励作弊/Reward Hacking”），系统设置了一个单调历史水印（Monotonic Historical Watermark）。

工作原理： 系统会追踪学生目前为止达到的理解最高点。
规则： 只有当你爬得比之前的最高点更高时，你才能获得奖励。如果你走的这一步没有提升你的理解（或者让理解退步了），你将获得零分。
类比： 这就像电子游戏，你只有发现一个“新区域”时才会得分。如果你在同一个房间里来回跑动，你什么也得不到。这迫使 AI 去探索新的、逻辑严密的路径，而不是循环或重复自身。

2. “双轨制”（探索 vs. 准确性）

论文意识到，“思考”和“回答”是两回事。

轨道 A（探索者）： 对于思考步骤（即“思维链”），系统使用上述的 MIG 奖励。这鼓励 AI 保持好奇心，尝试不同的角度，并寻找深层、复杂的解决方案。这就像是允许侦探追踪每一个线索，哪怕是奇怪的线索。
轨道 B（裁判）： 对于最终答案，系统使用严格的**通过/失败（Pass/Fail）**检查。
魔力所在： 论文使用了一种解耦掩码策略（Decoupled Masking Strategy）。这就像是有两位不同的老师。一位老师（轨道 A）赞赏侦探式的调查过程和探索之旅；另一位老师（轨道 B）只关心最终的判决是否正确。他们互不干扰。这使得 AI 既能在思考中保持创造力，又能在最终结果上保持严谨。

3. “安全网”（门控自我修正）

有时，AI 会因为过度兴奋于探索而开始胡编乱造（幻觉）。为了解决这个问题，作者加入了**双重门控 SFT（监督微调）**机制。

工作原理： 系统仅从自身的成功尝试中进行“学习”。它会观察一条推理路径并询问两个问题：
1. 你是否遵循了规则（格式）？
2. 你得到正确的答案了吗？
门控： 只有当这两个问题的答案都为“是”时，系统才会将该路径保存为优秀的范例进行学习。如果答案错误，即使思考过程很有趣，该路径也会被丢弃。这防止了 AI 学坏习惯。

他们发现了什么？

作者在困难的数学问题（如 MATH）和视觉谜题（如 Super-CLEVR）上进行了测试。

学习更快： 由于获得了持续的反馈（“GPS 叮咚声”）而不是等待最终成绩，AI 的学习速度比标准方法快得多。
擅长处理难题： 在其他 AI 容易放弃或卡住的极难问题上，这种方法表现出色，因为“水印”机制不断推动它寻找下一个逻辑步骤。
泛化能力： AI 不仅仅是死记硬背测试题，它学会了如何思考。当给予它全新的、未见过的谜题类型时，它的表现优于竞争对手。

权衡（“过度思考”问题）

论文也坦诚地承认了一个小缺点。由于系统会对每一个新的思考步骤给予奖励，有时 AI 会变得过于琐碎。

类比： 想象你问某人：“2 + 2 等于多少？”正常人会说“4”。但受“新步骤奖励”驱动的 AI 可能会将其拆解为 20 个微小的步骤：“首先，我看到了一个 2。然后我看到了另一个 2。现在我把它们相加……”
风险： 走的步骤越多，在过程中犯微小计算错误的概率就越高。在非常简单的任务中，旧的“直接给答案”的方法有时效率更高。然而，对于复杂的、多步骤的推理，这种新方法是巨大的胜利。

总结

这篇论文介绍了一种通过奖励每一步的进展（而非仅仅是得到正确答案）来教 AI 如何思考的方法。通过使用“攀爬水印”来确保进度，以及使用“双轨制”来平衡创造力与准确性，他们创造出了一种能够更好地解决复杂、多步推理谜题的 AI，而无需人类去为它的每一项作业打分。

技术摘要：探索多步 LLM 推理中的过程-结果信用分配

1. 问题陈述

强化学习（RL）已成为增强大语言模型（LLM）推理能力的强大范式，特别是通过强化学习可验证奖励（RLVR）等框架。然而，标准的基于结果的方法（如 GRPO）面临着奖励稀疏性的问题。在复杂的推理链中，二元反馈（正确/错误）无法为中间步骤提供信号，导致信用分配效率低下，并难以应对长程任务。

现有的引入密集奖励的尝试面临双重瓶颈：

**过程奖励模型（PRM）**依赖于高成本的人工标注理由，阻碍了自主扩展。
替代性的密集信号（例如手工设计的规则或辅助模型）通常容易受到**奖励作弊（reward hacking）**的影响，并存在语义脱节问题，无法准确量化中间步骤与最终目标之间的功能接近度。

本文解决的核心挑战在于：如何构建一个既能促进密集、逐步的语义引导，又能实现严格结果对齐，且无需外部专家演示的学习框架。

2. 方法论

所提出的框架（如图 1 所示）集成了三个核心机制，旨在使内在探索与严格的结果约束产生协同效应。

2.1. 结构化展开与解析

对于每个提示词（prompt），策略生成一组轨迹。与仅基于结果的方法不同，这些轨迹使用预定义的结构化模式（例如 ### Step i）被解析为离散的推理步骤（ $s_1, \dots, s_K$ ）。这实现了细粒度的信用分配，而非将单一标量奖励分配给整个链条。

2.2. 逐步边际信息增益（MIG）

为了提供密集的内在奖励，作者引入了**逐步边际信息增益（MIG）**机制。

步骤条件似然度： 对于每个步骤 $s_k$ ，该方法计算在当前已生成的序列前缀（ $\ell_k$ ）条件下，真值 $y^*$ 的长度归一化对数似然。这作为模型对正确结果置信度的代理。
单调历史水位线（HWM）： 为了防止通过“先泵后弃”（pump-and-dump）式的振荡进行奖励作弊（即模型先降低似然度随后再提高），系统强制执行严格的单调性约束。历史水位线 $h_k$ 追踪直到步骤 $k$ 为止所达到的最大语义保真度： $h_k = \max(h_{k-1}, \ell_k)$ 。
修正后的突破奖励： 密集奖励 $g_k$ 被定义为高于此水位线的修正增量： $g_k = \max(0, \ell_k - h_{k-1})$ 。这确保了奖励与位置无关；只有提供了真正语义突破（即提升了超过历史最大值的似然度）的步骤才会获得信用。冗余步骤获得的奖励为零。

2.3. 通过解耦掩码进行的混合优化

该框架采用多目标损失函数（ $L = \alpha L_{MIG} + \beta L_{Outcome} + \gamma L_{Gated-SFT}$ ），并配合解耦掩码策略来处理发散的探索与收敛的落地：

$L_{MIG}$ （过程探索）： 利用密集的 MIG 奖励优化推理过程，该奖励专门应用于思维链（CoT）Token。这鼓励广泛的认知探索。
$L_{Outcome}$ （结果落地）： 对完整补全应用标准的 GRPO 式损失，结合二元正确性奖励与格式合规性奖励。这强制要求严格遵守正确答案并符合结构有效性。
$L_{Gated-SFT}$ （稳定性）： 一种双门控自监督微调目标。该损失仅在满足以下两个条件时激活：(1) 轨迹遵循有效的结构格式；(2) 最终答案正确。这确保了高保真数据的蒸馏，防止逻辑幻觉的累积，同时稳定训练过程。

3. 核心贡献

本文概述了四个主要贡献：

通过逐步概率奖励进行过程探索： 一种基于针对单调历史水位线（HWM）的边际信息增益（MIG）的密集奖励机制。它通过解决信用分配问题，解决了无论在序列何处都能奖励内在语义新颖性的问题，过滤掉了冗余的振荡，且无需外部标注。
通过门控自我修正进行结果落地： 一种仅在模型的探索性轨迹收敛至经验证的正确结果时才应用监督微调（SFT）的策略。这平衡了创造性的过程探索与严格的结果一致性。
通过解耦掩码进行的混合奖励优化： 一种双目标方案，将密集奖励（用于扩展推理搜索空间）与稀疏二元奖励及门控 SFT（用于将优化限制在正确流形内）进行分离。
跨模态可扩展性： 证明了该框架不仅适用于纯文本领域，还可扩展至复杂的多模态推理任务，表明内在语义新颖性是通用智能的一个模态无关驱动力。

4. 实验结果

作者在包括文本类（GSM8K, MATH, SCQ5K）和多模态类（Super-CLEVR, ChartQA, CMM-Math）基准测试以及分布外（OOD）评估在内的八个数据集上进行了广泛实验。

样本效率与收敛性： MIG 框架表现出比 GRPO 基线显著更高的样本效率。在 GSM8K 和 Super-CLEVR 等结构化任务中，模型在最初 100 步内就达到了接近饱和的性能（约 95%），而 GRPO 在初始探索阶段表现挣扎。
对奖励作弊的鲁棒性： 在 GRPO 表现逊于基础模型的 SCQ5K-EN 基准测试中（表明其过度拟合了格式），所提方法通过重视推理过程本身，性能提升了 11.0%。
泛化能力（OOD）： 模型展现了卓越的迁移能力。在 MMStar 基准测试中，GRPO 出现了负迁移（性能下降），而所提方法实现了正迁移（+5.0%）。
硬核推理能力： 在极具挑战性的 AIME 2025 基准测试中，完整模型实现了 13.3% 的准确率突破，而消融模型（无 Gated-SFT）则坍塌至 0.0%，凸显了 SFT 组件对于稳定复杂推理的必要性。
消融研究洞察：
- MIG vs. 位置偏差： HWM 机制优于位置加权启发式方法，证实了关键见解可以发生在任何阶段，而非仅仅在链条末端。
- SFT 的作用： 虽然纯 RL（MIG）驱动了在最难问题（Level 5 MATH）上的深度推理，但加入 Gated-SFT 对于防止简单问题（Level 1）的基础性坍塌以及确保整体稳定性至关重要。

5. 意义与主张

本文声称通过引入一种高效的训练框架，从模型自身的概率景观中提取连续奖励信号，解决了将 LLM 与稀疏结果奖励对齐的根本挑战。

模态无关性： 在文本和多模态领域取得的一致收益表明，逐步似然机制是逻辑进展的一个通用代理，且独立于输入模态。
可扩展性： 通过直接从模型的内部概率转换中提取监督信号，而非依赖昂贵的人工标注，该方法为下一代推理对齐提供了一条可扩展的路径。
鲁棒性： 该框架培养了深层的、可迁移的推理能力，能够抵御分布偏移，克服了标准 RL 方法在面对奥林匹克竞赛级或分布外任务时常见的坍塌问题。

作者总结道，通过平衡内在好奇心（通过 MIG）与严格的正确性约束（通过 Gated-SFT），他们的方法有效地弥合了开放式思考与精确回答之间的鸿沟。