💻 computer science

Beyond Correctness: Learning Robust Reasoning via Transfer

本文介绍了可迁移奖励强化学习（Reinforcement Learning with Transferable Reward, RLTR），这是一种通过训练模型生成在迁移至引导独立模型时仍能保持有效性的推理步骤，而非仅仅关注最终答案正确性，从而增强大语言模型推理的鲁棒性和样本效率的新颖方法。

原作者： Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

发布于 2026-02-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一名学生解决一道复杂的数学题。

旧方法 (RLVR)：“你得到正确答案了吗？”
目前的 AI 训练大多像一位只看试卷最终答案的严厉老师。如果学生写了一堆混乱、令人费解或仅仅是靠运气猜出的过程，但最后结果对了，老师会给一个“A”。如果学生写了一段完美的、逻辑严密的解释，但最后在一步微小的算术上出了错，老师会给一个“F”。

论文称之为 RLVR（具有可验证奖励的强化学习）。它擅长获得正确答案，但它并不关心学生是如何得出答案的。其结果是？学生可能会学会“钻空子”或者依赖脆弱的逻辑，一旦要求他们向别人解释清楚，这种逻辑就会崩溃。

新思路 (RLTR)：“别人能接手你的工作吗？”
该论文的作者 Hyunseok Lee 及其同事提出了另一种哲学。他们认为，真正的推理就像一场接力赛。 一个优秀的跑者（AI）不应该只是冲过终点线；他们应该以一种让下一位跑者能够轻松接棒、且不会因踉跄而中断的方式来传递接力棒。

他们将这种新方法称为 RLTR（具有可传递奖励的强化学习）。

它是这样运作的，我们可以用一个简单的类比来说明：

生成器（第一位跑者）： AI 开始解决一个问题并写下它的思考过程（推理）。
截断（剪断胶带）： 系统在 AI 中途停止。它取出推理过程的第一部分并将其切断。
接收器（第二位跑者）： 另一个不同的 AI（“接收器”）被递交了这段被切断的文本。它必须阅读第一位 AI 写下的内容并完成整个解题过程。
奖励：
- 如果接收器能够成功完成问题并得到正确答案，则第一位 AI 获得一个加分。
- 如果接收器因为第一部分内容混乱或逻辑不清而感到困惑、卡住或给出了错误答案，则第一位 AI 没有加分。

为什么这更好？
把这想象成写故事。

RLVR 只关心故事是否以“全书完”结束。你可以写一个毫无意义的故事，但只要最后一个词是“全书完”，你就赢了。
RLTR 则关心故事是否足够清晰和逻辑连贯，以至于任何读到前半部分的人都能轻松推测出结局。它迫使 AI 编写“鲁棒”的推理——即稳定、清晰且可复用的逻辑。

他们发现了什么？
他们在困难的数学和科学问题上测试了这一点。以下是主要的结论：

更具一致性： 当他们要求 AI 解决同一个问题 64 次时，采用“传递”方法（RLTR）在进行多数投票时获得正确答案的频率更高。旧方法（RLVR）有时是对的，但其推理过程非常不稳定，导致不同的尝试之间经常出现分歧。
学习速度更快： 新方法学习得更快。它达到与旧方法相同的性能水平仅用了大约 2.5 倍少的训练步骤。这就像是因为课程更清晰，所以用一半的时间就接受了更好的教育。
适用于更难的问题： 在最难的数学竞赛（如 AIME 和 AMC）中，这种优势更加明显。当问题变得极其困难时，拥有清晰、可传递的思维过程比仅仅猜对一个数字更为重要。
不限于数学： 他们也在科学问题上进行了测试，并且该方法在这些领域同样有效，这表明这种“清晰思考”的能力适用于许多类型的题目。

简而言之：
论文指出，仅仅“正确”是不够的。AI 的推理应该是如此稳固和清晰，以至于如果你在中间阶段将它交给另一个 AI，第二个 AI 能够顺利接手并完美地完成任务。通过训练 AI 具备“可传递性”，它们变得更聪明、更一致，且学习速度更快。

技术摘要：超越正确性：通过迁移学习实现鲁棒推理

1. 问题陈述

虽然带有可验证奖励的强化学习（RLVR）通过使用基于规则的最终答案验证取代了学习型奖励模型，显著提升了大语言模型（LLM）的推理能力，但它存在一个关键局限性：它仅针对最终答案的正确性进行优化。这种方法无法确保推理过程本身的鲁棒性。

在实际应用场景中，那些能够偶尔产生正确答案、但在不同采样路径或解码变体下表现出不一致性的模型，其价值远低于那些能够生成稳定、可复现推理过程的模型。前人的研究表明，RLVR 可能导致“脆弱”的推理轨迹，即增加采样数量（ $K$ ）并不能提高、甚至可能降低多数投票准确率（Maj@K）。当前的范式缺乏一种激励机制，使中间推理步骤变得稳定、可解释或可被其他模型复用。

2. 方法论：带有可迁移奖励的强化学习 (RLTR)

作者提出了 RLTR，这是一个通过**推理可迁移性（reasoning transferability）**概念来实现鲁棒推理的框架。其核心哲学是：鲁棒的推理应当在超出产生它的特定模型之外依然保持有用；它必须能够在截断、重新解释和延续的过程中幸存下来。

核心机制

RLTR 通过引入**迁移奖励（Transfer Reward）**来增强标准的 RLVR 目标函数。训练过程涉及两个模型：

生成器模型 ( $M_{gen}$ ): 一个可训练的模型，负责生成完整的推理轨迹和最终答案。
接收器模型 ( $M_{rcv}$ ): 一个独立的、冻结的模型，用于评估生成器中间推理的质量。

迁移奖励流程：

生成器产生一个推理序列 $y_{gen}$ 。
推理轨迹在随机比例 $\tau \in (0, 1]$ 处被截断，以创建一个前缀 $y_{gen}[:\ell]$ 。
该前缀被输入到冻结的接收器模型中，接收器模型尝试完成推理并生成最终答案。
迁移奖励 ( $R_{trans}$ ) 是二值的：如果接收器完成的答案与标准答案一致，则为 1；否则为 0。

目标函数：
生成器的总奖励是标准答案奖励与迁移奖励的加权组合：
$R_{RLTR}(y_{gen}, M_{rcv}) = R_{RLVR}(y_{gen}) + t \cdot R_{trans}(y_{gen}, M_{rcv})$
其中 $R_{RLVR}$ 包括答案正确性和格式奖励， $t$ 是迁移部分的权重。生成器使用群体相对策略优化（GRPO）来最大化这一组合奖励。

3. 核心贡献

新颖框架： 引入了 RLTR，这是第一个明确激励 LLM 生成可在不同模型间可迁移推理轨迹的 RLVR 框架。
过程级监督： 不同于需要密集步级标注和学习型验证器的过程奖励模型（PRM），RLTR 仅利用标准答案验证即可实现过程级监督，无需额外的标注成本或训练辅助奖励模型。
增强一致性： 证明了优化可迁移性可以直接提高采样一致性（Maj@K），解决了标准 RLVR 中观察到的脆弱性问题。
样本效率： 该框架以显著更少的训练步数（在 MATH-500 上减少约 2.5 倍）实现了与 RLVR 相当或更优的性能。

4. 实验结果

作者在多个数学和科学推理基准测试上对 RLTR 进行了评估，包括 MATH-500、GSM8K、AMC23、AIME2024 和 GPQA。

准确率与一致性： 在平均准确率和 Maj@K 指标上，RLTR 的表现始终优于基座模型和经过 RLVR 训练的模型。
- 在 MATH-500 上，RLTR 将 Maj@64 从 82.6% (RLVR) 提升至 84.2%，同时将平均准确率从 71.0% 提升至 77.0%。
- 在 AMC23 上，RLTR 将 Maj@64 从 61.7% 提升至 67.5%。
- 在 GPQA（科学推理）上，RLTR 将平均准确率从 33.0% 提升至 34.8%，将 Maj@16 从 36.8% 提升至 37.7%，展示了领域无关的泛化能力。
训练动态：
- 速度： RLTR 大约只需 RLVR 2.5 倍少的训练步数即可达到相同的准确率水平。
- 相关性： 在训练过程中，可迁移性的增长与 Maj@K 之间存在强正相关关系。相比之下，RLVR 模型在训练后期尽管平均准确率保持稳定，但往往会出现可迁移性和 Maj@K 下降的情况。
消融实验：
- 奖励比例： 增加迁移奖励的权重 ( $t$ ) 会显著提升高 K 一致性（Maj@K），证实了可迁移性是一个独特且有价值的信号。
- 接收器模型： 该方法即使使用较小的接收器模型（例如 1.5B 参数）依然有效，尽管更强的接收器能带来更好的高 K 一致性。
- 多样性： 与倾向于通过集中在特定解题模式来降低多样性（Pass@K）的 RLVR 不同，RLTR 在提高准确率的同时，维持或提升了 Pass@K。
计算成本： 虽然 RLTR 通过接收器模型引入了额外的计算，但其整体计算效率更高。为了达到与 RLTR 相同的性能，RLVR 需要大约 2.3 倍的计算成本（FLOPs）。

5. 意义与主张

本文主张，优化推理可迁移性可以带来更鲁棒的 LLM 推理。通过将推理视为一种必须在中断和重构中生存下来的“意义传递”，RLTR 鼓励模型生成稳定、可解释且真正具有泛化能力的推理路径。

作者将这项工作定位为解决当前 RLVR 方法中“仅关注结果”评估瓶颈的方案。他们认为，鲁棒的推理不仅仅在于正确，更在于其能够以一种让其他人能够可靠遵循的方式进行解释。这种方法为在复杂领域（如科学发现或编程）中开发更可靠的 AI Agent 提供了一条路径，在这些领域中，一致性和可复现性与原始准确率同样至关重要，同时还能减轻训练的计算负担。