Bootstrapped Mixed Rewards for RL Post-Training: Injecting Canonical Action Order

该论文提出了一种在强化学习后训练中引入混合奖励的机制，通过结合稀疏任务奖励与引导模型遵循规范求解顺序的排序奖励，在无需修改监督数据或模型架构的情况下，显著提升了 Transformer 在随机化解决方案序列上的 Zebra 谜题求解性能。

要点

这篇论文讲述了一个关于如何教 AI 更聪明地“思考”的有趣实验。我们可以把它想象成在训练一个解谜高手（比如玩“逻辑推理游戏”的 AI）。

为了让你轻松理解，我们把这篇论文的核心内容拆解成几个生动的场景：

1. 背景：AI 的“乱序”训练

想象一下，你正在教一个学生做“爱因斯坦斑马谜题”（一种需要逻辑推理的填字游戏）。

• 传统做法：你给学生看标准答案，但答案里的步骤是随机打乱的。比如，标准答案应该是“先填 A，再填 B，最后填 C"，但你给学生的资料却是“先填 C，再填 A，最后填 B"。
• 结果：学生虽然能背下答案（知道最终填什么是对的），但他不知道解题的逻辑顺序。就像你背下了数学题的答案，但不知道先算哪一步、后算哪一步。

2. 问题：如何在不重新教他的情况下，让他学会“按顺序思考”？

作者们不想重新整理那堆乱糟糟的教材（因为那样太麻烦），他们想问：能不能在 AI 自己练习的时候，悄悄给它一点“暗示”，让它学会按正确的顺序出牌？

3. 实验方法：给 AI 两个“奖励信号”

作者给 AI 玩了一个强化学习游戏（就像训练小狗，做对了给骨头，做错了没奖励）。他们设计了两种“骨头”：

• 骨头 A（任务奖励）： 只有当 AI 把整个谜题完全解对时，才给一根大骨头。
  • 比喻： 就像考试只有满分才能拿奖学金。
• 骨头 B（顺序奖励）： 只要 AI 的解题步骤顺序跟标准解题大师的顺序差不多，就给一根小骨头。哪怕它最后没解对，只要步骤顺序对了，也有奖励。
  • 比喻： 就像厨师做菜，虽然菜还没出锅（没解对），但他切菜、洗菜、下锅的顺序是对的，厨师长也会夸他“手法专业”。

关键创新点（Bootstrap Mixed Rewards）：
作者发现，如果直接把这两种骨头混在一起，AI 可能会因为“任务奖励”太大而忽略“顺序奖励”，或者反过来。
于是，他们发明了一个**“自动校准器”**（Bootstrapped Scaling）：

• 在训练开始前，先测一下 AI 目前大概能拿多少分。
• 然后自动调整两种骨头的大小，让它们在起跑线上看起来“分量相当”。
• 这样，AI 就能公平地同时关注“做对题”和“按顺序做”这两件事。

4. 实验结果：一点点“顺序暗示”效果惊人

实验结果非常令人惊讶：

• 只给“任务奖励”（只关心结果）：AI 的解题正确率只有 32.6%。
• 混合奖励（99% 任务 + 1% 顺序）：AI 的正确率飙升到了 36.3%。

这意味着什么？
哪怕只给 AI 1% 的“顺序暗示”，它的表现就比只盯着结果要好得多！
这就好比你在教一个学生做题，虽然你主要让他追求满分，但你偶尔提醒一句：“嘿，记得先算括号里的哦”，这个小小的提醒就能让他整个解题思路更清晰，最终得分更高。

5. 核心结论：不需要重头教，只需“悄悄指路”

这篇论文告诉我们一个重要的道理：

• 不需要把 AI 训练的数据全部重新整理成完美的顺序（这很费钱费力）。
• 只需要在 AI 自己练习（强化学习）的时候，给它一个微弱的“顺序信号”。
• 这个信号就像是一个隐形的指南针，引导 AI 在解题时，不知不觉地模仿人类专家的思考路径（先做什么，后做什么）。

总结

这就好比你在教一个机器人下棋。你不需要把它的棋谱全部重写，只需要在它下棋时，偶尔给它一个小小的提示：“这一步通常应该先走马，再走炮”。哪怕这个提示只占你奖励的 1%，机器人也能因此学会更优雅的棋路，最终赢得更多比赛。

一句话概括：
给 AI 一点“按部就班”的微小奖励，就能让它从“死记硬背答案”进化为“懂得逻辑推理”，而且不需要重新整理教材。

技术摘要

论文技术总结：基于混合奖励的强化学习后训练——注入规范动作顺序

论文标题：BOOTSTRAPPED MIXED REWARDS FOR RL POST-TRAINING: INJECTING CANONICAL ACTION ORDER
会议：ICLR 2026 Workshop on World Models: Understanding, Modelling and Scaling
作者：Prakhar Gupta, Vaibhav Gupta (密歇根大学)

---

1. 研究问题 (Problem)

在大型语言模型（LLM）的强化学习（RL）后训练（Post-training）阶段，通常采用单一的标量目标（如任务成功率）进行优化，而忽略了环境内部的结构信息，特别是中间动作的执行顺序。

• 核心假设：即使模型在监督微调（SFT）阶段仅接触随机打乱顺序的解决方案，如果在 RL 后训练阶段引入一个关于“规范求解器顺序（Canonical Solver Order）”的标量提示信号，是否能提升模型在复杂逻辑推理任务（如斑马谜题）中的表现？
• 挑战：如何在不对监督数据进行重新整理（即不改变训练数据顺序）且不修改模型架构的前提下，通过奖励函数引导模型学习更优的推理轨迹？

2. 方法论 (Methodology)

本研究在**斑马谜题（Zebra Puzzles）**数据集上进行了实验，该数据集被建模为具有潜在状态转移的确定性环境。

2.1 实验设置

• 基座模型：从头训练（From scratch）的 GPT-2 风格 Transformer（4 层，4 个注意力头，隐藏层维度 256）。
• 第一阶段：随机顺序微调 (Standard Fine-Tuning)
  • 模型首先在随机打乱顺序的解决方案序列上进行因果语言建模（Causal LM）微调。
  • 目标：确保模型在 RL 前仅掌握任务内容，而不具备特定的顺序偏好。
• 第二阶段：GRPO 后训练 (RL Post-Training)
  • 使用**组相对策略优化（Group Relative Policy Optimization, GRPO）**算法对微调后的模型进行后训练。
  • 设计了两类奖励信号，并通过固定比例混合：
    1. 任务完成奖励 ($R_{solve}$)：稀疏奖励。仅当模型生成的解完全正确（所有单元格填充正确且无冲突）时得 1 分，否则为 0。
    2. 顺序奖励 ($R_{order}$)：稠密奖励。衡量模型生成单元格的顺序与规范求解器顺序（Canonical Solver Order）的接近程度。
       • 计算公式：$r(r, c) = \frac{1}{1 + |\pi^*(r, c) - \hat{\pi}(r, c)|}$，其中 $\pi^*$ 是规范顺序索引，$\hat{\pi}$ 是模型生成索引。
       • 该奖励鼓励模型模仿求解器的推理步骤，即使生成的具体数值尚未完全正确。

2.2 关键创新：引导式混合奖励缩放 (Bootstrapped Reward Scaling)

为了公平地比较不同混合比例下的奖励信号，作者提出了一种**引导式缩放（Bootstrapped Scaling）**机制：

• 问题：$R_{solve}$（0 或 1）和 $R_{order}$（0 到 1 之间的连续值）的原始量级不同，直接加权可能导致某一信号主导。
• 解决方案：
  1. 在 GRPO 开始前，使用冻结的微调模型在验证集上计算各奖励项的均值（$\bar{R}_{solve}$ 和 $\bar{R}_{order}$）。
  2. 根据目标混合比例 $\alpha$（$R_{solve}$ 的权重），计算全局缩放因子：
     $$SOLVESCALE = \frac{\alpha}{\bar{R}_{solve}}, \quad ORDERSCALE = \frac{1-\alpha}{\bar{R}_{order}}$$
  3. 总奖励定义为：$R_{total} = SOLVESCALE \cdot R_{solve} + ORDERSCALE \cdot R_{order}$。
• 作用：确保在训练初始化时，各奖励分量对总目标的贡献严格符合预设比例，消除了量级差异带来的偏差，使得混合比例的研究具有可解释性。

3. 主要贡献 (Key Contributions)

1. 无需修改数据的顺序注入方法：提出了一种仅通过 RL 阶段的标量奖励提示，即可将“求解器顺序”注入到策略中的方法，无需重新整理监督微调数据。
2. 引导式奖励缩放程序：设计了一种自动化的缩放机制，用于归一化异质奖励的量级，使得多目标奖励混合研究更加可控和严谨。
3. 实证证据：在斑马谜题任务上证明，即使微调数据是随机顺序的，混合了“顺序奖励”的 RL 后训练也能显著提升推理准确率，表明粗粒度的顺序信号能有效引导模型走向规范轨迹。

4. 实验结果 (Results)

• 基线表现：仅在随机顺序数据上微调的模型，测试集谜题准确率为 0.279。
• 纯任务奖励：仅使用 $R_{solve}$ (混合比例 1:0) 进行 GRPO 后训练，准确率提升至 0.326。
• 混合奖励表现：
  • 引入非零的顺序奖励分量后，性能普遍优于纯任务奖励。
  • 最佳表现：在 $R_{solve} : R_{order}$ 权重为 0.99 : 0.01 时，准确率达到了 0.363。
  • 其他混合比例（如 0.95:0.05, 0.9:0.1, 0.75:0.25）也均取得了显著优于基线的结果（约 0.352 - 0.355）。
• 结论：即使顺序奖励的权重非常小（1%），也能作为有效的“塑形（Shaping）”信号，引导模型在推理时遵循更规范的步骤，从而提升最终解题成功率。

5. 意义与局限性 (Significance & Limitations)

意义

• 低成本的结构偏置注入：提供了一种模块化、低成本的 RL 后训练“旋钮”。研究者无需重新收集或整理昂贵的规范顺序数据集，即可通过奖励设计改善模型的推理结构。
• 世界模型理解的启示：结果暗示，即使模型在监督阶段未显式学习顺序，RL 过程中的顺序奖励也能激发模型内部形成类似“世界模型”的潜在状态转移逻辑，使其行为更接近人类求解器的推理过程。
• 通用性潜力：该方法可能适用于其他需要多步推理的任务（如数学证明、代码生成），其中动作顺序对最终结果至关重要。

局限性

• 任务与模型单一：目前仅在斑马谜题和 GPT-2 风格的小模型上验证，尚未在更大规模模型或更多样化的任务上测试。
• 固定缩放因子：实验使用了固定的引导式缩放因子。由于训练过程中各奖励分量的改善速度可能不同，固定因子可能导致后期比例失调。未来工作可探索动态更新缩放因子以提升稳定性。

---

总结：该论文通过引入“规范动作顺序”作为辅助奖励信号，并结合创新的奖励缩放机制，成功证明了在 RL 后训练中，即使不改变监督数据，也能通过微弱的顺序提示显著提升模型的逻辑推理能力。这为理解 RL 如何塑造模型的内部推理轨迹提供了新的视角。