🤖 machine learning

Distributional Biases in Post-Training: A Markovian Analysis of Reasoning Trajectories

本文通过将推理建模为马尔可夫转移，解决了后训练阶段探索的悖论，在理论上证明了诸如 RLVR 以及 ORM/PRM 等标准方法会使模型偏向高概率路径并遗忘稀有的推理步骤，同时论证了诸如实例拒绝和 KL 正则化等探索策略有助于保留这些关键轨迹。

原作者： Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心观点：“聪明但固执”的学生

想象一位非常聪明的学生（基础模型），他读遍了图书馆里的每一本书，博学多才。然而，当你给他一道特定的、棘手的数学难题时，他有时会卡住或犯错。

为了解决这个问题，老师们使用后训练（例如带有可验证奖励的强化学习，即 RLVR）。这就像是给学生考试，检查答案，然后说：“答对了就做得好！下次继续保持。”

问题所在： 本文指出，这种“练习”往往会适得其反。学生并没有学会新的解题方法，反而变得痴迷于他们已经掌握的最简单的方法。如果一个问题需要一种巧妙且罕见的技巧，学生会因为忙于练习那些通常奏效的简单、常见方法而忘记了这种技巧。

作者将这种现象称为**“挤压效应”（Squeezing Effect）**。这就像挤压海绵：你虽然挤出了所有的水，但也把海绵的形状给挤扁了。模型在处理常见任务时变得非常出色，但失去了处理罕见、困难任务的能力。

类比：推理的迷宫

为了理解为什么会发生这种情况，作者将推理想象成一个巨大的树状迷宫。

起点： 你在入口处（问题）。
路径： 你可以采取的通往出口（答案）的路径有很多条。
易行路径（高概率）： 这些是宽阔、铺设好的高速公路。大多数人都会走这些路。它们适用于大多数问题。
难行路径（低概率）： 这些是狭窄、杂草丛生的林间小径。很少有人走这些路。但对于特定的棘手问题，这些是唯一能通向正确答案的路径。

1. 预训练：发现地图

在学生开始练习之前，他们在迷宫中进行探索。他们发现了高速公路，也发现了隐藏的小径。他们知道这张地图的存在。

2. 后训练：“挤压”

当老师开始为正确答案给予奖励时，学生看着地图心想：“嘿，高速公路又宽又好走，而且我通常都能做对。我就一直走高速公路好了。”

论文从数学上证明了标准的训练方法（如 RLVR、PPO 和 RAFT）就像磁铁一样。它们将学生的注意力完全吸引到了高速公路上。

结果： 学生成为了高速公路上的大师。但如果某个特定问题只有通过隐藏小径才能解决，学生就会忘记如何找到它。他们在难题面前折戟沉沙。

3. “一致性”陷阱 (ORM/PRM)

论文还研究了另一种方法，即使用一个“评分器”（神经网络）在学生思考的过程中对其步骤进行评判。

陷阱： 评分器倾向于一致性。它喜欢看到重复出现的步骤，因为那是通常奏效的做法。它会对“高速公路”上的步骤给出高分，而对“隐藏小径”上的步骤给出低分，即便隐藏小径是解决当前问题的唯一途径。
结果： 学生在还没到达隐藏小径之前，就被引导离开了那条路。

解决方案：如何保持学生的灵活性

论文不仅指出了问题，还提出了理论上的解决方案，以防止学生忘记那些困难的路径。

方案 A：拒绝简单问题 (RL-rej)

想象老师说：“如果你能用简单的快速公路解决这个问题，我不想看到它。我只想看到你在高速公路失效时解决问题的样子。”

运作方式： 通过拒绝奖励那些容易获得的成功，老师迫使学生去探索隐藏的小径。
论文的观点： 这迫使模型在学习罕见、困难路径的同时，不会忘记它们。

方案 B：“温度”旋钮 (KL Regularization)

想象学生有点过于急于留在高速公路上。老师增加了一个“温度”旋钮（KL 正则化）。

运作方式： 这个旋钮告诉学生：“不要对自己太自信。保留一点你最初的好奇心。” 它防止学生 100% 地专注于高速公路，确保他们仍然记得隐藏小径的存在。
论文的观点： 这保持了模型的“多任务”能力，使其在专注于某一类问题时，不会忘记解决其他类型问题的方法。

方案 C：“Doob h-变换” (DPRM)

这是针对“评分器”方法的一种更高级的数学技巧。

类比： 评分器不再仅仅观察当前的步骤，而是观察路径的整个未来。它会计算：“如果我现在走这条狭窄的小径，我到达目标的概率是多少？”
论文的观点： 这种方法（称为 DPRM）在数学上等同于一种“软性”的选择最佳答案的过程。它允许模型保持隐藏小径的开放性和可及性，而不是将其压碎。

结论

论文用数学证明了一个简单的真理：如果你只奖励“容易”的思考方式，你最终会忘记“困难”的思考方式。

标准训练： 使模型成为简单任务的专家，但在困难、罕见的任务面前表现糟糕。
解决方法： 你必须主动防止模型过度专注于简单的事情。你可以通过忽略容易的胜利、增加保持多样性的“温度”，或者使用更聪明的评分方法来识别并重视罕见路径的潜力。

作者强调，虽然他们的数学推导是基于一个简化的“玩具模型”（一个理论上的迷宫），但这解释了当今大型 AI 模型中观察到的现实世界行为：为什么它们有时会“卡”在简单的模式上，从而无法找到解决困难问题所需的巧妙且罕见的解决方案。

技术摘要：后训练中的分布偏差：基于马尔可夫推理轨迹的分析

问题陈述

基础模型拥有广泛的知识，但在特定任务的推理上往往表现出受限性。虽然后训练策略（如具有可验证奖励的强化学习 RLVR，以及使用结果奖励模型 [ORM] 或过程奖励模型 [PRM] 的推理时扩展）旨在创建特定任务的专家模型，但经验观察揭示了一个悖论。这些方法通常是在强化现有的推理路径，而非扩展推理范围。具体而言，它们倾向于“挤压”思维链（CoT）轨迹的分布，偏好高频、易于推理的模式，同时遗忘处理困难实例时所需的罕见但关键的推理步骤。这引发了一个问题：如果后训练无法超越基座模型现有的树状作用域进行探索，那么探索策略如何能发挥作用？

方法论

作者提出了一个基于**树状马尔可夫链（TMC）**的可解理论框架，用于建模基础模型的推理能力。

模型构建：
- TMC 框架： 推理被抽象为一个离散的马尔可夫过程，其中状态代表逻辑断言（例如数学表达式）而非表层 Token。状态空间是分层的（ $S_1$ 到 $S_L$ ），转移代表推理步骤。
- 任务定义： 任务由问答对 $(q, a, k)$ 定义。如果一个任务至少允许存在一条“易于推理”的 CoT（高概率转移），则该任务为“常见”任务；如果该任务仅依赖于“难以推理”的 CoT（涉及稀疏、低概率转移），则为“罕见”任务。
- 基座模型： 预训练基座模型被建模为一个通过交叉熵训练的线性 Softmax 预测器，该预测器收敛于 TMC 的真实转移概率。
- 奖励信号： 论文区分了实例级正确性（0/1 奖励）和群体级奖励（期望准确率），后者被 ORM 和 PRM 所使用。
理论分析：
- 作者分析了标准 RLVR 算法（REINFORCE, RAFT, PPO, GRPO）和推理扩展方法（使用 ORM/PRM 进行 Best-of-N 或束搜索 Beam Search）在此 TMC 设置下的梯度动力学。
- 他们推导了易于推理与难以推理 CoT 之间的“优势差距”（Advantage Gap），表明标准目标函数本质上会赋予易于推理的路径更高的优势，因为由于其在群体分布中具有更高的正确概率。

核心贡献

1. 形式化三种经验现象

论文严谨地证明了在实践中观察到的三种现象：

现象 1（RLVR 的挤压效应）： RLVR 方法（REINFORCE, RAFT, PPO, GRPO）本质上偏好易于推理的 CoT。理论分析表明，优势驱动的更新会导致难以推理的 CoT 的概率质量衰减，从而导致其最终被遗忘。
现象 2（神经验证器一致性偏差）： 使用 ORM/PRM 的推理扩展依赖于群体奖励（期望准确率）。作者证明这些奖励系统性地偏向易于推理的 CoT，因为即使对于特定的困难实例它们是错误的，但平均而言它们具有更高的正确可能性。因此，ORM/PRM 引导的搜索（BoN, Beam Search）无法选择难以推理的 CoT。
现象 3（罕见 CoT 的价值）： 推理数据集（如 GSM8K, AQuA）中的困难实例通常对应于具有低基座模型置信度的罕见 CoT。那些将分布坍缩到易路径上的标准后训练方法无法解决这些实例。

2. 探索策略的理论辩护

论文为缓解简单性偏差的策略提供了可证明的保证：

拒绝简单实例（RL-rej）： 通过拒绝那些模型已经以高置信度生成正确答案的训练实例（即可以通过易于推理的 CoT 解决的实例），训练信号会将注意力转向困难的 CoT。作者证明这使得模型能够在保持性能的同时学习有效的困难 CoT。
KL 正则化： 引入 KL 散度正则化（如 GRPO 中所示）可以防止分布完全坍缩到易路径上。在 KL 正则化下的最优解是一个 Gibbs 分布，它保留了基座模型的广泛能力，允许采样困难的 CoT 并维持多任务性能。
Doob's h-变换诱导的 PRM (DPRM)： 对于推理扩展，作者提出了一个基于 Doob's h-变换的有理 PRM。该方法生成的过程奖励在与采样结合使用时（Soft-BoN），在渐近意义上等价于最优 Gibbs 分布。与传统的基于似然的 PRM 不同，DPRM 保留了基座模型的多样性，并避免了对易于推理 CoT 的偏差。

结果

作者通过在包含两个任务（一个常见，一个罕见）的合成多任务 TMC 上的经验模拟验证了其理论发现。

标准 RLVR 的失败： REINFORCE, RAFT 和 PPO 等方法严重偏向易于推理的 CoT（生成率达 90-95%）并抑制了困难的 CoT。这导致了在罕见任务（任务 2）上性能的大幅下降，展示了“遗忘”现象。
推理扩展的失败： ORM-BoN 和标准 PRM-BoN 也过度偏向易于推理的 CoT，无法解决需要罕见推理路径的困难实例。
所提方法的成功：
- RL-rej 和 GRPO-KL： 这些方法成功平衡了易于推理与困难 CoT 的生成，在显著提高罕见任务性能的同时，维持了对常见任务的性能。
- DPRM-AS： 基于 Doob's h-变换的采样实现了对困难 CoT 的高覆盖率，并保持了多任务能力，优于标准的 PRM 方法。

意义与主张

该论文声称提供了对观察到的探索益处与 RLVR 及推理扩展的“挤压”本质之间紧张关系的首次理论调和。

理论洞察： 该工作表明，“简单性偏差”是多任务设置下基于群体的奖励估计器和基于优势的更新的一个内在属性。它解释了为什么标准后训练往往无法将推理能力扩展到基座模型现有的高概率路径之外。
实践指导： 作者为现有的经验做法（如拒绝简单问题和使用 KL 正则化）提供了理论依据，展示了它们为何有效：它们防止了分布坍缩到易路径上，从而保留了解决困难推理所需的罕见 CoT。
局限性与范围： 作者对其主张保持谦逊，承认其 TMC 框架是一种抽象。他们指出，该模型假设了线性 Softmax 预测器，并未完全捕捉大规模非线性 Transformer、噪声奖励预言机或奖励黑客行为（reward hacking）的复杂性。然而，他们认为关于分布偏差以及探索策略必要性的核心见解，对于理解当前基于强化学习的 LLM 微调和推理扩展的局限性具有相关性。

总之，本文认为，为了实现鲁棒的推理，后训练策略必须显式地对抗基于奖励的优化倾向于坍缩到简单、高频模式上的自然趋势，并且保留分布多样性的技术（如 KL 正则化和 h-变换）对于解决困难推理任务在理论上是必要的。