🤖 machine learning

Maximum Likelihood Reinforcement Learning

本文介绍了最大似然强化学习（MaxRL），这是一种通过提供一种在帕累托占优于现有方法并显著提高测试时扩展效率的计算索引目标，从而弥合期望回报强化学习与最大似然之间差距的新型框架。

原作者： Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能的世界里，有两种教导计算机如何思考的主流方式。第一种就像一位严厉的老师，为每一个问题都提供正确答案，让学生能够将自己的作业与标准答案进行对比，并据此调整自己的理解。这种被称为“监督学习”的方法，已经为我们今天使用的最令人惊叹的图像识别器和语言工具提供了动力。第二种方法更像是孩子学习走路：这里没有标准答案，只有环境本身。学习者尝试迈出一步，摔倒，再次尝试，并最终通过感受行动带来的后果来学会平衡。这就是“强化学习”，这种方法旨在处理那些路径并非由数据构成的直线，而是由一系列通向最终结果的选择所组成的情境。多年来，当人工智能系统面临那些唯一的反馈只是在最后给出简单的“是”或“否”的问题时——例如解决数学题或在迷宫中导航——研究人员一直依赖于这第二种方法。他们将问题视为一场最大化奖励的游戏，假设只要人工智能能获得足够的“是”信号，它就能学会成功。

一项新的研究挑战了这一长期以来的假设，表明这种教导这些系统的标准方式实际上是对一个更强大、但此前难以触及的原理的一种粗略近似。这项研究由多所大学的研究人员共同完成，他们发现，当一个人工智能模型生成一个正确答案时，它实际上是在隐性地创造一个成功的概率。在一个理想的世界里，训练模型最好的方式是直接最大化这个概率，即所谓的“最大似然”（maximum likelihood）概念。然而，由于生成答案的过程往往涉及难以被计算机内部数学轻易衡量的不可预测步骤，科学家们被迫使用了强化学习这种“游戏”式的方法。这项新工作证明，这种标准方法仅仅是对真实目标的一个一阶猜测。它忽略了隐藏在模型挣扎但最终成功的那些稀有时刻中的微妙且关键的信息。通过开发一种名为“最大似然强化学习”（Maximum Likelihood Reinforcement Learning，简称 MaxRL）的新型训练框架，该团队找到了一种弥合这一差距的方法，使系统能够以一种此前无法实现的精度从其成功中学习。

这项发现的核心在于计算机如何权衡其错误与胜利。在传统方法中，每当模型产生一个正确答案时，它就会收到一个奖励，系统会调整其内部设置以使该结果变得更可能发生。然而，这种方法对正确答案的处理并不考虑问题的难度差异。如果模型轻松解决了一个简单的谜题和一个复杂的谜题，传统系统给予它们的信用是相等的。新的研究表明，这是低效的。真正的目标是最大化正确的可能性，这在数学上要求系统必须更加关注那些成功率极低的困难问题。标准方法之所以无法做到这一点，是因为它只关注平均成功率。新的框架 MaxRL 通过观察整个尝试的历史记录改变了计算方式。它会问：“如果我们多次尝试这个问题，会有多少次能做对？”通过分析多次尝试中成功的频率，系统可以推断出问题的真实难度，并据此调整其学习过程。

为了测试这一想法，研究人员构建了一个能够模拟这种更高级学习过程的系统。他们创建了一系列可以像调节旋钮一样进行微调的目标函数。在旋钮的一端，系统表现得与当今使用的标准强化学习方法完全一致；在另一端，它表现得像理想的最大似然训练器——这在理论上是完美的，但在实际中通常无法运行。在中间位置，旋钮允许系统利用更多的计算能力，来获得对那个理想目标的更准确的近似。团队发现，随着他们增加用于针对每个问题生成多次尝试的计算量，系统的性能得到了显著提升。这不仅仅是系统变得更加稳定，其学习的本质也发生了变化。它开始集中精力攻克那些旧方法所忽略的难题，从而实现了对任务更深层次的理解。

这种方法的测试结果在各种测试中都非常惊人。在一个研究人员可以直接将新方法与理论上的理想状态进行对比的受控环境中，随着计算能力的增加，新系统紧密贴合了完美训练器的表现。相比之下，标准方法遇到了瓶颈，即使给予海量数据，也无法取得显著进展。当团队转向更复杂的现实场景，如迷宫导航和数学推理时，这种优势变得更加明显。在涉及数学推理的任务中，新方法的效率比当前最先进的方法高出多达二十倍。这意味着，要达到同样的技能水平，新系统所需的尝试次数和计算时间都要少得多。或许最重要的一点是，新方法没有受到经常困扰这些系统的“过拟合”（overfitting）问题的影响——即模型过度学习并记忆训练数据，以至于无法泛化到新的、未见过的场景。当其他方法随着时间的推移，其生成多样化正确解的能力逐渐退化时，新框架保持了健康的答案多样性，这表明它真正学习到了底层的逻辑，而非仅仅是记忆模式。

这项工作的意义不仅在于让人工智能变得更聪明，更在于它改变了我们对机器学习极限的认知。长期以来，在复杂的推理任务上训练这些系统的困难一直被归咎于算法本身或数据的缺乏。这项研究表明，瓶颈实际上在于目标函数——即系统试图实现的数学目标。通过将目标从单纯的“最大化平均奖励”转向“最大化正确性的可能性”，研究人员解锁了一个全新的效率水平。系统不再仅仅是在猜测正确答案，而是在学习理解成功的概率，这种方式镜像了人类如何从罕见且艰难的胜利中学习。研究人员指出，这种方法在存在明确验证方式（如数学或编程）的情况下效果最好，但其原理同样可以应用于其他具有二元结果（binary outcome）的领域。随着人工智能继续应对更复杂、更抽象的问题，从稀疏反馈中进行高效学习的能力将至关重要。这一新框架提供了一条前进的路径，表明通过完善我们定义成功的方式，我们可以教会机器不仅学得更快，而且学得更好。

技术摘要：最大似然强化学习 (MaxRL)

问题陈述

强化学习 (RL) 是在目标函数不可微且只能通过采样进行评估（例如具有二元成功/失败结果的任务，如程序合成、数学推理、导航）的场景下训练模型的标准范式。在这些场景中，模型会对给定的输入 $x$ 诱导出一个隐含的正确性概率 $p_\theta(y^*(x) | x)$ 。虽然最大似然 (ML) 是在可微设置下优化此类概率的原则性目标，但在这种非可微的随机生成过程中，传统的 ML 是难以处理的。因此，从业者通常转向标准的 RL，它优化的是期望奖励（即期望通过率， $E[p_\theta]$ ），而非对数似然（ $E[\log p_\theta]$ ）。

作者观察到，标准 RL 和 ML 会引发截然不同的优化行为。具体而言，ML 目标的梯度涉及逆概率重加权 ( $1/p_\theta$ )，这使得它对具有低成功概率的“困难”输入给予了显著更高的权重。相比之下，标准 RL 梯度 ( $\nabla p_\theta$ ) 对所有输入进行线性处理，往往会低估困难案例。这种不匹配表明，RL 仅仅是应对不可微性的一种权宜之计，而非针对基于正确性任务的最优目标。

方法论：最大似然强化学习 (MaxRL)

本文引入了 最大似然强化学习 (MaxRL) 框架，该框架通过利用增加的采样计算量，弥合了标准期望奖励 RL 与精确最大似然之间的差距。

理论基础

作者利用关于失败事件的麦克劳林级数（Maclaurin series），推导出了最大似然目标在群体层面的展开式。对于通过率 $p$ ，对数似默为：
$\log p = -\sum_{k=1}^{\infty} \frac{(1-p)^k}{k} = -\sum_{k=1}^{\infty} \frac{\text{fail@}k}{k}$
对其求导得到 ML 梯度，它是 pass@k 梯度的无限调和混合：
$\nabla_\theta J_{ML} = \sum_{k=1}^{\infty} \frac{1}{k} \nabla_\theta \text{pass@}k$
标准 RL 对应于一阶近似（ $k=1$ ），仅优化 $\nabla_\theta \text{pass@}1$ 。MaxRL 提出将此级数截断在有限阶数 $T$ ，从而创建了一系列目标函数 $J_{MaxRL}^{(T)}$ ，它们在 RL ( $T=1$ ) 和精确 ML ( $T \to \infty$ ) 之间进行插值。

梯度估计

为了在不使用高计算成本的自适应采样的情况下估计这些截断目标，作者提出了一种简单的在策略（on-policy）估计器。

采样： 对于给定的输入，从策略 $m_\theta$ 中采样 $N$ 条轨迹 $z_1, \dots, z_N$ 。
成功条件化： 识别出满足 $f(z_i) = y^*(x)$ 的成功轨迹。令 $K$ 为成功次数。
估计器： 梯度估计器对得分函数（score functions, $\nabla_\theta \log m_\theta(z_i|x)$ ）进行平均，仅针对成功的轨迹，并以 $K$ 进行归一化：
$\hat{g}_N(x) = \frac{1}{K} \sum_{i=1}^N r_i S_i \quad (\text{若 } K \ge 1)$
其中 $r_i$ 是二元奖励， $S_i$ 是得分。
方差缩减： 通过减去一个控制变量（无条件平均得分）来降低方差，从而得到算法 1 中使用的最终估计器。

核心洞察： 定理 2 确立了该估计器是截断阶数为 $T=N$ （或带有基线减法时为 $T=N-1$ ）的 ML 目标的无偏估计器。至关重要的是，增加展开次数 $N$ 不仅仅是降低了固定目标的方差；它还增加了目标的近似阶数，使优化目标更接近真实的极大似然。

实现

MaxRL 仅需对标准的在策略 RL 实现（如 RLOO 或 GRPO）进行一行修改即可。不再通过总样本数或标准差来归一化优势函数（advantage），而是通过平均奖励（或成功样本计数）来归一化优势函数，从而有效地重新加权梯度信号以匹配 ML 目标。

核心贡献

形式化： 本文将基于正确性的 RL 正式定义为一个潜在生成的最大似然问题，并证明了标准 RL 仅优化了其一阶近似。
计算索引目标： 它引入了一系列通过 pass@k 事件的麦克劳林展开进行插值的目标函数，该过程受采样计算预算控制。
估计器-目标等价性： 它提供了一个简单的、无偏的在策略估计器，其中增加展开次数 $N$ 直接提高了近似似然目标的保真度，而不仅仅是降低方差。
实证验证： 大量的实验表明，MaxRL 在各种规模和数据机制下均 Pareto 支配了现有方法（RLOO, GRPO）。

实验结果

作者在四种不同机制下评估了 MaxRL：

受控可微设置 (ImageNet)： 当精确 ML（交叉熵）可用时，随着展开次数的增加，MaxRL 会收敛于它。相比之下，即使拥有巨大的采样预算，标准 REINFORCE 在初始通过率较低时也无法取得进展。
无限数据机制 (迷宫导航)： 在拥有 100 万个唯一迷宫的数据丰富设置中，MaxRL 的扩展性显著优于 GRPO 和 RLOO。当其他方法进入平台期时，MaxRL 仍在持续改进，显示出 pass@1 与 pass@k 之间的实质性差距，表明其保留了多样性和学习潜力。
数据稀缺机制 (GSM8K)： 在固定数据集（GSM8K）上进行多次 epoch 训练时，MaxRL 展示了卓越的抗过拟合能力。当 RLOO 和 GRPO 遭受“pass@k 退化”（多样性丧失）并过早进入平台期时，MaxRL 能在多个 epoch 中保持持续改进，在实现更高峰值性能的同时维持输出多样性。
大规模推理 (Qwen3 模型)： 在数学推理任务上训练 1.7B 和 4B 参数模型，MaxRL Pareto 支配了 GRPO。它在提高 pass@1 分数的同时，也提升了 pass@k（覆盖率）。值得注意的是，在使用完美验证器时，MaxRL 相比 GRPO 实现了高达 20 倍的测试时扩展效率增益，因为它需要更少的样本即可达到相同的覆盖率。

意义与主张

本文声称 MaxRL 为基于二元奖励的任务提供了一种原则性的替代方案。其主要意义在于，它将基础模型 RL 的局限性重新定义为目标选择的结果，而非优化或采样过程本身的固有缺陷。

优化动力学： 与可能将分布推向极端（0 或 1）的 GRPO 和 RLOO 不同，MaxRL 将学习信号集中在更难的提示词（低通过率）上。
扩展性： MaxRL 在增加数据和计算量方面具有更好的扩展性。在数据稀缺设置中，它避免了 RL 训练中常见的多样性崩溃。
效率： 通过将训练目标与测试时目标（最大化在 $k$ 个样本中找到任何正确解的概率）相统一，MaxRL 大幅提升了推理效率。

作者总结道，MaxRL 是在基于正确性的领域中扩展 RL 的一个有前景的方向，它提供了一条通过增加采样计算量，在非可微设置中恢复最大似然训练优势的路径。