💬 NLP

Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes

PrefixRL 通过以成功轨迹的离策前缀（off-policy prefixes）为条件来解决强化学习在困难推理问题上的低效性，从而稳定训练并提高样本效率，在实现比标准基准更快的收敛速度和更优性能的同时，通过拒绝采样实现了一个自我改进循环。

原作者： Amrith Setlur, Zijian Wang, Andrew Cohen, Paria Rashidinejad, Sang Michael Xie

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amrith Setlur, Zijian Wang, Andrew Cohen, Paria Rashidinejad, Sang Michael Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名学生（一个 AI 模型）如何解决极其困难的数学问题。这个学生很聪明，但面对真正难题时，他们通常只会瞎猜，而且猜不对。事实上，他们出错的频率如此之高，以至于他们停止了学习，因为他们从未获得过一个“正确”的答案来供其研究。这就是这篇论文所要解决的问题：强化学习（RL）在处理难题时经常陷入停滞，因为 AI 永远看不到“获胜”的一步。

作者提出了一种巧妙的新方法，称为 PrefixRL。以下是它的工作原理，使用简单的类比进行说明：

1. 问题所在：“困在黑暗中”的情景

想象这个学生正身处一个黑暗的迷宫中寻找出口。每走一步，他们都会撞到墙，并得到一个“0 分”的信号。他们一直在原地打转，浪费能量（计算能力），但始终找不到通往出口的路径。因为他们从未看到出口，所以不知道正确的方向在哪里，导致他们的学习停止了。

在 AI 术语中，当模型尝试解决一个难题且几乎无法自行生成正确答案时，就会发生这种情况。由于“奖励”（即那个告诉你会做题的信号）极其罕见，AI 会陷入停滞。

2. 旧方法：“死记硬背答案”

以前，如果研究人员从之前的尝试中获得了一些正确答案（离策数据/off-policy data），他们会尝试强迫学生先死记硬背这些答案（监督微调/SFT），然后再让学生重新尝试。

缺陷： 这就像强迫学生死记硬背迷宫中的某条特定路线。一旦他们记住了这条路，他们就会停止探索。如果迷宫稍有变化，或者他们需要找到一条更好的路线，他们就会陷入困境，因为他们失去了好奇心和创造力。他们变得过于僵化。

3. 新方法：PrefixRL（“领先一步”策略）

PrefixRL 改变了游戏规则。研究人员不再让学生死记硬背整个答案，而是给他们一个领先一步的起点（head start）。

类比： 再次想象这个学生正困在黑暗的迷宫里。这一次，一位朋友（之前解开了迷宫的人）递给他们一张纸条，上面写着：“你现在位于红门所在的拐角处。从这里开始，向左转。”
学生不需要去摸索如何到达红门；他们只需要从那里开始。
至关重要的一点是： 学生仍然需要负责独立完成迷宫剩下的部分。他们不仅仅是在复制整个路径，而是利用这个“领先一步”的起点来练习旅程的剩余部分。

在技术层面，AI 获取过去的一个正确解法，切掉开头的起始部分（即“前缀/prefix”），并将其附加到问题上。然后，AI 尝试完成剩下的解法。因为他们从一个“好的”位置开始，所以更有可能获得奖励（正确的答案）并进行学习。

4. 魔法技巧：“反向泛化”（Back-Generalization）

论文中最令人惊讶的发现是作者称之为**“反向泛化”**的东西。

类比： 想象你只在一段特定的、容易的高速公路上练习驾驶（即“前缀”部分）。你学会了如何在这一段路上完美地汇入、加速和转向。
惊喜之处： 尽管你从未在那些困难、蜿蜒的山路上练习过（原始的、没有前缀的问题），但你在高速公路上的驾驶技能竟然在某种程度上让你成为了更好的山路司机。
为什么？ 论文指出，通过在带有“领先一步”的问题上进行练习，AI 学到了解决问题所需的底层逻辑和策略。它学习的是如何思考，而不只是思考什么。因此，当它回到没有“领先一步”的原始难题时，它可以应用这些新策略，比以前更好地解决问题。

5. 为什么它更好（结果）

论文在非常难的数学和编程问题上进行了测试。

速度： PrefixRL 的学习速度比以往最好的方法快了两倍。它浪费的计算资源更少，因为它不必一直处于黑暗中瞎猜的状态。
质量： 最终的 AI 解决这些难题的能力比旧方法高出三倍。
灵活性： 即使“领先一步”的部分来自于完全不同类型的 AI（例如，使用 Qwen 模型的提示来训练 Llama 模型），它依然有效。这意味着你不需要用完全相同的 AI 来生成提示；任何聪明的 AI 都可以提供这个“领先一步”的起点。

总结

PrefixRL 就像是给一个挣扎中的学生一个提示，让他们跳过最难的部分，从而可以练习解决剩下的问题。令人惊讶的是，通过练习带提示的问题，学生对问题的逻辑掌握得如此精深，以至于他们甚至能比以前更好地解决原始的、没有提示的版本。它通过重用旧的计算成果，使新的学习变得更快、更聪明，而不会强迫 AI 仅仅是死记硬背答案。

技术摘要：通过对极度离策（Very Off-Policy）前缀进行条件化来复用你的 FLOPs：在难题上扩展强化学习

1. 问题陈述

强化学习（RL）已成为增强大语言模型（LLM）推理能力（特别是在数学和编程领域）的默认方法。然而，标准的在策（on-policy）强化学习方法在应用于难题时面临着关键瓶颈，即基础模型的通过率接近于零（例如，pass@2k ≈ 0）。

在这种情况下，RL 策略很少能采样到正确的推理轨迹。因此：

消失的学习信号： 由于所有采样的轨迹接收到的奖励均为零，策略梯度估计变得为零或趋近于零。
计算浪费： 系统在没有任何学习信号的情况下，消耗了大量的 FLOPs 进行采样，导致训练停滞且奖励进入平台期。
现有解决方案的低效性：
- 基于离策轨迹的有监督微调（SFT）： 虽然这可以引导模型，但往往会导致熵崩溃（entropy collapse）和记忆化，从而阻碍后续的探索。
- 直接离策强化学习（Direct Off-Policy RL）： 通过重要性采样权重直接使用离策轨迹，会导致梯度估计的高方差和不稳定性。

核心挑战在于：如何复用先前推理或 RL 运行中“浪费”的计算量（这些运行可能包含稀有的正确轨迹），以引导在线 RL 策略，同时又不引入与直接离策监督相关的稳定性问题。

2. 方法论：PrefixRL

作者提出了 PrefixRL，这是一个将在线 RL 过程建立在成功离策轨迹的前缀之上的框架，而不是将这些轨迹作为直接的监督目标。

核心机制

数据收集： 收集一个离策轨迹数据集 ( $D_{off}$ )，通常是通过对基础模型进行大规模拒绝采样，直到为每个问题找到一条正确的轨迹。
问题增强： 对于每个原始问题 $x$ ，系统从正确的离策轨迹 $y_x$ 中提取一个前缀（前 $h$ 个 token）。该前缀被附加到原始问题提示词之后，创建一个带前缀的问题： $\text{concat}(x, y_{x, 1:h})$ 。
训练目标： 模型使用由以下内容组成的混合数据的在线 RL 进行训练：
- 原始（无前缀）问题。
- 带前缀的问题。
- 至关重要的是： 梯度在离策前缀 token 上进行掩码处理。模型仅在它生成的前缀之后的 token 上进行更新。

理论保证

论文提供了关于 PrefixRL 目标的理论证明：

一致性（Consistency）： 如果离策前缀是正确的，且在模型类中是可实现的，那么任何 PrefixRL 目标的极大化者也是标准 RL 目标的极大化者。该方法不会引入偏差。
样本效率（Sample Efficiency）： PrefixRL 降低了与标准 RL 相比的次优性差距。通过将策略置于高奖励状态（即正确解已部分形成的中间状态），它减轻了探索负担。理论界限表明，它减少了所需的在策样本数量，且随上下文长度的增加而表现出良好的扩展性。

关键现象：后向泛化（Back-Generalization）

在实验中，作者发现了后向泛化：仅在带前缀的问题上进行训练，会显著提升在原始（无前缀）问题上的表现，即使在那个阶段模型从未在无前缀版本上进行过显式训练。

机制： 模型不仅仅是在模仿前缀。相反，它学习的是能够泛化到无前缀状态的策略。
策略发现： 模型可以“解学习”（unlearn）前缀中存在的次优策略，并发现新的、更好的策略。它改变了在未见状态上的下一个 token 的分布，有效地从前缀提供的高奖励状态“回溯”到无前缀空间中寻找更好的路径。
相关性： 当前缀（或上下文问题）与目标问题在语义上相关时，后向泛化最为有效。

3. 核心贡献

PrefixRL 框架： 一种通过对正确前缀进行条件化来回收离策 FLOPs 的新方法，避免了直接离策 RL 或 SFT 导致的熵崩溃带来的不稳定性。
理论分析： 证明了 PrefixRL 与标准 RL 目标具有一致性，并通过减少探索负担提供了可证明的样本效率增益。
发现后向泛化： 识别了一种现象，即对增强型（带前缀）问题的训练可以迁移性能到无前缀任务，其表现通常优于跨相关任务的普通泛化。
自我改进循环： 展示了一个实用的流水线，其中离策轨迹是通过基础模型自身的拒绝采样生成的，从而创建了一个无需外部教师模型的自我改进循环。

4. 实验结果

作者使用 Llama-3.1-8B 和 Qwen-3-4B 模型，在困难数学推理基准测试（DAPO, OMNI-MATH, AIME '25, HMMT '25）上评估了 PrefixRL。

计算效率： 在考虑了初始拒绝采样的计算成本后，PrefixRL 实现相同训练奖励的速度比最强基线（在离策数据上进行 SFT 后接 RL）快 2 倍。
准确率提升：
- 在困难训练问题上，与基线相比，PrefixRL 将最终准确率提高了 >45%（相对提升超过 3 倍）。
- 在 AIME '25 等留出（held-out）基准测试中，在计算量匹配的比较下，PrefixRL 比最强基线提升了 12% 的 pass@1。
来源鲁棒性： 该方法即使在离策前缀来源于不同模型家族（例如，使用 Qwen 前缀来训练 Llama 策略）时仍然有效，展示了在实际应用中的灵活性。
训练动态：
- 稳定性： 与 SFT+RL 不同，PrefixRL 保留了 token 级的熵，防止了探索崩溃。
- 梯度质量： 与标准离策 RL（受高方差重要性权重影响）相比，PrefixRL 表现出更高的梯度范数和更低的方差。
- 效率： 模型生成的响应平均较短，表明它能更早地达到决定性步骤，减少了“无效徘徊”。

5. 意义与主张

论文声称 PrefixRL 从根本上改变了在难题上扩展 RL 的方法。它不再将离策数据视为模仿的目标（这会导致不稳定或崩溃），也不将其视为噪声丢弃，而是将 PrefixRL 视为一种条件化机制，用以引导探索。

其意义在于：

复用 FLOPs： 它将此前被视为浪费的计算（通过拒绝采样最终获得正确轨迹的失败尝试）转化为直接的学习信号。
解决“难题”范式： 它使得在标准 RL 几乎无法成功（即在策 Rollout 几乎从未成功）的场景下进行 RL 训练成为可能。
后向泛化： 对“通过前缀进行条件化可以带来优于无前缀任务性能”这一现象的发现，表明了一种超越简单泛化的、利用先前计算量的强大机制，这可能会重塑未来 RL 算法整合历史数据的方式。

作者总结道，利用后向泛化是引导先前计算并实现推理 LLM 持续自我改进的关键要素。