🤖 machine learning

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

本文介绍了 Off-Context GRPO (OC-GRPO)，这是一种强化学习算法，它通过在训练期间利用特权引导来克服困难推理问题中的学习悬崖，同时使用重要性校正以确保模型针对原始未引导目标进行优化，从而在数学基准测试中取得了显著的性能提升。

原作者： Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个机器人正在接受训练，学习解决棘手的数学谜题，旁边有一位老师可以瞬间检查它给出的任何答案是正确还是错误。这种设置——一个学习者加上一个给出是非判定的自动裁判——就是 AI 研究人员所说的“Reinforcement Learning with Verifiable Rewards”。机器人尝试解决谜题，答对了获得一个“大拇指”，答错了则得到“大拇指朝下”，通过多次尝试，它学会了如何收集更多的“大拇指”。

问题在于，有些谜题对于机器人来说实在太难了，以至于每一次尝试都以失败告终。当每一次尝试都失败时，所有的判定结果都是完全一样的，没有任何可供比较的对象，老师也就失去了可以依据的信号。这就像是在学习骑自行车时，只要踏板一转就会摔倒：由于从未体会过什么是平衡，也就没有任何进步的基础。这被称为“学习悬崖（learning cliff）”。

显而易见的解决方法是提供一份“作弊纸”——即提示或解题过程的前几步，这样机器人至少能偶尔成功一次。这虽然可行，但提出了一个尴尬的问题：对于一个被“喂到嘴边”的胜利，机器人究竟应该获得多少功劳？

这篇论文对这个问题给出了妥当的回答。这种方法被称为 Off-Context GRPO (OC-GRPO)，它应用了一种修正机制，通过询问：在没有作弊纸的情况下，机器人有多大的概率能达到那个精确的解。功劳永远不会被全额给予，因为其中一部分总是属于提示。最终能保留多少功劳，取决于机器人本身已经具备了多少能力。一个接近独立解决问题的机器人会保留大部分功劳，因为作弊纸只是激发了它已有的能力；而一个几乎毫无胜算的机器人则几乎得不到任何功劳，因为作弊纸是用提示替代了技能，而非揭示了技能。作弊纸无法凭空创造出原本并不存在的技能。错误的处理逻辑则相反：如果答案已经给出了一半，机器人却依然做错了，那么它受到的惩罚会比普通的失败更重，因为在有帮助的情况下失败，比在没有帮助的情况下失败是更严重的证据。在那些在没有辅助下成功率几乎为零的最难谜题中，大部分真正的学习来自于这种放大的惩罚，而非通过辅助性的成功。机器人被推离它目前明显还无法做到的领域，而不是因为学会了“阅读”而受到表扬。

结果是，尽管机器人在练习时得到了帮助，但它的评分始终是基于真实的谜题，而非带有提示的谜题。

在标准的数学基准测试中，OC-GRPO 将平均准确率从 27.8% 提升到了 31.7%，相比于标准训练方法实现了 13.8% 的相对增益，且几乎没有增加额外成本。这种修正对于较小的模型尤为重要：在这些模型中，旧有的基于提示的方法表现甚至不如纯粹的训练，因为较弱的学习者无法吸收提示谜题与无提示谜题之间的差异，而 OC-GRPO 在所有测试的模型规模上都保持了其增益。更广泛的启示是，特权提示（privileged hints）是引导探索的一种极好的方式，只是必须诚实地分配功劳。

技术摘要：离上下文 GRPO (Off-Context GRPO, OC-GRPO)

1. 问题陈述：RLVR 中的“学习悬崖”

强化学习结合可验证奖励（RLVR），特别是使用群体相对策略优化（GRPO），已成为增强大语言模型（LLM）推理能力的支配性方法。然而，作者指出了一种被称为**学习悬崖（learning cliff）**的基本失效模式。

在标准的 GRPO 中，针对给定问题，会采样一组响应，由验证器评分，并根据该组内的相对表现计算优势（advantages）。如果问题足够困难，导致模型在一次 Rollout 组中无法生成任何正确的解，则所有奖励均为零。因此，组内奖励方差会塌缩至零，导致梯度信号消失。无论训练持续多久，模型都无法获得学习信号。

现有的权宜之计通常涉及在训练期间向提示词（prompt）中注入特权引导（privileged guidance）（例如：解题前缀、提示或先验信息）以确保至少有一些 Rollout 能够成功。虽然这恢复了学习信号，但引入了离上下文问题（off-context problem）：

训练分布： Rollout 是从包含特权信息的引导提示 $g(x)$ 中采样的。
目标目标（Target Objective）： 目标是优化原始、无引导提示 $x$ 下的策略。
不匹配： 标准的引导方法（如 POPE, BREAD）优化的是以 $g(x)$ 为条件的 $J_{guide}(\theta)$ ，并假设策略能够“回推泛化”（back-generalize）到 $x$ 。作者认为，这实际上是在优化一个与部署时评估的目标不同的目标函数。这种不匹配会导致梯度偏差、目标失配，并导致训练不稳定，对于吸收分布偏移能力有限的小型模型而言尤为如此。

2. 方法论：离上下文 GRPO (OC-GRPO)

论文提出了 OC-GRPO，这是对 GRPO 的一种极小化修改变体，它利用引导式 Rollout 来克服学习悬崖，同时通过数学手段修正分布不匹配，以确保更新目标是原始的无引导目标 $J(\theta)$ 。

核心机制：重要性采样修正

OC-GRPO 不再将引导式 Rollout 视为由原始提示生成的样本，而是对逐 Token 策略比例应用重要性采样（Importance Sampling, IS）修正。

标准 GRPO 比例： $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | x, y_{i,<t})}$
OC-GRPO 比例： $\rho^{oc}_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | g(x), y_{i,<t})}$

这里，分子代表当前策略在给定无引导提示（目标）下的 Token 概率，而分母代表在给定引导提示（实际采样分布）下的概率。

理论特性

无偏性： 经数学证明，在引导分布下的重加权期望与原始无引导目标下的期望完全等价。这确保了算法优化的是 $J(\theta)$ ，而非 $J_{guide}(\theta)$ 。
行为感知信用分配（Behavior-Aware Credit Assignment）： 重要性比例充当了一种动态的信用分配机制：
- 成功案例： 如果一条正确的轨迹在引导提示下概率很高，但在无引导提示下概率很低（即模型高度依赖提示），则重要性比例 $<1$ ，从而削弱正向信用。这防止了模型仅仅学会“遵循提示”而非“解决问题”。
- 失败案例： 如果一条轨迹尽管有引导仍然失败，则比例 $>1$ ，从而放大惩罚。这强化了即使有帮助，模型也未能解决问题的反馈。
方差控制： 修正项的方差随引导前缀的长度缩放，而非整个 Rollout 的长度。这促成了设计原则：使用最短且必要的引导长度来打破学习悬崖。

实现变体

OC-GRPO-Fixed： 在训练前使用基座模型识别每个难题所需的最低引导水平。该增强数据集是固定的，策略不会重新选择引导。由于其较低的推理成本和具有竞争力的性能，建议将其作为默认方案。
OC-GRPO-Adaptive： 在训练期间根据当前策略的表现动态调整引导水平。虽然在理论上更具灵活性，但它带来了更高的推理成本，并在实验中表现出略低的性能。

3. 核心贡献

形式化了离上下文问题： 作者正式定义了现有引导式 RLVR 方法中的不匹配问题，表明它们隐式地优化了一个与部署目标不同的目标函数。
OC-GRPO 算法： 通过使用重要性采样对 GRPO 进行极小化修改，用以修正离上下文采样，从而实现对原始目标的可证明无偏性。
理论上的信用分配： 证明了重要性修正诱导了一种行为感知机制，能够在无需额外奖励塑造的情况下，自动降低过度依赖引导的成功权重，并放大即便有引导仍失败的惩罚。
实证验证： 证明了 OC-GRPO 在多个模型规模（1.5B, 3B, 7B）和数学基准测试中，相比于 Vanilla GRPO 实现了持续的增益。

4. 实验结果

作者在 MATH 数据集（等级 3–5）上使用 Qwen2.5 模型（1.5B, 3B, 7B）配合 LoRA 适配器对 OC-GRPO 进行了评估。

性能提升： 在 7B 模型上，OC-GRPO-Fixed 在 AIME、Gaokao2023 和 OmniMath 基准测试中，相比 Vanilla GRPO 实现了 13.8% 的相对增益（3.9% 的绝对提升）在平均 Pass@1 指标上。
基准对比：
- OC-GRPO 优于其他优化误匹配 $J_{guide}$ 目标的引导方法（如 POPE, PrefixRL, BREAD）。
- 规模依赖性： 一个关键发现是，在较小的模型规模（如 1.5B 和 3B）下，优化误匹配目标的引导基准方法往往会低于 Vanilla GRPO。相比之下，OC-GRPO 在所有规模下均保持了稳定的增益。这表明小型模型无法吸收目标不匹配带来的影响，使得重要性修正变得至关重要。
稳定性： 实验表明，未经修正的引导训练（Masked no-IC）会导致奖励塌缩、梯度范数激增以及对数概率差距扩大，而 OC-GRPO 则保持稳定。

5. 意义与主张

论文主张：特权信息可以引导探索，但更新必须考虑到其来源的分布。

解决悬崖问题： OC-GRPO 提供了一种原则性的方法，可以在不借助监督微调（SFT）或复杂的混合目标（这些会扭曲模型的原生推理风格）的情况下，解决硬问题的学习悬崖问题。
对齐： 它确保了在特权上下文（在推理阶段不存在）上的训练不会导致策略偏离真实的部署目标。
可扩展性： 该方法对于无法通过“回推泛化”假设的小型模型尤为重要。
通用性： 虽然在数学推理（使用解题前缀）上进行了演示，但该框架是机制无关的，适用于任何形式的特权信号（例如：工具调用结果、中间状态）在智能体（Agentic）RLVR 设置中的应用。

作者总结道，OC-GRPO 代表了下一代 RLVR 算法必要的修正，它能够在处理困难问题时实现鲁棒推理，同时保持与原始任务定义的对齐。