💬 NLP

A Relative-Budget Theory for Reinforcement Learning with Verifiable Rewards in Large Language Model Reasoning

本文针对大语言模型推理中的强化学习提出了一种相对预算理论，定义了一个控制匮乏、平衡及充足状态下样本效率的关键量 $\xi$ ，并从经验上验证了在 1.5 到 2.0 之间的相对预算能使学习性能最大化。

原作者： Akifumi Wachi, Hirota Kinoshita, Shokichi Takakura, Rei Higuchi, Taiji Suzuki

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Akifumi Wachi, Hirota Kinoshita, Shokichi Takakura, Rei Higuchi, Taiji Suzuki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：AI 思考的“金发姑娘”区（适中区间）

想象一下，你正在教一名学生（AI）如何解决一道很难的数学题。你给他的时间或“Token”（词元/字数）是有限的，他必须利用这些资源来思考并写下答案。

这篇论文引入了一个简单的规则，叫做相对预算 ( $\xi$ )。你可以把它理解为一个比例，比较的是你给学生的时间与学生通常解决该问题所需的时间之间的关系。

$\xi$ (Xi) = (你给的时间) / (学生通常需要的时间)。

作者发现，AI 的学习效果完全取决于这个比例。存在三个截然不同的“区域”或“机制”，AI 在每个区域的表现都大不相同。

三种学习区域

1. “太紧”区域（匮乏机制， $\xi \approx 0$ ）

类比： 想象你给学生 10 分钟去解决一道通常需要 100 分钟才能解出的题目。

发生的情况： 学生几乎永远无法完成任务。他们在找到答案之前就用尽了时间。
结果： 老师（AI 训练系统）几乎拿不到任何可以用来学习的“正确”范例。因为 AI 很少看到成功案例，它无法学习任何东西。这就像试图通过把一个人扔进一个连底都摸不到的泳池里来教他游泳；他只会感到恐慌并沉下去。
论文观点： 在这个区域，学习在理论上是不可能的，因为“信息丰富的轨迹”（成功的尝试）过于稀缺。

2. “刚刚好”区域（平衡机制， $\xi \approx 1.5 - 2.0$ ）

类比： 现在，你给学生大约 1.5 到 2 倍于他通常需要的时间。

发生的情况： 学生有足够的时间来解决问题，但任务仍然具有挑战性。有时他们解题很快；有时则会挣扎并耗尽全部时间。
结果： 这是黄金分割点。老师看到了轻松获胜和艰苦胜利的结合。这种多样性创造了强大的“学习信号”。AI 可以清晰地看到哪些做法有效，哪些无效。
论文观点： 这是强化学习（RL）效率最高的阶段。AI 在这里学习得最快。有趣的是，对于另一种方法——“监督微调”（SFT）来说，这反而是最难的区域，因为解决方案的多样性会让这种简单的“模仿型老师”感到困惑。

3. “太容易”区域（充裕机制， $\xi \to \infty$ ）

类比： 你给学生 100 个小时去解决一个只需要 10 分钟就能搞定的问题。

发生的情况： 学生每次都能几乎瞬间解决问题。他们拥有大量的额外时间，以至于这项任务显得微不足道。
结果： AI 确实在学习，但效率不高。由于学生总是能立即成功，因此缺乏可以学习的“挣扎”或变化。AI 的进步会停滞，因为它已经对这项任务过于精通了。这就像让一位国际象棋大师去解一道 5 岁小孩都能解开的谜题；他不会通过做这种题来提高棋艺。
论文观点： 学习保持稳定，但“边际收益”（每步带来的进步）变得越来越小。你是在浪费计算资源。

“相变”现象

论文描述了在相对预算为 1.0 左右发生的相变。

低于 1.0：AI 处于黑暗之中，极少看到成功。
高于 1.0：AI 突然开始看到成功，学习爆发式增长。
巅峰值： 作者发现，当预算略高于平均需求，特别是处于 1.5 到 2.0 之间时，表现达到最佳。这给了 AI 足够的“活动空间”去探索不同的解题路径，而不会浪费时间。

这对 AI 训练意味着什么

论文指出，目前许多人正在浪费金钱和计算能力。

如果你给 AI 的时间太少，它学不到任何东西。
如果你给它的时间太多，它的学习速度会变慢，并浪费资源。
解决方案： 你应该调整你的计算预算，使 AI 拥有的 Token 数大约是它通常解决问题所需数量的 1.5 到 2 倍。这能确保 AI 既受到足够的挑战以进行学习，又不至于因为挑战过大而失败。

关于“模仿”与“试错”的说明

论文还对比了两种教学风格：

监督微调 (SFT)： 像是一个学生在照抄老师的每一个步骤。论文指出，这种方法在“刚刚好”区域会失效，因为解题方式太多样化，会导致学生感到混乱。
强化学习 (RL)： 像是一个学生尝试不同的方法，并在得到正确答案时获得一个“对勾”。这种方法在“刚刚好”区域表现出色，因为它能够处理这种多样性并找到最佳路径。

总结

要获得 AI 最好的推理能力，不要仅仅向它投入无限的计算能力。相反，要找到那个**“金发姑娘”预算**：给 AI 刚好多出一点点的时间（大约是它通常所需时间的 50% 到 100%）来解决问题。这能为它创造一个既能快速学习、又能高效学习的完美环境。

技术摘要：一种用于具有可验证奖励的 LLM 推理的相对预算理论

1. 问题陈述

带有可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）推理能力的支配范式，能够实现长程规划和迭代自我修正。然而，其在不同任务和计算预算下的有效性表现差异显著。现有的理论框架往往未能解释任务难度与计算预算之间的动态关系，特别是在在线学习设置中。从业者缺乏如何高效分配计算资源的指导方针，面临着将大量资源分配到学习效率极低或学习信号消失的机制中的风险。

本文通过分析可用 Token 预算与任务固有难度之间的比例如何决定 RLVR 的样本效率和收敛性，来填补这一理论理解方面的空白。

2. 方法论与理论框架

2.1. 相对预算 ( $\xi$ )

作者引入了一个核心量，称为相对预算，定义为：
$\xi := \frac{H}{E[T]}$
其中 $H$ 是生成长度（Token 预算）， $E[T]$ 是在基准策略 $\pi_b$ 下达到首次正确解所需的预期 Token 数。该指标统一了计算约束与任务难度。

2.2. 模型假设

推理过程被建模为一个具有二元奖励的有限时界马尔可夫决策过程（MDP）。对求解时间 $T(\tau)$ 的分析基于特定的分布假设：

矩（Moments）： $T(\tau)$ 的方差随其均值平方缩放（ $v_x = \Theta(\mu_x^2)$ ）。
左尾行为（Left-Tail Behavior）： 在原点附近，在预期时间的一定比例内解决问题的概率遵循一个函数 $f(z)$ ，该函数呈多项式衰减而非指数衰减。
伽马分布（Gamma Distribution）： 为了进行具体分析， $T(\tau)$ 被建模为使用伽马分布，这作为复杂推理任务中离散 Token 计数的连续代理。

2.3. 分析方法

本文分析了反集中系数 $c_0(\xi)$ ，它代表了采样到高奖励轨迹（即比平均时间显著更快地找到解）的概率。该系数直接控制了 RL 的样本复杂度。作者追踪了随着策略改进， $\xi$ 在迭代过程中的演变，并推导了在线 RL 的有限样本保证。

3. 主要贡献与理论结果

本文确立了 RLVR 的性能受基于 $\xi$ 值的三个不同机制（regimes）支配：

3.1. 三种学习效率机制

匮乏机制 ( $\xi \to 0$ )：
- 条件： Token 预算 $H$ 远小于预期求解时间。
- 动力学： 高奖励轨迹极其罕见。反集中系数趋于零（ $c_0 \to 0$ ），导致样本复杂度爆炸。学习在理论上是难以实现的。
平衡机制 ( $\xi = \Theta(1)$ )：
- 条件： Token 预算与预期求解时间相当。
- 动力学： 信息丰富的轨迹发生的概率是非零且显著的。反集中系数有界且远离零（ $c_0 = \Theta(1)$ ），从而实现最大的样本效率。
- 与 SFT 的对比： 该机制是 RL 的“甜点区（sweet spot）”，但却是监督微调（SFT）的“最坏情况”。在平衡机制下，成功解轨迹的异质性（不同的长度和策略）达到最大，使得模仿学习变得困难。
充裕机制 ( $\xi \to \infty$ )：
- 条件： Token 预算显著超过预期求解时间。
- 动力学： 学习保持稳定，且具有有界的反集中系数。然而，随着任务相对于预算变得平庸，每轮迭代的边际收益递减，且样本复杂度随 $\xi$ 线性增加。

3.2. 在线 RL 的有限样本保证

作者证明，在在线设置下，随着策略的改进，预期求解时间减少，导致相对预算 $\xi$ 随迭代线性增长。

定理 6.4： 在伽马模型下，在线 RL 驱动 $\xi$ 随迭代线性增长（ $\xi_i - \xi_0 \geq i(2K)^{-1}$ ）。
权衡： 虽然策略收敛于 Token 预算 $H$ ，但在充裕机制下维持单调改进需要越来越多的 Rollout 样本（样本复杂度相对于 $\xi$ 呈二次方退化）。

3.3. 最优预算分配

利用伽马分布进行的理论分析确定了一个最优相对预算 $\xi^*$ ，它能在保持稳定的反集中系数的同时最大化学习信号（奖励方差）。

理论预测： 最优 $\xi^*$ 落在范围 $1.0 \leq \xi^* \leq 1.4$ 内。
启示： 分配略大于预期难度的预算（ $\xi \gtrsim 1$ ）对于可靠的学习信号至关重要。

4. 实验结果

作者使用标准 LLM（Llama-3.2-3B, Phi-4-mini, Qwen3-4B）在推理基准测试（GSM8K, MATH-500）上验证了其理论。

相变（Phase Transition）： 实验证实了在 $\xi \approx 1.0$ 处存在相变。在匮乏机制（ $\xi < 0.8$ ）中，奖励方差和反集中性可以忽略不计。
峰值学习信号： 学习信号（奖励方差）在 $\xi \in [1.5, 2.0]$ 范围内达到峰值，由于 Token 生成分布的长尾特性，该值略高于理论最小值。
性能相关性： 推理任务的训练后准确率显示，当 $\xi$ 接近 1（平衡机制）时出现剧烈上升，并在充裕机制（ $\xi > 2.0$ ）中趋于饱和。
模型鲁棒性： 理论预测在不同模型和数据集上均成立，即使是表现出双峰 Token 分布的模型（如 Qwen3），也表明该核心理论对特定的分布偏差具有鲁棒性。

5. 意义与主张

本文声称提供了一个统一的理论框架，解释了 RLVR 在 LLM 推理中依赖于机制的成功原因。其主要意义在于：

定义“能力边缘（Edge of Competence）”： 它从理论上证明了观察到的经验现象，即当任务既不平庸也不难以处理（即计算预算与任务固有难度相当）时，RL 最为有效。
指导计算分配： 该理论为从业者提供了具体的指导方针：分配 Token 预算使 $\xi \in [1.5, 2.0]$ 。这确保了存在信息丰富的轨迹，同时避免了过度预算带来的收益递减。
解释 RL 与 SFT 的分歧： 它阐明了为什么基于验证器的 RL 在扩展测试时计算（test-time compute）方面优于 SFT，特别是在解的异质性阻碍模仿学习但有助于基于探索的 RL 的平衡机制中。
可持续 AI 开发： 通过识别 RL 产生收益递减的时机，该框架旨在防止浪费性的训练运行，从而降低大规模模型训练的财务和环境成本。

作者指出，其分析依赖于连续代理奖励以使方差分析变得可行，并将该理论扩展到严格的二元奖励设置仍是一个开放性问题。然而，其与现实设置的经验一致性表明，相对预算 $\xi$ 是面向推理的 RL 有效性的一个基本因素。