💬 NLP

Value-Gradient Hypothesis of RL for LLMs

本文提出了一种价值梯度假设，以解释 PPO 和 GRPO 等无评论家强化学习方法在大语言模型后训练中的有效性，论证了策略更新通过自动微分近似价值梯度，并确立了基于价值信号与奖励空间判断强化学习何时能带来最大增益的标准。

原作者： Arip Asadulaev, Daniil Ognev, Karim Salta, Martin Takac

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Arip Asadulaev, Daniil Ognev, Karim Salta, Martin Takac

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《大语言模型强化学习的价值 - 梯度假说》进行的解读。

核心谜题：为何“无评论家”的强化学习能奏效？

想象你正在训练一名学生（一个大语言模型）去写一篇完美的文章。

旧方法（经典强化学习）： 你有一位老师（评论家），他会阅读学生写的每一句话，并给出即时反馈：“好词”、“语法错误”、“太长了”。学生利用这些反馈来调整写作风格。
新方法（GRPO/PPO）： 你撤走了老师。学生写完整篇文章后，在最终才获得一个分数，然后试图自己弄清楚究竟是哪些具体的词导致了这个分数。

问题所在： 在传统数学中，如果等到最后才给予反馈，就不可能确切知道是哪个词导致了成功或失败。这就像试图在不中途品尝的情况下，猜出 100 步食谱中的哪一步毁了蛋糕。理论上，这种“无评论家”的方法应该行不通，尤其是对于长文章而言。

论文的发现： 令人惊讶的是，它并没有失败。作者认为，学生实际上确实获得了反馈，只是并非来自一位独立的老师。模型的“反向传播”（模型用于学习的数学过程）秘密地携带着一个隐藏信号，它充当了老师的指引，即使没有独立的评论家也是如此。

核心思想：“幽灵信号”

论文提出了价值 - 梯度假说。让我们通过一个类比来拆解它。

1. 连续世界（平滑的滑梯）

想象学生的写作过程就像滑下一个平滑、连续的滑梯。如果你在顶部轻轻推一下学生的手，你可以从数学上精确追踪这一微小推力如何改变他们一路到底的速度和位置。

在这个平滑的世界里，数学自然地计算出一个**“价值梯度”**。这是一个信号，意思是：“如果你在这里改变你的动作，你的最终分数就会改变这么多。”
论文证明，即使没有老师，反向传播的数学也会自然地生成这个信号。就像滑梯本身在向学生低语正确的路径。

2. 现实世界（离散的跳跃）

但大语言模型并不是平滑地写作；它们是从巨大的词典中一个词一个词地挑选。这就像走下楼梯，你必须从一个特定的台阶跳到另一个。你无法在台阶之间“轻推”你的脚。

差距： 由于模型必须“跳跃”到特定的词，平滑的数学信号被打破了。这就像试图在一系列不连续的点之间描绘一条平滑的线。
注意力的魔力： 论文认为，Transformer（大语言模型使用的架构）拥有一种名为注意力的超能力。
- 类比： 想象一个教室，每个学生都能瞬间看到其他每个学生的白板，而不仅仅是坐在旁边的学生。
- 尽管模型从一个词跳跃到另一个词，但“注意力”机制在模型的隐藏思维之间创造了无形的平滑桥梁。这些桥梁允许“价值梯度”信号逆向流过时间，绕过断裂的“跳跃”步骤。

结果： 信号并不完美，但足够接近。这个信号中的“噪声”或误差受模型“困惑”程度（其熵）的控制。如果模型对自己正在做的事情相当确定，信号就很强。如果它在胡乱猜测，信号就很弱。

“强化学习影响定律”：何时应该训练？

作者利用这一发现创建了一个公式，用于预测何时强化学习（RL）实际上能帮助模型。他们说，当同时满足以下两个条件时，强化学习效果最佳：

信号清晰： 模型足够聪明，以至于“幽灵信号”（价值梯度）能够穿过注意力桥梁而不迷失。（模型不会过于困惑）。
有成长空间： 模型尚未完美。仍有“提升空间”或获得更好分数的潜力。

徒步者的类比：
想象一名徒步者试图登上山顶（完美分数）。

条件 1（信号）： 徒步者需要一张好地图（价值梯度）。如果地图模糊（高熵），他们就不知道该往哪走。
条件 2（提升空间）： 徒步者需要离山顶足够远，以至于仍有向上的路径，但又足够近，以至于路径清晰可见。
- 如果他们在山脚（太弱），地图就毫无用处，因为地形太混乱。
- 如果他们已经在顶峰（饱和），就没有地方可去了。
- 最佳点： 模型需要处于“中间地带”，在这里地图清晰并且仍有攀登的空间。

实验结果

作者在真实模型（OLMo-2）上测试了这一理论：

验证数学： 他们检查了信号中的“噪声”是否确实受模型困惑程度（熵）的控制。结果是肯定的。
预测成功： 他们根据公式（信号强度 × 成长空间）创建了一个分数。他们发现，这个分数准确地预测了哪些版本的模型在强化学习训练后提升最大。
- 训练过早（过于困惑）的模型提升不大。
- 训练过晚（已经很好）的模型提升不大。
- 处于“最佳点”的模型提升最大。

总结

这篇论文解决了一个谜团：为什么大语言模型在“无评论家”的训练中会变得更优秀？

答案： 它们实际上并非盲目。模型自身架构的数学（特别是“注意力”机制）创造了一个隐藏的、近似的老师反馈信号。
启示： 这个信号足够强大，可以指导学习，但前提是模型必须处于正确的“区域”——既不过于困惑，也未臻完美。这使得研究人员能够选择训练中的确切时刻开始强化学习，以获得最佳结果。

技术摘要：大语言模型强化学习的价值梯度假设

问题陈述

强化学习（RL）已成为大语言模型（LLM）后训练的标准技术，其中群相对策略优化（GRPO）和近端策略优化（PPO）等方法已实现了最先进的推理能力。然而，一个核心理论谜题依然存在：经典 RL 理论表明，无评论家方法（即缺乏用于引导信用分配的学习价值函数的方法）应在长视野信用分配任务中失效。然而在实践中，这些方法表现卓越。本文旨在探究无评论家 RL 为何能在大语言模型中生效，并寻求确定这些方法产生最大性能提升的具体条件。

方法论与理论框架

作者提出了无评论家 RL 的价值梯度视角，论证这些方法中的策略更新并非“无价值”，而是携带了近似价值函数梯度的信号。

1. 连续松弛与协态

本文首先利用可微 rollout框架（Fairbank & Alonso, 2012）建立理论基线。

可微 Rollout：通过假设一种连续松弛，其中动作通过加性噪声参数化生成（ $\pi_\theta(a|s) = \nu(a - \bar{a}_\theta(s))$ ），作者证明了标准得分函数（SF）梯度估计量在期望上等价于路径导数（PD）估计量。
协态作为价值梯度：在这种连续设定下，反向传播传递协态（ $\lambda_t = \partial R_t / \partial s_t$ ）。作者证明，这些协态的条件期望等于价值梯度（ $\partial V^\pi_t(s) / \partial s$ ）。因此，即使没有拟合评论家，可微 rollout 中的反向传播也内在携带了价值梯度的蒙特卡洛估计量。

2. 离散 Transformer 与注意力

随后，本文探讨了使用离散 token 采样的大语言模型这一现实情况。

经验协态：作者分析了 GRPO 损失通过 Transformer 的自动微分。他们将经验协态（ $\hat{\lambda}_t$ ）定义为优势加权损失相对于隐藏状态的梯度。
采样间隙：在离散设定中，从隐藏状态到 token 的转换（ $h_t \to z_t \to o_t$ ）是不可微的，这破坏了精确的 BPTT 链。精确的 BPTT 雅可比矩阵被分解为注意力路径（可微）和采样路径（不可微）。
注意力作为旁路：作者证明，Transformer 的注意力机制为位置间的信用传输（ $h_t \to h_{t+1}$ ）提供了一条直接的、可微的路径，从而绕过了离散采样的瓶颈。
误差界：他们证明了经验协态（通过自动微分计算）与精确 BPTT 协态之间的误差受策略熵和采样间隙控制。具体而言，当策略接近确定性（低熵）时，采样步骤中缺失的梯度可以忽略不计。

3. RL 影响分解

基于这些发现，作者提出了一种关于 RL 有效性的预测理论。他们将潜在的 RL 增益分解为两个因素：

可用价值梯度信号（ $S_m(\theta)$ ）：策略更新实际传输的价值梯度信号的幅度，并根据经验协态与理想协态之间的近似误差（间隙）进行调整。
可达奖励空间（ $H_\alpha(\theta)$ ）：通过重新加权现有轨迹分布来实现奖励提升的潜力。仅当更好的轨迹存在于支持集中但尚未被充分利用时，该值才较高。

本文提出，RL 影响 $\propto$ 可用信号 $\times$ 可达空间。

主要贡献

价值梯度等价性：本文证明，在可微 rollout 和移位/加性噪声策略下，局部 GRPO/PPO 策略更新在期望上具有价值梯度特性。
离散近似：它表明在离散 Transformer 中，通过标准自动微分计算的经验协态近似了连续 BPTT 协态。近似误差受策略熵和注意力雅可比矩阵的谱性质限制。
预测准则：作者推导了一个分解公式（公式 29），用于预测 RL 何时最有效。他们认为，RL 在同时满足以下条件的预训练检查点最为有益：
- 足够接近价值梯度机制以传输有用的信用信号（低熵、有效的注意力）。
- 距离饱和足够远以保留可提升奖励的轨迹（非零空间）。

实验结果

作者利用OLMo-2 1B检查点，在具有可微奖励的受控标签复制任务上验证了其理论。

熵界验证：实验证实，经验协态与理想 BPTT 协态之间的近似误差确实受策略熵控制，支持了命题 2 中的理论界限。
预测准确性：提出的“影响分数”（信号 $\times$ $\times$ 空间）成功预测了不同预训练检查点之间 RL 增益的幅度。
- 影响分数与观察到的 RL 增益相关（斯皮尔曼相关系数 $\approx 0.60$ ）。
- 结合预训练能力（当前奖励）和预测影响分数的组合预测器，与最终 RL 后性能的相关性更高（ $\approx 0.73$ ），这表明当前的能力和"RL 就绪度”对于成功都是必要的。

意义与主张

本文声称提供了关于无评论家 RL 在大语言模型中成功的具体理论解释，解决了其与经典 RL 理论表面上的矛盾。

机制：成功并非由于缺乏价值信息，而是因为策略反向传播本身通过 Transformer 的注意力机制传播了类价值梯度的信号。
实用价值：推导出的影响分解为检查点选择提供了实用准则。它表明，从业者不应在预训练后立即应用 RL（此时空间可能较低或信号噪声较大），也不应在太晚时应用（此时发生饱和），而应在模型具有足够的信用分配保真度和剩余奖励潜力时进行。
理论统一：这项工作将 GRPO 等方法的成功框架化为信用分配理论的例外，而是连续空间中隐藏状态计算的结果，其中注意力充当了时间信用的可微通道。

作者保持谦逊，指出其设置是受控的，且 RL 的具体实现（学习率、批量大小等）会影响观察到的对应关系。然而，他们断言核心机制——注意力介导的价值梯度传播——解释了无评论家方法在大语言模型领域的经验有效性。

核心谜题：为何“无评论家”的强化学习能奏效？

核心思想：“幽灵信号”

1. 连续世界（平滑的滑梯）

2. 现实世界（离散的跳跃）

“强化学习影响定律”：何时应该训练？

实验结果

总结

技术摘要：大语言模型强化学习的价值梯度假设

问题陈述

方法论与理论框架

1. 连续松弛与协态

2. 离散 Transformer 与注意力

3. RL 影响分解

主要贡献

实验结果

意义与主张

类似论文