🤖 machine learning

Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward

本文介绍了 VIGOR，一种无需验证器的强化学习方法，该方法利用源自策略模型本身的内在梯度范数奖励，在不依赖外部验证器或黄金标签的情况下，有效提升大语言模型在数学推理和代码生成方面的性能。

原作者： Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明但缺乏经验的学生（即人工智能）如何解决复杂的谜题，比如数学问题或编写计算机代码。

通常，为了教导这位学生，你需要一位严格的老师（即“验证器”），由他检查每一个答案。如果答案正确，学生就会得到一颗金星；如果错误，则会得到一个红色的叉。这种方法在数学和编程领域非常有效，因为那里有明确的对错之分。

问题所在：
当你希望学生写一首诗、提供建议，或解决一个没有唯一“正确答案”的问题时，会发生什么情况？你无法为每一项任务都聘请一位严格的老师，因为你事先并不知道答案。如果没有老师，学生就不知道自己的工作做得好不好，他们可能会开始随机猜测，或者陷入停滞。

解决方案：VIGOR（“自我感觉”奖励）
这篇论文介绍了一种名为VIGOR的新方法。VIGOR 不等待外部老师来评分，而是要求学生倾听自己内心的感受，判断他们的答案感觉有多“顺畅”。

以下是其工作原理，使用一个简单的类比：

1. “陡峭的山坡”与“平坦的山谷”

想象学生的头脑是一片由山丘和山谷组成的景观。

糟糕的答案就像站在陡峭、多岩石的悬崖上。如果学生试图稍微调整思路，他们就会剧烈地滑落。用数学术语来说，这就是“大梯度”（巨大且不稳定的变化）。
好的答案就像站在平坦、宁静的山谷中。如果学生稍微调整思路，他们就会停留在原地。这就是“小梯度”（平滑且稳定的变化）。

VIGOR 的规则： 人工智能被指示偏好那些感觉像平坦山谷（小梯度）的答案，而不是陡峭悬崖。其逻辑是：“如果我的答案感觉稳定，不需要巨大的思维冲击就能讲得通，那它很可能就是一个好答案。”

2. “长度陷阱”（为什么论文需要修正）

研究人员发现了一个狡猾的伎俩。如果学生只是写一个非常长的答案，悬崖的“陡峭程度”自然会显得更小，仅仅是因为坡度被分散在很长的距离上。学生可能会试图通过撰写冗长、啰嗦的文章来“作弊”，从而获得高分，即使内容毫无意义。

修正方案（ $\sqrt{T}$ 校正）：
论文在系统中加入了一把简单的数学“尺子”。它规定：“我们将测量陡峭程度，但会根据答案的长度调整分数。”这阻止了学生通过单纯增加字数来作弊。它确保了分数反映的是思维的质量，而不仅仅是文本的长度。

3. “课堂投票”（排序）

有时，不同问题之间的“稳定性感觉”差异巨大。一个问题可能感觉非常稳定，而另一个问题则感觉摇摇欲坠，这使得直接比较它们变得困难。

修正方案（排序）：
VIGOR 不给原始分数，而是要求人工智能为同一个问题生成几个不同的答案，然后将它们相互进行排名。

“这 8 个答案中，哪一个感觉最稳定？” -> 那个答案获得最高奖励。
“哪一个感觉最不稳定？” -> 那个答案获得最低奖励。
无论具体问题的难度如何，这都能保持训练的公平性和稳定性。

尝试后的结果如何？

研究人员在流行的 AI 模型Qwen2.5上测试了这种方法。

数学与代码： 他们仅使用这种“自我感觉”奖励（不允许使用答案密钥）在数学问题上训练了人工智能。人工智能在数学方面取得了显著进步。
跨领域训练： 令人惊讶的是，当他们仅使用这种方法在数学上训练人工智能时，它在编程方面也变得更好了，尽管它在训练期间从未见过任何编程问题。
稳定性： 其他试图猜测“置信度”的方法往往会导致人工智能发疯，过一段时间后开始重复自己或胡言乱语。而 VIGOR 让训练保持平滑和稳定，就像一条平静的河流，而不是一场狂暴的风暴。

总结

VIGOR 是一种无需老师即可教导人工智能的方法。它告诉人工智能：“不要只是猜测；在你自己的头脑中，找到那个感觉最稳定和顺畅的答案。”通过修复几个技术漏洞（如长度作弊），他们使这种“自我检查”变得足够强大，能够将一个基础的人工智能转变为更聪明的推理者，而这一切都不需要事先知道正确答案。

技术摘要：基于内在梯度范数奖励的无验证器大语言模型强化学习（VIGOR）

1. 问题陈述

带有可验证奖励的强化学习（RLVR）已成为大语言模型（LLM）后训练的一种强大范式，特别是在数学和代码等推理任务中。然而，RLVR 严重依赖外部、特定领域的验证器（例如，用于数学答案的精确匹配检查器或用于代码的单元测试）。这种依赖性限制了其在新任务或新领域中的可扩展性，因为在这些领域此类验证器不可用或难以构建。

现有的无验证器替代方案面临重大挑战：

多数投票方法：这些方法从多个样本的共识中推导伪标签。它们通常假设最终答案可以被可靠地提取和归一化，从而限制了其在开放生成中的应用。
内在信号方法：这些方法使用熵或自确信度等内部模型信号。虽然前景广阔，但随着训练的进行，它们可能变得脆弱，导致奖励退化、不稳定和性能崩溃。

核心挑战在于开发一种无验证器的奖励信号，该信号需广泛适用于自由形式的输出，在强化学习过程中保持稳定，并且仅依赖策略模型本身，无需辅助组件。

2. 方法论：VIGOR

作者提出了VIGOR（无验证器内在梯度范数奖励），这是一种仅利用策略模型内部训练动态来计算奖励的方法。

核心直觉

该方法基于一阶优化理论。在损失景观中，较小的梯度范数通常表明当前参数接近稳态区域，意味着更新更温和，训练动态更平滑。VIGOR 认为，诱导教师强制负对数似然（NLL）梯度 $\ell_2$ 范数较小的完成结果，与当前策略更一致，应获得更高的奖励。

算法步骤

对于给定的提示 $x$ ，策略 $\pi_\theta$ 采样一组 $G$ 个完成结果 $\{y_i\}_{i=1}^G$ 。奖励计算步骤如下：

梯度范数计算：对于每个完成结果 $y$ ，计算平均 token 级 NLL $\ell_{mean}(x, y)$ 。相对于当前参数 $\theta$ （不更新模型）计算梯度 $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ 。将梯度从计算图中分离，作为标量信号使用。
长度校正（ $\sqrt{T}$ 缩放）：原始梯度范数 $\|g\|_2$ 表现出系统性偏差，即即使质量未提升，随着序列长度 $T$ 的增加，该范数也会缩小。为了抵消这种“长度黑客”行为，信号按 $\sqrt{T}$ 进行缩放：
$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$
负号将梯度范数的最小化转化为奖励最大化目标。
基于排名的归一化：为了稳定不同提示间的奖励尺度并确保可比性，组内的原始信号被排序并映射到基于排名的奖励 $R_{GN} \in [-1, +1]$ 。最差的完成结果（最高梯度范数）获得 $-1 $，最好的（最低梯度范数）获得$ +1$。
策略优化：这些排名归一化的奖励用于在组相对策略优化（GRPO）框架内计算组相对优势 $\hat{A}_i$ 。策略被更新以最大化目标函数，鼓励具有更低梯度范数的完成结果。

3. 主要贡献

VIGOR 框架：一种新颖的无验证器内在奖励机制，利用教师强制梯度的 $\ell_2$ 范数作为策略一致性和训练稳定性的代理。
长度校正：引入 $\sqrt{T}$ 缩放因子，以中和平均 token 级梯度范数中固有的系统性长度偏差，防止模型利用长度膨胀来最大化奖励。
基于排名的塑形：一种归一化技术，通过依赖组内相对排序而非绝对梯度幅度，来稳定不同提示间的奖励尺度。
实证验证：广泛的实验表明，VIGOR 在数学推理和代码生成基准测试中优于最先进的无验证器基线（特别是 RLIF/INTUITOR），同时保持了稳定的训练动态。

4. 实验结果

实验在 Qwen2.5-3B-Base 和 Qwen2.5-7B-Base 模型上进行，分别在 MATH 数据集和 CodeContests 数据集上进行训练。

数学性能（在 MATH 上训练）

Qwen2.5-7B：与 INTUITOR 基线相比，VIGOR 将平均数学准确率提高了 +3.31%。具体而言，它在 MATH500 上达到了 76.20%，在 AMC 上达到了 44.42%。
跨域迁移：当仅在数学数据上训练时，VIGOR 将平均代码准确率比 INTUITOR 基线提高了 +1.91%，展示了有效的跨域迁移能力。
稳定性：与 INTUITOR 在后期出现准确率回归不同，VIGOR 在整个训练过程中保持了稳定的提升。

代码性能（在 CodeContests 上训练）

Qwen2.5-3B：VIGOR 将平均代码性能从 16.98% 提升至 23.64%。
跨域迁移：在代码数据上训练将数学平均准确率从 48.34% 提升至 56.57%。
注意：在 CodeAvg 指标上，VIGOR（23.64%）略低于 INTUITOR（25.43%），特别是在 CRUX 基准测试上。作者将此归因于竞技编程的性质，其中正确性往往取决于离散的算法选择，而这些选择并未完全被梯度平滑度所捕捉。

训练动态分析

稳定性：与 INTUITOR 遭受奖励退化（即高奖励样本随时间推移与正确性的一致性降低）相比，VIGOR 表现出更稳定的训练动态。
长度控制：VIGOR 有效地抑制了长度膨胀。虽然 INTUITOR 显示出生成长度的显著增加，但 VIGOR 生成了明显更短的输出，将优化重点放在推理质量上，而非长度黑客行为。
排名 - 准确率单调性：分析证实，梯度范数排名与任务准确率之间存在强烈的单调关系；VIGOR 排名较高的完成结果 consistently 实现了更高的准确率。

消融研究

无 $\sqrt{T}$ 校正：移除该组件导致灾难性退化，特别是在 3B 模型中，导致准确率接近零并出现严重的长度黑客行为。
无排名塑形：移除排名归一化导致不稳定，特别是在 7B 模型中，由于原始梯度幅度中极端异常值的影响，导致 MMLU-Pro 性能显著下降（8.90%）。

5. 意义与局限性

意义：
论文声称，VIGOR 提供了一种稳健的无验证器替代方案，用于 RL 后训练，它不依赖外部标签或辅助模型。通过利用损失景观的内在几何结构（梯度范数），它为策略优化提供了一种稳定的信号，该信号可跨域泛化（从数学到代码，反之亦然），并在其他内在方法失效时保持训练稳定性。

局限性：

任务范围：该研究主要针对可验证的推理任务。作者指出，在不增加额外约束的情况下，VIGOR 在更开放的生成设置（例如长文写作或对话）中的迁移效果尚不清楚。
计算成本：VIGOR 需要通过自动微分进行每个样本的梯度范数计算，与仅前向的似然或熵等信号相比，这引入了不可忽视的开销。
代理性质：梯度范数是一个代理目标。作者承认，它可能无法始终跟踪下游效用，从而留下了潜在的错位或奖励利用空间。