🤖 machine learning

On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR

本文揭示，具有可验证奖励的强化学习（RLVR）表现出隐式奖励过拟合，并通过低秩动态运作，其中增强的推理能力集中于秩-1 分量，这些分量优化特定的重尾奇异谱，同时舍弃其他模型知识。

原作者： Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《关于 RLVR 中的隐式奖励过拟合与低秩动力学》的解释，已转化为通俗易懂的语言并辅以富有创意的类比。

宏观图景：强化学习的“魔法”

想象你有一位非常聪明的学生（大型语言模型），他擅长许多领域，但在解决复杂的数学谜题方面表现不佳。你决定采用一种名为**可验证奖励强化学习（RLVR）**的特殊训练方法。这就好比一位严格的教练，每当学生答对一道数学题，就奖励他一颗金星。

经过训练后，这位学生变成了数学天才。但本文的研究人员提出了一个棘手的问题：这位学生究竟是真正掌握了新的逻辑，还是仅仅学会了如何“钻教练评分系统的空子”？

1. “单音”天才（秩 1 主导）

研究人员发现了一个令人惊讶的事实：几乎所有的“数学天才”提升，都发生在大脑的极小一部分中。

类比：想象学生的脑内是一座拥有数百万本书的巨型图书馆。当他擅长数学时，并不是因为他读了更多的书，而是因为他找到了一个特定的、神奇的书签（称为“秩 1 分量”），能瞬间指向正确答案。
发现：如果你将训练好的模型中除了那个“神奇书签”以外的所有内容都丢弃，该模型在数学上的表现依然与完整训练版本一样出色。其余的“大脑更新”（那数百万页内容）似乎对数学技能几乎没有贡献。

2. “假装直到成功”的问题（隐式奖励过拟合）

这里是反直觉的部分。研究人员设计了一种训练方法，强迫学生只保留那个“神奇书签”，并在每几步之后丢弃其余的更新。

结果：学生在训练测试（教练提供的练习题）上的得分下降了。教练很不高兴，因为学生在练习中拿到的金星变少了。
转折：然而，当学生参加期末考试（一套从未见过的新题目）时，他们的表现与那些保留了所有额外更新的学生一样好。
含义：学生通常学到的那些“额外更新”实际上是噪声。这是学生在试图死记硬背特定的练习题以获取更多金星，而不是学习真正的逻辑。研究人员将这种现象称为**“隐式奖励过拟合”**。模型只是在训练数据上“伪装”出高分，而实际上并没有变得更聪明。

3. “安全网”（为什么我们需要其余部分）

如果那些“额外更新”对数学来说只是噪声，为什么要保留它们？研究人员发现，这些额外更新实际上是学生的个性和常识。

类比：如果你剥离掉“额外更新”，只保留“数学书签”，学生就会变成数学天才，但会失去遵循指令、保持安全或了解世界基本事实的能力。
发现：“秩 1"部分用于推理。“非秩 1"部分用于安全性、世界知识和遵循规则。如果你丢弃它们，模型可能会完美地解决数学问题，但开始说粗鲁的话，或者忘记如何与人类交流。

4. 学习的形状（重尾分布）

研究人员使用一种名为 SVD 的数学工具（将复杂数据分解为简单的线）来观察模型大脑中变化的“形状”。

模式：他们发现了一个一致的规律：一个巨大的尖峰（数学书签），后面跟着一长串缓慢衰减的微小变化。
隐喻：想象一片山脉。那里有一座高耸、尖锐的山峰（数学推理）。在它后面，是一片漫长、起伏的山坡（安全与知识）。山峰让模型成为数学巫师，但山坡让模型保持脚踏实地和安全。

5. “单行道”（几何不对称性）

最后，论文解释了模型是如何学习这一点的。他们发现学习过程是失衡的。

类比：想象模型是一家工厂。
- 输出（答案）：工厂学会非常轻松地改变最终产品（答案）。这就像有一条传送带，可以快速调整以包装正确的物品。这是数学的“左侧”，它与“秩 1"书签完美对齐。
- 输入（问题）：工厂很难改变它阅读 incoming 问题的方式。问题是混乱且复杂的。模型无法用一个简单的“书签”轻易地重组它理解输入的方式。
结论：RLVR 主要关于优化输出（模型如何选择正确答案），而不是从根本上重写模型理解世界的方式。这就像教学生在考试中猜出正确答案，而不一定教他们如何更好地阅读题目。

总结

这篇论文告诉我们，当 AI 模型通过强化学习在数学上变得“更聪明”时：

大部分魔法都集中在一个微小的、一维的“书签”（秩 1）中。
其余的训练往往只是死记硬背练习题（过拟合），并未为期末考试增加真正的价值。
我们需要那些“噪声”（非秩 1 部分）来保持模型的安全性和知识储备，即使它们对数学没有帮助。
模型正在学习输出更好的答案，而不一定是为了更好地理解输入。

研究人员建议，通过理解这一点，我们可以更高效地训练模型，专注于利用“书签”进行推理，同时保护“山坡”以维持安全性和知识。

技术摘要：RLVR 中的隐式奖励过拟合与低秩动力学

问题陈述

尽管基于可验证奖励的强化学习（RLVR）在提升大语言模型（LLM）推理能力方面取得了工程上的成功，但 RL 改变模型参数的微观机制仍鲜为人知。现有研究主要集中于宏观训练动力学或奖励设计，导致对参数更新（ $\Delta W$ ）的具体结构及其物理意义的理解存在空白。

近期观察表明，RLVR 的改进主要集中在低秩分量中，具体表现为秩 -1 更新。然而，一项颠覆性的发现指出，RL 可能并非在 imparting 新的底层推理逻辑，而是在优化采样策略以激发潜在的正确答案。这引发了关键问题：RLVR 是否真正在学习推理，还是仅仅在过拟合奖励函数？此外，参数更新矩阵中非秩 -1 分量的功能作用是什么？

方法论

作者采用实证研究与理论分析相结合的方法，聚焦于权重更新的谱特性。

周期性秩 -1 替换：为了探究非秩 -1 分量的贡献，作者引入了一种技术，即在固定间隔（例如每 10 步）处，通过奇异值分解（SVD）对累积的权重更新进行分解。仅保留与最大奇异值相关的秩 -1 分量并将其加到基础模型参数上，而丢弃剩余的 non-Rank-1 分量。随后，模型从该“秩 -1 纯化”状态继续训练。
谱分析：作者对 RLVR 训练模型的权重差异矩阵（ $\Delta W$ ）执行 SVD，以分析线性层中奇异值（奇异谱）的分布。
LoRA 对齐分析：利用秩 $r=1$ 的 LoRA，作者比较了 LoRA 适配器与完整权重更新的真实秩 -1 子空间之间的几何对齐情况。他们使用 Frobenius 余弦相似度和主角度（左角和右角）来量化输入空间和输出空间中的对齐程度。
理论梯度分析：本文推导了 RL 目标（GRPO、DAPO、GSPO）的梯度结构，表明它们可以表述为秩 -1 矩阵的加权和，从而支持了秩 -1 主导的实证观察。

主要发现与结果

1. 隐式奖励过拟合

该研究揭示了一种反直觉的现象：隐式奖励过拟合。采用周期性秩 -1 替换训练的模型，尽管表现出显著更低的训练奖励，但其测试集性能与完全微调的模型（Full RL）相当。

观察：标准 RLVR 训练持续推动训练奖励上升，但这并未转化为更优越的泛化能力。
推论：非秩 -1 分量显著提升了训练奖励，但未能改善泛化能力。模型似乎是在过度优化其采样策略以拟合训练数据的奖励分布，而非学习稳健的推理逻辑。

2. 非秩 -1 分量的功能作用

虽然秩 -1 分量捕捉了推理能力，但非秩 -1 分量并非功能冗余。

通用能力的保持：通过秩 -1 提取移除非秩 -1 分量，会导致域外能力显著下降，包括指令遵循（IF-Eval）、世界知识（MMLU、MMLU-Pro）以及安全性（SafetyBench）。
灾难性遗忘：非秩 -1 分量对于维持模型的通用知识和安全对齐至关重要，防止了监督微调（SFT）中常见的灾难性遗忘。

3. 通用谱模式

RLVR 训练模型中参数更新的奇异谱遵循一致的模式：

主导尖峰：一个主导的第一个奇异值（ $\sigma_1$ ），对应于秩 -1 分量。
重尾分布：在初始尖峰之后，剩余的奇异值表现出均匀、准线性的衰减，形成重尾。
能量分布：尽管秩 -1 分量驱动推理，但非秩 -1 尾部包含了更新的大部分“能量”（Frobenius 范数），编码了安全性、鲁棒性以及细微的特征对齐。

4. LoRA 动力学中的几何不对称性

对 LoRA 训练动力学的分析揭示了输入子空间与输出子空间之间的几何不对称性：

输出空间对齐：秩 -1 分量的左奇异向量（输出空间）与 LoRA 适配器显示出强对齐。这与 RLVR 主要优化采样策略（输出表示）的发现一致。
输入空间未对齐：右奇异向量（输入空间）显示出较弱的对齐。输入更新涉及上下文特征的复杂重组，难以用简单的低秩矩阵捕捉。
理论基础：梯度分析表明，输出向量的更新方向由反向传播的误差决定（这与对齐良好），而输入向量的更新则由高度依赖上下文的激活值决定，使得对齐变得困难。

意义与贡献

本文声称提供了对 RLVR 更深层的机制理解，挑战了 RL 在传统意义上“学习”推理的假设。

重构 RLVR：研究结果表明，RLVR 更像是一种优化采样效率并激发潜在推理能力的机制，而非从根本上改变模型的底层推理逻辑。这解释了为何增加 pass@k 指标中的 $k$ 值有时会导致标准 RL 模型的表现不如基础模型。
能力解耦：该工作成功地将推理能力（秩 -1）与通用知识和安全性（非秩 -1）解耦，为“过拟合”奖励却未损害泛化能力（如果保留了秩 -1 分量）提供了理论依据。
谱洞察：识别出“主导尖峰 + 重尾”的谱模式为分析 RL 更新提供了新视角，表明 RL 诱导的是一种高度结构化的谱形状，而非严格的低秩更新。
实际启示：研究结果为改进 RL 范式提供了潜在见解，例如设计训练策略以减轻隐式奖励过拟合，同时保留对安全性和通用知识至关重要的非秩 -1 分量。

作者承认了局限性，指出其观察基于特定的模型规模和架构，需要进一步研究以确定这些发现在不同参数规模和模型家族中的普遍性。