💬 NLP

You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

本文介绍了 RELEX，这是一种计算高效的方法，它利用 RLVR 权重轨迹具有高度可预测性和低秩性的发现，通过线性回归外推未来的模型检查点，并通过过滤掉随机优化噪声，仅用少量步骤即可实现与完整训练相当甚至更优的性能。

原作者： Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《你只需极少的 RLVR 训练：通过秩 1 轨迹外推大语言模型》的解读。

核心难题：训练 AI 如同攀登高山

想象一下，你想教会一个大语言模型（AI）解决复杂的数学问题。目前，实现这一目标的最佳方法是称为RLVR（可验证奖励强化学习）的过程。

可以将 RLVR 想象成派遣 AI 进行一场漫长而昂贵的登山之旅，以抵达“数学天才”的巅峰。

成本：这次攀登需要耗费数天的高性能计算机时间（GPU 小时）。
过程：AI 需要迈出成千上万个小步，并在每一个检查点核对工作。
目标：你希望 AI 抵达顶峰（获得最佳性能），但这次攀登如此漫长且昂贵，以至于你希望能中途停下，直接“猜测”顶峰的位置。

发现：攀登路线意外地笔直

这篇论文的研究人员注意到 AI 学习方式的某种奇特之处。他们观察了这次攀登过程中留下的“足迹”（即 AI 大脑权重的变化）。

他们发现了两个惊人的事实：

路径是一条直线：尽管 AI 是在一个巨大且复杂的 3D 空间中移动，但其实际改进路径却异常简单。这就像穿过茂密的森林，却只沿着单一、笔直的方向前进。
速度是可预测的：AI 沿这条直线改进的速度几乎是完美的线性。如果你绘制其进步曲线，它看起来像是一把尺子画出的直线，而不是一条蜿蜒曲折、混乱的曲线。

类比：想象你正驾车穿过一座雾气弥漫的城市。通常，你预期道路会蜿蜒曲折。但研究人员发现，对于这种特定类型的 AI 训练，道路实际上是一条完美的笔直高速公路，而汽车正以恒定且可预测的速率加速。

解决方案：RELEX（“水晶球”方法）

基于这一发现，作者提出了一种名为RELEX（强化学习外推）的方法。

RELEX 不再让 AI 完成整个 500 步的攀登，而是说：“让我们只观察前 75 步（约占全程的 15%）。既然我们知道路径是直线且速度恒定，我们就可以通过数学精确预测汽车在第 500 步、1000 步甚至 2000 步时的位置。”

工作原理（“去噪”技巧）：
AI 的学习过程带有一些噪声，就像收音机里的静电干扰。

噪声：AI 大脑中大多数微小的随机抖动只是“静电”或错误，实际上无助于它变得更聪明。
信号：真正的“天才”隐藏在那条单一的直线中（称为秩 1 轨迹）。
魔法：RELEX 使用数学滤波器（SVD）忽略所有嘈杂的静电，只关注那条直线。它通过早期步骤画出一条直线，并将其向前延伸。

结果：更快、更便宜，且效果相当

研究人员在三个不同的 AI 模型（Qwen2.5-Math、Qwen3-4B 和 Qwen3-8B）上测试了这种方法。

主张：通过仅训练通常所需时间的 15% 到 20%，RELEX 可以预测出一个检查点，其表现与完全训练的模型一样好，甚至有时更好。
证明：他们在数学测试中测试了这些“预测”模型。预测模型得分与那些实际完成了整个昂贵攀登过程的模型几乎完全相同。
额外优势：由于该方法过滤掉了“噪声”，预测模型在泛化到新的、未见过的数学问题（域外基准测试）方面，有时甚至比完全训练的模型表现更好。

为何这很重要（根据论文观点）

无需新学习：RELEX 不需要训练一个新的 AI 来预测未来。它只是对已有的数据进行简单的数学计算（线性回归）。
它是“极简主义”的：论文证明，你不需要复杂、花哨的预测。一条简单的直线就足够了，因为 AI 的学习路径本质上就是如此简单。
谱去噪：该方法之所以如此有效，是因为它像降噪耳机一样运作。它剥离了通常扰乱预测的训练中随机、混乱的部分，只留下纯粹的改进信号。

总结

想象你在观看火箭发射。通常，你必须一直看到它进入太空，才能知道它是否成功。这篇论文说：“等等，火箭正以稳定的速度沿完美的直线飞行。如果我们只观察它的第一分钟，我们就能精确计算出它一小时后的位置，其成功程度将与我们等待全程一样。”

RELEX 就是那个计算器。它通过认识到 AI 训练尽管看起来混乱，实际上却遵循着一条非常简单、可预测的路径，从而节省了巨大的时间和金钱。

技术摘要：你仅需最小化 RLVR 训练：通过秩 1 轨迹外推大语言模型

问题陈述

可验证奖励强化学习（RLVR）已成为增强大语言模型（LLM）推理能力的主导范式，尤其在数学等领域。然而，标准的 RLVR 流程计算成本高昂，通常需要数天的 GPU 时间才能达到性能平台期。该过程涉及在数百个优化步中生成一系列检查点，其成本随步数线性增长。尽管先前的工作表明 RLVR 是放大了潜在行为而非教授全新能力，但这些参数轨迹的底层几何结构仍未得到充分探索。本文探讨的核心问题是：能否从训练动态的短前缀中预测未来的 RLVR 检查点，从而绕过对大量进一步训练的需求。

方法论：RELEX

作者提出了 RELEX（强化学习外推，REinforcement Learning EXtrapolation），这是一种无需训练的方法，利用 RLVR 权重更新的几何规律性来预测未来的检查点。该方法基于以下假设：RLVR 轨迹具有极低的秩且近乎线性。

RELEX 流程包含三个步骤，应用于前 $T_{cut}$ 个观测到的检查点（例如，前 15–20% 的训练步）：

秩 1 子空间估计：
对于每个权重张量 $W^{(\ell)}$ ，该方法计算相对于基础模型的参数增量 $\Delta \theta_t = \theta_t - \theta_0$ 。将这些增量展平并堆叠成轨迹矩阵 $M^{(\ell)}$ 。对 $M^{(\ell)}$ 执行奇异值分解（SVD），并提取主右奇异向量 $v_1^{(\ell)}$ 。该向量定义了观测窗口内参数变化的主导方向。
线性系数外推：
将观测到的增量投影到主奇异向量上，以获得标量系数轨迹 $c_t = \langle \text{flatten}(\Delta \theta_t), v_1 \rangle$ 。实证分析表明，这些系数随训练步数呈近乎线性的演变（ $R^2 > 0.98$ ）。利用观测到的前缀，对这些系数拟合简单的线性回归（$c(t) = at + b$）。
未来权重预测：
为了预测目标步 $T$ 处的检查点，该方法外推系数 $\hat{c}_T = aT + b$ ，并将权重张量重构为 $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$ 。对所有张量重复此过程，以组装完整的预测检查点 $\hat{\theta}_T$ 。

关键在于，RELEX 不需要学习到的预测器，不需要额外的 RLVR 训练，且仅涉及闭式运算（截断 SVD 和最小二乘拟合）。

主要贡献

低秩线性的实证发现： 作者证明 RLVR 权重更新轨迹具有极低的秩且可预测。具体而言，秩 1 SVD 近似捕捉了绝大多数与下游任务相关的参数变化，且相应的标量系数在多个模型系列（Qwen2.5-Math-1.5B、Qwen3-4B-Base、Qwen3-8B-Base）中随训练步数呈近乎线性的演变。
RELEX 框架： 提出了一种简单且计算高效的外推方法，仅利用早期训练前缀即可预测未来检查点。
谱去噪机制： 论文指出，秩 1 投影充当了“谱去噪器”。通过将更新投影到主导子空间，该方法丢弃了随机优化噪声（由更高秩分量捕获），否则这些噪声会在外推过程中降低性能。
极简充分性： 消融实验证实，增加子空间秩（例如至秩 5 或秩 10）或采用非线性建模（多项式、神经网络）并不能带来进一步收益，反而往往导致性能下降，从而验证了秩 1 线性方法的充分性。

实验结果

该方法在三个基于 Qwen 的模型上进行了评估，涵盖域内（MATH）和五个域外（OOD）基准测试（AIME 2025/2026、HMMT 2025、OlympiadBench、AMC 2023）。

性能与成本： 仅使用 15–20% 的完整 RLVR 训练成本（观测前 75–125 步），RELEX 生成的检查点性能即可匹配或超越完全训练的 RLVR 模型。
- Qwen2.5-Math-1.5B： RELEX 在 MATH 上达到 71.6%（完全 RLVR 为 71.5%），并在 5 个 OOD 基准中的 4 个上优于 RLVR。
- Qwen3-4B-Base： RELEX 在 MATH 上达到 85.6%（完全 RLVR 为 85.5%）。
- Qwen3-8B-Base： RELEX 在 MATH 上达到 87.4%（完全 RLVR 为 88.5%），与完整训练性能相差仅在 1.1% 以内。
长视界外推： RELEX 成功外推至远超观测窗口的范围。例如，仅观测前 50 步即可稳定预测至 1000 步（观测窗口的 20 倍），且性能持续提升。
与基线对比： RELEX 在所有方面均优于其他外推基线，包括权重外推（原始权重空间中的线性插值）、Logits 外推、ExPO 和 AlphaRL。对权重外推的优越性突显了 SVD 步骤在过滤噪声方面的重要性。

意义与主张

论文主张，尽管 RL 训练具有随机性和非凸性，但它却在低秩参数空间中开辟了令人惊讶的简单路径。这项工作的意义在于：

效率： 它提供了一种以一小部分计算成本实现近乎最优 RLVR 性能的方法，实际上在不重新训练的情况下“跳过”了大部分训练步骤。
理论洞察： 它提供了证据，表明 RLVR 学习的“信号”集中在单一主导方向上，而更高秩分量主要代表优化噪声。
泛化性： 该方法证明外推检查点能够捕捉可迁移的推理增益，正如在 OOD 基准测试上的强劲表现所证实的那样，这表明模型并非仅仅过拟合训练分布。

作者指出了局限性，承认当前研究仅限于 Qwen 模型在数学推理任务上的 GRPO。他们指出，最佳观测窗口（ $T_{cut}$ ）取决于模型，且为了更广泛地泛化到其他算法（如 PPO）或模型系列，可能需要自适应的秩选择。