🤖 machine learning

SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs

本文提出了SAGE框架，该框架通过引导函数重塑反向KL锚点分布，克服了大语言模型中标准RLVR的探索局限性，从而在数学推理任务上同时提升了pass@1和pass@k指标。

原作者： Chanuk Lee, Minki Kang, Sung Ju Hwang

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Chanuk Lee, Minki Kang, Sung Ju Hwang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《SAGE：塑造锚点以引导大语言模型在 RLVR 中的探索》的解释。

核心问题：“安全路径”陷阱

想象一下，你正在训练一个大语言模型（LLM）来解决高难度的数学问题。你使用了一种名为**可验证奖励强化学习（RLVR）**的方法。这就像学生参加一场模拟测试，只有答案完全正确时，他们才能获得一颗金星。

这篇论文指出了这类学生学习过程中一个令人沮丧的问题：

“安全路径”习惯：一旦学生找到了一种能获得金星的方法，他们往往就会固守这一种确切的方法，不再尝试新的解题思路。
结果：如果你让学生只尝试一次解题，他们通常能答对（pass@1 很高）。但如果你让他们尝试 256 次，看能否找到任何其他正确答案，他们却无法发现新的解决方案（pass@k 很低）。

论文将这种现象称为**“模式坍塌”**。模型陷入了死胡同，反复使用它已知的几种推理模式，而不是去发现解决新问题的巧妙方法。

为什么会发生这种情况？“锚定绳索”

为了防止学生完全跑偏（产生胡言乱语），研究人员用一种名为反向 KL 正则化的数学“ leash（牵引绳）”，将他们系在一个“参考模型”（一位聪明但基础的教师）身上。

类比：想象学生是一只狗，参考模型是地面上的一个柱子。牵引绳（反向 KL）防止狗跑得太远。
问题：这根绳子太紧了。它迫使狗必须紧贴着柱子。即使 10 英尺外的灌木丛里藏着一根美味的骨头（正确答案），狗也够不着，因为绳子每次都会把它拉回柱子旁。狗只能学会在柱子周围的狭小区域嗅探。

失败的尝试

研究人员尝试了两种显而易见的解决办法，但都失败了：

剪断绳子：如果你完全移除绳子，狗就会乱跑。它可能会找到骨头，但也会冲进车流（产生幻觉）并忘记如何守规矩。它会陷入“奖励黑客”行为（作弊通过测试）。
更换绳子类型：有些人尝试使用不同类型的绳子（前向 KL），让狗能跑得更远。但这往往导致狗 wander 到毫无骨头的无用田野里，徒耗精力。

解决方案：SAGE（塑造锚点以引导探索）

作者提出了一种名为SAGE的新方法。他们不是剪断绳子或更换绳子类型，而是重塑柱子周围的地面。

类比：想象柱子依然存在，但 SAGE 方法在灌木丛中放置了一个“磁铁”或“向导”。
工作原理：系统会观察学生的思考过程。如果学生犹豫不决或感到困惑（高“熵”或不确定性），SAGE 就会说：“嘿，这是一个分叉点！这里可能有一条新路径。”它会温和地将学生推向这些不确定、未探索的区域，同时不让他们完全脱离教师的掌控。

这就像一位教练站在灌木丛中，挥舞着旗帜喊道：“试试这条路！虽然看起来有风险，但可能会带你获得金星”，同时仍将学生系在主教师身上以确保安全。

具体做法（“引导函数”）

论文建议使用模型自身大脑发出的简单信号来决定在哪里进行引导：

惊讶：如果模型对即将说出的某个词感到惊讶，这可能意味着它正在探索新事物。
困惑/不确定性：如果模型不确定下一个词该选哪个（高熵），这就是一个“分叉点”，可能存在多种解决方案。

SAGE 利用这些信号创建一个引导函数。它实际上是在说：“当你处于一个充满不确定性的十字路口时，稍微更倾向于那条你尚未走过的路径。”

结果：单次尝试更优，多次尝试更佳

论文在 AIME 和 AMC 等高难度数学竞赛上测试了这种方法。

标准训练（死胡同）：模型在首次尝试解题时表现更好，但它停止寻找新的解题方法。
SAGE 训练：模型不仅在首次尝试解题时表现更好，而且在给予多次尝试机会时，在寻找多种不同正确答案方面也表现得更好。

核心要点：
SAGE 证明你不必在“稳定性”（坚守安全路径）和“探索性”（寻找新路径）之间做选择。通过智能地重塑锚点（牵引绳），你可以引导模型去探索那些新推理模式所在的“灌木丛”，同时防止它冲进车流。

一句话总结

SAGE 是一种新的训练技巧，它在保持 AI 模型安全稳定的同时，温和地鼓励它们探索未经尝试的、富有创造性的解题方法，防止它们陷入重复的循环。

技术摘要：SAGE——在大语言模型强化学习验证奖励（RLVR）中塑造引导探索的锚点

1. 问题陈述

近期，强化学习验证奖励（RLVR）的进展已展现出提升大语言模型（LLM）在推理任务中 pass@1 准确率的能力。然而，一个关键的局限性随之浮现：尽管 RLVR 通常能提升单样本的成功率，但它往往无法在 pass@k（在 $k$ 个样本中找到正确答案的概率）上产生可比的增益。

先前的分析表明，这种差异源于标准的 RLVR 会诱发模式坍塌（或称“支持收缩”）。策略并非发现新颖的推理策略，而是坍塌到基础参考模型中预先存在的、高密度推理模式的一个狭窄子集上。这种行为归因于标准**反向 Kullback-Leibler（反向 KL）**正则化项的结构约束。虽然反向 KL 通过将策略锚定在参考分布（ $\pi_{ref}$ ）上提供了必要的训练稳定性，但它本质上抑制了低密度轨迹，有效地阻止模型探索那些位于参考模型直接支持范围之外的、替代性的有效推理路径。

试图通过移除 KL 项或将其替换为前向 KL 来解决这一问题的方法已被证明并非最优。移除 KL 项往往导致奖励黑客行为和不稳定性，而前向 KL 虽然扩展了支持范围，却经常将概率质量分配给与奖励无关的区域，未能提升 pass@1。核心挑战在于：如何在保留反向 KL 稳定性的同时，实现受控的经验支持扩展。

2. 方法论：SAGE 框架

作者提出了SAGE（塑造引导探索的锚点），这是一个重新诠释反向 KL 正则化的框架。它不再被视为需要削弱的静态约束，而是一个动态锚点，其目标分布可以通过重塑来引导探索。

核心机制

标准反向 KL RLVR 优化目标为：
$J(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$
这导致一个稳态解，其中策略是参考分布的指数倾斜： $\pi_\theta \propto \pi_{ref} \exp(r/\beta)$ 。这种乘法更新放大了 $\pi_{ref}$ 的高密度区域，同时抑制了低密度区域。

SAGE 通过引入一个引导函数 $q(x, y) > 0$ 来重塑锚点分布本身，从而修改了上述过程。新的目标函数变为：
$J'(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta \tilde{D}_{KL}(\pi_\theta \parallel q \cdot \pi_{ref})]$
此处， $\tilde{D}_{KL}$ 是为未归一化函数定义的伪 KL 散度。其稳态解变为：
$\pi_\theta(y | x) \propto q(x, y) \pi_{ref}(y | x) \exp\left(\frac{1}{\beta} r(x, y)\right)$
通过设计 $q(x, y)$ ，使其对未充分探索但潜在有效的推理模式取较大值，SAGE 在保持锚点 $\pi_{ref}$ 所提供的稳定性的同时，放大了这些模式的概率质量。

通过内在信号实例化

为了使 $q(x, y)$ 具有实用性，且无需在构建引导时依赖显式的奖励信息，作者提出使用源自推理过程本身的内在信号：

随机探索：一种使用随机扰动的基线方法。
Token 级探索：利用惊讶度（surprisal， $-\log p$ ）来偏向罕见的词汇选择。作者指出，这捕捉到了表面层面的偏差，但可能无法反映结构性的推理差异。
分支级探索（SAGE-Branch）：主要提出的变体。它使用熵（ $H_t$ ）作为推理分支的信号。引导函数定义为：
$q_{Branch}(y_t | x, y_{<t}) = 1 + \gamma (H_t - \tau)_+$
其中 $H_t$ 是 Token 级熵， $\tau$ 是激活阈值， $\gamma$ 控制幅度。这种方法选择性地放大高不确定性决策点（分支节点）的探索，同时抑制确定性符号步骤中的噪声。

理论保证

论文提供了理论分析（定理 4.3），证明与受限于参考模型经验支持的标准 RLVR 不同，SAGE 在理论上可以扩展经验支持。具体而言，如果引导函数 $q$ 对于当前处于参考策略经验支持之外的奖励有效解 $y^*$ 足够大，SAGE 可以赋予其不可忽略的概率，从而有效地恢复“隐藏”的推理模式。

3. 主要贡献

RLVR 局限性的分析：作者指出，反向 KL 锚点虽然起到了稳定作用，但却是 RLVR 中模式坍塌的主要结构性原因。他们认为，简单地移除或替换 KL 项是不够的，因为这会破坏效率与覆盖率之间的权衡。
SAGE 框架：他们提出了一种原则性的方法，通过引导函数 $q(x, y)$ 重塑 KL 锚点分布，从而实现可控的经验支持扩展，而非移除锚点。
内在信号集成：他们展示了如何利用轻量级的内在信号（特别是熵和惊讶度）来构建有效的引导函数，这些函数不需要额外的前向传播或外部数据。
实证验证：广泛的实验表明，SAGE 变体，特别是分支级探索，在多种数学推理基准测试中一致地提升了 pass@1 和 pass@k。

4. 实验结果

作者使用 Qwen2.5-Math-7B-Base 模型和 GRPO 算法，在 AIME 2024-2025、AMC23 和 MATH-500 数据集上评估了 SAGE。

性能提升：GRPO + Branch 变体取得了最强的平均性能，将 pass@1 从 0.266（原生 GRPO）提升至 0.284，将 pass@256 从 0.714 提升至 0.729。它在所有三个数据集上均优于基线。
与替代方案的比较：
- 无 KL 的 GRPO：显示出更高的训练奖励，但测试时性能（pass@1 和 pass@256）显著更差，证实了在没有 KL 锚点的情况下存在奖励黑客的风险。
- 前向 KL：略微提升了 pass@256，但未能达到 SAGE 的 pass@1 增益，表明它将质量分配给了非目标区域。
- 其他 RL 算法：SAGE 成功集成到了 BNPO 和 DAPO 中，一致地解决了这些方法通常以牺牲 pass@k 为代价来提升 pass@1 的权衡问题。
推理模式分析：定性分析显示，虽然标准 RLVR 强化了“约束设置”等主导模式，但 SAGE 显著增加了反证法（proof by contradiction）的频率（从 GRPO 的 0.8% 增加到 GRPO+Branch 的 3.3%），这是一种罕见但有效的推理模式。
鲁棒性：在分布外评估（Knights and Knaves 基准测试）中，SAGE 训练的模型在分布偏移下保持了性能，而标准 GRPO 模型则表现出显著的性能下降，表明 SAGE 缓解了模式坍塌。
泛化性：该方法在长推理模型（DeepSeek-R1-Distill-Qwen-7B）和较小模型（Qwen2.5-1.5B/3B）上也同样有效，证明了其在不同模型规模和推理范式下的鲁棒性。

5. 意义与主张

论文声称，SAGE 提供了一种实用且原则性的方法，以缓解反向 KL RLVR 中的模式锐化问题。通过将 KL 正则化视为一种可控制的工具而非僵化的约束，SAGE 使大语言模型能够发现并利用那些有效但在基础模型中代表性不足的多样化推理轨迹。

作者强调，SAGE 是模块化的，并且与现有技术（如优势塑形或动态采样）是正交的，因为它修改的是锚点分布本身，而非优化结构。他们将 SAGE 定位为一种通用的框架，用于实现稳定的、与 KL 兼容的经验支持扩展。

局限性与范围：
作者谦逊地承认，SAGE 在固定参考策略的支持范围内运作。它在参考策略 $\pi_{ref}$ 下已具有非零概率的轨迹之间重新分配概率质量；它无法生成基础模型根本无法产生的全新推理模式。他们指出，虽然从更强的教师模型进行蒸馏可以扩展推理边界，但 SAGE 通过在该边界内实现稳定的探索来对此进行补充。当前的实例化依赖于轻量级的内在信号，作者建议从更强的模型中学习更具表达力的引导函数是未来工作的一个有前景的方向。