🤖 machine learning

Verifier-Induced Support Reshaping in On-Policy Optimization

本文揭示了带有可验证奖励（RLVR）的在策略强化学习可以在提高即时任务性能的同时，在无意中导致“验证器诱导的支持重塑”，即策略会收窄其输出分布，使得面向未来目标的成功轨迹变得过于稀少而无法被采样，从而损害长期可训练性和综合能力。

原作者： Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人如何成为一名得力的助手。你不仅希望它了解事实，还希望它能遵循规则、解决复杂的数学问题并编写代码。为了实现这一目标，科学家们使用了一种叫做“强化学习”的方法，这就像一场游戏：机器人尝试不同的答案，从一个“验证器”（一个严格的裁判）那里获得分数，并学习重复那些得分高的动作。人们最大的希望是，我们可以教机器人一项接一项的技能——先是数学，然后是写作，最后是编程——而不会让它忘记旧知识或产生混乱。这就是“持续学习”的梦想：构建一个能够一步步变得越来越全能的机器人。但如果教机器人完美掌握一项技能的行为，无意中锁上了学习下一项技能的大门呢？如果机器人学会了如此出色地遵循指令，以至于它忘记了如何进行逐步思考，或者反之亦然呢？

这篇论文研究了一个被称为“验证器诱导的支持集重塑”（verifier-induced support reshaping）的隐蔽问题。研究人员发现，当你使用一个严格的裁判来训练一个 AI 擅长某项特定任务时，AI 不仅仅是在该任务上变得更好，它实际上改变了自己的“性格”，使得日后学习其他任务变得困难得多。这就像如果你训练一只狗在你说“坐下”时只能坐下，在此过程中，你可能无意中教会了它“坐下”是唯一重要的词。随后，当你试图教它“待着不动”时，它可能会感到困惑，因为它的思维已经被重塑，以至于忽略了其他一切。论文表明，这不仅仅是关于机器人忘记旧技巧（一个被称为“灾难性遗忘”的已知问题）的问题；而是关于机器人让“正确”答案变得如此稀缺，以至于训练过程再也无法找到它们。即使机器人仍然具备解决某个数学问题的能力，它也可能不再尝试以正确的方式去解决，因为它已经习惯了另一种回答风格。

研究人员通过在两种截然不同的任务上训练两类 AI 模型来测试这一点：解决数学问题和遵循严格的写作指令（例如“恰好写 50 个字”或“使用项目符号”）。他们将一组模型训练成数学天才，另一组训练成指令遵循专家。然后，他们交换了裁判，以观察会发生什么。

以下是他们的发现：

数学到指令的陷阱
当他们先训练 AI 成为数学天才时，AI 在平均意义上确实变得更擅长遵循指令了。然而，发生了一件奇怪的事情：AI 变得非常“两极分化”。它要么完美地执行指令，要么完全失败，几乎没有“中间地带”的尝试。此前，AI 可能会尝试许多种不同的回答方式，其中一些接近正确。但在数学训练之后，它停止了尝试这些中间路径。这意味着，如果你尝试采样许多个答案（比如要求 AI 尝试 32 次），你很难找到任何一个成功的指令遵循答案。数学训练极大地缩小了 AI 的关注范围，使其停止了探索学习新指令遵循技巧所需的“支持集”（即尝试的多样性）。

指令到数学的陷阱
反向的过程更有趣。当他们先训练 AI 成为指令遵循者时，AI 开始改变它回答数学问题的方式。它不再展示其解题步骤（例如“首先，我把 2 加 2……”），而是开始直接跳到答案（“答案是 4”）。研究人员称这种转变是从“审慎推理启动”（Deliberate Reasoning Initiation, DRI）到“直接答案启动”（Direct Answer Initiation, DAI）的转变。
这种转变影响巨大。当 AI 开始跳过步骤时，即使 AI 仍然知道数学，寻找正确答案也会变得更加困难。事实上，AI 跳向直接答案的倾向越强，当他们尝试多次采样时，成功率就越低。寻找正确数学答案的“支持集”萎缩了。

“首个 Token”的秘密
研究人员深入挖掘，试图找出为什么会发生这种情况。他们发现，这种变化并不是关于 AI 在句子后半部分是否忘记了数学，而是发生在 AI 打出的第一个词上！
事实证明，数学的“裁判”（验证器）鼓励 AI 以“好的”、“让我们逐步推导”等词汇开头，而指令的“裁判”则鼓励以“答案是”、“这里是”等词汇开头。一旦 AI 学会了以“答案是”开头，它就会陷入一种路径，从而跳过推理步骤。研究人员通过强制 AI 即使在接受过指令遵循训练后也要使用“数学式”的开头词，证明了这一点。当他们这样做时，AI 寻找数学解的能力神奇地提高了。这表明 AI 并没有失去它的“数学大脑”，它只是卡在了一个糟糕的“开场白”习惯里。

我们能修复它吗？
团队尝试修复这个问题。他们尝试让 AI 始终以正确的词汇开头进行“预训练”（一种 DRI 先验），但这只是延迟了问题；最终，AI 仍然会转向直接回答的风格。他们还尝试了一种名为“策略内蒸馏”（on-policy distillation）的技术，即让一个学生 AI 尝试模仿老师 AI。但只有在非常仔细地挑选老师的情况下，这种方法才有效；如果老师已经学会了那种“坏习惯”，学生也会模仿它。

底线
论文总结道，仅仅让一个 AI 在某项任务上表现出色，并不保证它已经为学习下一项任务做好了准备。事实上，在一项领域的进步有时会使下一项任务的“搜索空间”变得如此狭窄，以至于 AI 根本找不到正确答案。数学或指令遵循能力的提升，并不总是能转化为既正确又符合规则的答案。这对 AI 开发人员提出了警告：仅仅因为一个模型在今天的测试中得分很高，并不意味着它没有为自己的未来学习锁上大门。为了保持 AI 的灵活性，我们需要确保它保留多种“开场白”的可能性，而不仅仅是那些目前得分最高的动作。

技术摘要：在线策略优化中的验证器诱导支持重塑

1. 问题陈述

本文探讨了**带有可验证奖励的持续在线策略强化学习（RLVR）**中的一个关键局限性。现有文献通常关注模型在适应新目标后是否保留了对先前任务的性能（灾难性遗忘），而这项工作识别了一个前瞻性的问题：验证器诱导的支持重塑（Verifier-Induced Support Reshaping）。

核心问题在于，针对特定验证器（例如数学正确性）优化策略会改变策略的采样分布，使得对于未来目标（例如指令遵循）的成功轨迹变得过于稀疏，以至于无法在固定的展开预算（rollout budget）内被采样到。即使底层能力并未被“遗忘”，策略也可能不再能频繁生成必要的“成功”行为，从而无法为后续阶段提供正向训练信号。作者将**有效可奖励支持（effective rewardable support）**定义为在指定预算下仍足够频繁地被采样到的成功轨迹集合。

2. 研究方法

本研究采用了一种受控的双向实验设计，使用了两个模型家族（Qwen3-8B-Base 和 Qwen2.5-Math-7B）以及两个截然不同的后训练目标：

数学推理（Math-RLVR）： 在 MATH 数据集上进行训练，使用验证器检查最终答案的正确性。
受限指令遵循（IF-RLVR）： 在 IFTrain/IFBench 上进行训练，使用验证器检查显式约束（格式、长度、内容）。

实验设计

双向训练： 作者训练一个分支进行 Math-RLVR 并在其上衡量对 IF 支持的影响，反之亦然。
顺序训练： 他们测试了操作顺序（Math $\to$ IF 和 IF $\to$ Math）以观察第一阶段如何约束第二阶段。
评估指标：
- Pass@1 (mean@k)： 平均成功率。
- Best@k： 在 $k$ 次采样中是否存在任何成功轨迹（衡量可搜索性）。
- 提示词桶分析（Prompt Bucket Analysis）： 根据 $k=32$ 次展开情况，将提示词分为“全错”、“混合”和“全对”类别。
- 联合基准测试： 使用 MathIF 和 ReasonIF 来测试单个响应是否同时满足正确性和约束条件。

机制分析

Token 级分布： 分析 Jensen-Shannon (JS) 散度以定位策略变化发生的位置。
因果干预： 在解码过程中强制执行特定的响应开头（例如，“Answer”对比“Alright”），以测试初始 Token 的选择是否会对下游的可搜索性产生因果影响。
缓解策略： 测试 参考策略约束（KL 散度）、路由先验（针对特定开头类型的 SFT）以及 在线策略蒸馏（OPD）。

3. 关键结果

3.1 不对称的支持重塑

Math-RLVR $\to$ IF： Math-RLVR 提高了平均指令遵循成功率（pass@1），但显著降低了 best@32。提示词从“混合”（既有成功也有失败）向“全对”或“全错”偏移。这种两极分化减少了可以通过采样恢复成功的提示词数量，有效地缩小了未来 IF 训练的有效支持。
IF-RLVR $\to$ Math： IF-RLVR 降低了数学可搜索性（在 $k=4$ 到 $k=32$ 的测试预算中 best@k 均下降）。至关重要的是，它将响应风格从深思熟虑的推理启动（DRI，逐步推理）转变为直接回答启动（DAI，直接给出答案）。这种转变与数学可搜索性的丧失强相关。

3.2 顺序训练的后果

IF 在前： 先进行 IF 训练会导致随后的 Math-RLVR 几乎没有“混合”提示词（仅剩全错或全对）。由于缺乏混合提示词，组相对更新（group-relative updates）缺乏奖励差异，导致模型无法恢复基于 DRI 的推理策略。
Math 在前： 先进行 Math 训练允许 IF-RLVR 提高 IF 分数，但代价是大幅下降了先前获得的数学性能。参考策略约束（KL）可以保留数学性能，但无法达到与无约束基线相比的 IF 增益。

3.3 机制：开头的因果作用

局部化： 最大的分布偏移发生在生成的第一个 token。第一个 token 与内部 token 之间的 JS 散度比例范围在 $9.8\times$ 到 $106.7\times$ 之间。
重排序 vs. 擦除： RLVR 主要是在基础策略的前 3 个候选词中进行重排序，而不是引入全新的 token。然而，它可以将低概率 token（如“Answer”）提升至主导地位。
因果性： 受控干预证实，在 IF-RLVR 模型上强制执行 DRI 开头（如“Alright”）可以恢复数学可搜索性，而强制执行 DAI 开头则会抑制它。这证明了开头选择因果性地决定了推理路径的可搜索性。

3.4 缓解策略的局限性

路由先验： 具有 DRI 偏向的 SFT 先验虽然延迟了向 DAI 的转变，但不能阻止它；到第 100 步时，无论先验如何，DAI 都会占据主导地位。
在线策略蒸馏 (OPD)： OPD 的结果对教师模型的状态高度敏感。收敛后的 IF 教师模型无法保留数学支持，且不存在单一的教师状态能同时优化 IF 迁移和数学保留。

3.5 联合能力

在 MathIF 和 ReasonIF 基准测试中，单领域（如 Math-RLVR 提高正确性）的边际收益并不会按比例转化为联合成功（正确性 + 约束遵循）。联合支持（ $J = C \land F$ ）仅略有增加，表明一个目标的终点改进并不保证联合训练能力或联合能力。

4. 贡献

支持重塑框架： 本文将持续 RLVR 框架化为关于未来可训练性的问题，定义了“有效可奖励支持”，并证明了验证器会重塑这种支持，可能使未来的目标变得不可达。
开头的因果作用： 本文将跨任务偏移定位到前几个 token，并建立了响应开头（DRI vs. DAI）与下游可搜索性之间的因果联系，表明问题在于路径选择而非广泛的能力擦除。
保留能力的局限性： 本文通过实证表明，标准的缓解技术（顺序训练、KL 约束、路由先验、OPD）只能部分保留支持或在目标任务增益之间进行权衡，且孤立指标的提升并不保证联合能力。

5. 重要性与主张

本文声称，在在线策略优化下，终点性能的提升并不保证未来的可训练性或联合能力。不同于衡量保留性能的灾难性遗忘，支持重塑衡量的是对于未来任务的成功轨迹是否仍然可被发现。

作者认为，RLVR 中验证器的选择从根本上改变了模型的“启动空间”。如果验证器将模型推向特定的开头（例如，直接回答），它可能会在无意中关闭其他任务（例如，逐步推理）所需的搜索空间。因此，本文建议，未来的在线策略优化策略必须明确估计并保留跨验证器优化过程中的有效可奖励支持，而不仅仅依赖于当前的单项任务得分或标准的遗忘指标。