🤖 AI

Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation

本文在策略蒸馏中识别出“岩石令牌”这一持续存在的高损失令牌子集，它们消耗大量优化资源却对推理性能贡献微乎其微，表明战略性地绕过它们可以简化模型对齐过程。

原作者： Yuxuan Jiang, Runchao Li, Shubhashis Roy Dipta, Dawei Li, Zhao Yang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxuan Jiang, Runchao Li, Shubhashis Roy Dipta, Dawei Li, Zhao Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位才华横溢但略显笨拙的学徒（学生模型）通过模仿一位大师级建筑师（教师模型）来撰写完美的数学证明。

在人工智能领域，这一过程被称为在线策略蒸馏。学徒撰写证明，教师进行纠正，然后学徒再次尝试。通常，我们假设学徒犯下的每一个错误都是一堂宝贵的课程。如果教师说“你这里错了”，学徒就会从中学习。

本文介绍了一个令人惊讶的发现：并非所有错误都是课程。 事实上，许多最频繁的“错误”实际上只是绊脚石，它们浪费时间和能量，而极少数的错误才是支撑整个结构的真正基石。

以下是他们研究发现的分解，使用了简单的类比：

1. “岩石令牌”：顽固的鹅卵石

研究人员注意到，即使学徒已经练习了很长时间并似乎掌握了材料，仍有一些特定的单词和符号不断被教师“纠正”。他们将这些称为岩石令牌。

它们是什么？ 它们不是复杂的数学公式或深层逻辑。它们是“枯燥”的内容：空格、换行符、括号、标点符号，以及像“所以”、“等等”或“让我们”这样的常见过渡词。
问题所在： 这些令牌频繁出现（约占文本的 18%）。每当学徒使用它们的方式与教师略有不同时，计算机就会计算出“高损失”（即大误差）。
悖论： 尽管计算机不断对这些令牌大喊“错误！”，但学徒实际上从未学会修正它们。在整个训练过程中，它们顽固地保持错误状态。这就像一个学生每次做作业都写错日期，无论老师圈出多少次，学生总是以同样的方式继续犯错。

2. 两大惊人发现

研究人员深入挖掘，发现了关于这些“岩石令牌”的两个惊人真相：

惊喜 A：梯度悖论（噪声与信号）
通常，我们认为大误差意味着巨大的学习机会。但对于岩石令牌而言，事实恰恰相反。

隐喻： 想象教师正在试图操纵一艘船。岩石令牌就像一股巨大且持续不断的波浪拍打着船身。它猛烈地推动船只（产生高“梯度”），但由于波浪如此恒定且可预测，船舵只是忽略它。船只继续朝同一方向漂移。
现实： 这些令牌在训练数据中产生了大量“噪声”。它们占据了计算机大量的处理能力试图修正它们，但实际上并没有帮助模型在推理方面变得更聪明。它们只是学徒过于顽固而无法打破的结构习惯。

惊喜 B：“支柱”与“绊脚石”
研究人员问道：“如果我们移除这些顽固的令牌，模型会崩溃吗？”

隐喻： 想象一座建筑。大多数砖块只是填充物。但有几块特定的砖块是支柱——如果你把它们拿走，屋顶就会倒塌。其余的只是绊脚石——如果你移除它们，建筑物依然稳固，甚至可能更好，因为它更轻了。
现实： 他们在测试阶段通过“剔除”这些令牌进行了测试。
- 结果： 96% 到 98% 的这些顽固令牌是中性的。移除它们丝毫没有损害模型的数学能力。
- 例外情况： 只有一小部分（约 1.5% 到 3.5%）是真正的支柱。这些是像“特定”、“战略”或“初始化”这样的特定词汇，它们对逻辑实际上至关重要。
- 关键发现： 不存在任何“绊脚石”。移除顽固令牌从未使模型表现变差。它们只是死重。

3. 解决方案：“跳过”按钮

由于大多数这些“岩石令牌”只是在浪费时间，研究人员尝试了一种新策略：冻结梯度。

类比： 教师不再强迫学徒每次都重新学习如何写日期或使用逗号，而是说：“好吧，我们同意你按自己的方式写日期。让我们停止浪费时间去纠正那个，专注于实际的数学。”
结果： 当他们停止尝试纠正这些顽固令牌时：
- 模型的数学性能保持完全不变。
- 训练过程变得快了 1.4 到 1.7 倍。

核心结论

本文认为，在我们目前训练 AI 模型的方式中，我们执着地试图修正学生与教师之间每一个微小的不匹配。

然而，这是低效的。我们花费了 18% 的精力试图对齐文本中“枯燥”的结构部分（空格、标点符号、常见词汇），模型根本拒绝改变这些部分，而且为了变得聪明，实际上也不需要改变它们。

要点：
为了使 AI 训练更快、更高效，我们不应再将每一个“错误”视为关键课程。我们应该识别这些岩石令牌（顽固的、高频的结构错误）并跳过它们。通过忽略“绊脚石”并只关注罕见的“基石”（实际逻辑），我们可以更快地构建更智能的模型，而不会损失任何推理能力。

技术摘要：基石还是绊脚石？解读策略内蒸馏中的“岩石令牌”

1. 问题陈述

策略内蒸馏（On-Policy Distillation, OPD）已成为大语言模型（LLM）后训练流程的基石，它通过利用从学生模型自身策略采样的轨迹，将学生模型与更优越的教师模型对齐，从而实现令牌级别的推理优化。尽管近期关于可验证奖励强化学习（RLVR）的研究发现，一小部分关键令牌（例如高熵的“分叉令牌”）不成比例地推动了推理能力的提升，但针对 OPD 的同类令牌级理解仍未被探索。

在 OPD 中，目标是最小化学生模型与教师模型策略之间的每令牌反向 KL 散度。直观上，随着训练收敛，高损失令牌（表明学生与教师不匹配）应当减少。然而，实证观察揭示了一个悖论：即使训练达到明显的饱和状态，仍有一大 subset 的令牌持续表现出高损失。本研究旨在探讨这些持续高损失的令牌是策略对齐不可或缺的“基石”（Pillars），还是仅仅造成不必要优化冗余的“绊脚石”。

2. 方法论

2.1 岩石令牌的定义与检测

作者将**岩石令牌（Rock Tokens）**定义为表现出持续高损失行为的令牌类型，这种行为在相似上下文中是稳定的，而非长轨迹中的孤立尖峰。检测过程包含三个阶段：

累积负担计算：为每个令牌类型 $v$ 计算“岩石得分” $R(v)$ ，定义为其平均令牌级损失（ $\bar{\ell}_v$ ）与学生生成轨迹中频率（$Freq(v)$）的乘积。
持续性过滤：识别在 OPD 训练前后均保持高损失的实例。
上下文一致性过滤：确保高损失实例在相似的局部上下文中重复出现（使用上下文窗口相似度指标）。这将真正的结构性不匹配与孤立的位置噪声区分开来。

最终指标是上下文感知的岩石得分 $R_{ctx}(v)$ ，它结合了累积负担与上下文一致性。选择截断值 $K=100$ 以平衡选择稳定性（可复现性）与损失覆盖率（捕获约 60% 的语料库级 KL 散度）。

2.2 梯度几何与持续性分析

为了解决岩石令牌是否提供有用的学习信号，作者分析了每令牌梯度的几何特性：

幅度与频率：比较岩石令牌的每次出现梯度幅度与罕见高 KL 令牌的梯度幅度。
对齐：测量岩石令牌梯度与频率平衡的全局下降方向（ $G_{balanced}$ ）之间的余弦对齐度。
停滞：追踪早期和晚期训练检查点之间每令牌 KL 散度的变化，以确定损失是否实际减少。

2.3 因果干预：敲除实验

为了确定这些令牌的功能必要性，作者采用推理时的敲除程序。他们通过在每个解码步骤强制候选令牌 $v$ 的 logit 为 $-\infty$ ，构建策略 $\pi_{\theta}^{\setminus v}$ 。因果影响被衡量为基准准确度的变化（ $\Delta_B(v)$ ）。令牌被分类为：

强基石：移除会显著降低准确度。
强绊脚石：移除会提高准确度。
中性：移除影响可忽略不计。

2.4 选择性蒸馏（冻结梯度）

为了评估岩石令牌对训练过程的影响，作者引入了一种窗口感知令牌重加权机制。在 OPD 训练期间，他们冻结岩石令牌及其关联的局部高散度窗口的梯度（设置权重 $\lambda=0$ ）。这种“仅不训练”（Just Not Train）策略使他们能够隔离这些令牌是必要的功能锚点还是无益的优化负担。

3. 主要发现

3.1 身份与普遍性

构成：岩石令牌主要是句法和结构支架，包括 LaTeX/数学分隔符、Markdown/空白结构、话语标记（例如"So"、"Wait"）以及数字。它们标记推理的边界，而非承载内容的词汇。
普遍性：尽管仅占词汇量的约 6%，岩石令牌在生成输出中占据了约18% 的总令牌频率。

3.2 梯度悖论

对齐：与它们是噪声的假设相反，岩石令牌表现出与全局优化目标非平凡的正面方向对齐。它们提供了指向正确优化路径的梯度。
停滞：尽管存在这种对齐，岩石令牌在整个训练过程中保持停滞。它们的 KL 散度没有显著减少（中位数 $\Delta KL \approx 0$ ），而罕见的高 KL 令牌则显示出显著减少。
原因：作者假设自适应优化器（如 Adam）由于重尾类别不平衡，抑制了这些普遍存在的令牌的有效学习率，导致学生模型被困在既有的结构习惯中，尽管存在正确的方向信号。

3.3 因果必要性（基石与绊脚石）

基石的稀缺性：只有极小一部分（1.5%–3.5%）的岩石令牌充当“强基石”，其移除会损害推理性能。
绊脚石的缺失：未发现“强绊脚石”；移除岩石令牌从未提高性能。
正交性：令牌的因果重要性（基石属性）与熵、频率或残差 KL 等标准指标正交。现有的重要性分类法无法预测哪些令牌在因果上是必要的。
缓冲带：学生模型似乎维持了一个持续残差的“缓冲带”，以保护少数关键的语义锚点，而不是依赖整个高损失集合。

3.4 训练效率

选择性冻结：通过在训练期间冻结岩石令牌（及其局部窗口）的梯度，作者实现了1.4 倍至 1.7 倍的训练挂钟时间加速。
性能影响：这种加速导致下游推理性能（在 AIME、HMMT 和 MATH 基准上测量）的损失可忽略不计。这表明花费在岩石令牌上的大量优化带宽是冗余的。

4. 意义与主张

该论文挑战了传统智慧，即对齐每一个高损失令牌对于策略内蒸馏中的学习都是不可或缺的。作者主张：

识别隐藏动态：他们识别出“岩石令牌”作为一种持续高损失现象，揭示了 OPD 优化动态的一个隐藏方面，这与 RLVR 中观察到的“分叉令牌”不同。
当前流程的低效性：OPD 中的大量训练信号对模型最终推理性能的贡献显著低于预期。
效率 - 性能前沿：这项工作表明，策略性地绕过这些“绊脚石”（通过梯度冻结）可以显著简化对齐过程。这为大规模模型蒸馏提供了一种更高效的范式，同时不损害推理完整性。

论文结论指出，虽然岩石令牌并非完全可丢弃（因为一小部分充当必要的基石），但非均匀的梯度分配可以有效地绕过计算冗余，优化策略内对齐的效率 - 性能前沿。

5. 局限性

作者指出，他们的实证评估主要依赖于竞争性数学推理，岩石令牌的作用在开放式生成或编码任务中可能有所不同。此外，该研究利用了一个特定的 30B 到 4B 的蒸馏配对，使得跨不同架构家族或规模的泛化性成为一个开放问题。最后，缓解策略采用了严格的二元梯度冻结掩码，作者建议未来的工作可以通过动态重加权方案对其进行改进。