🤖 AI

Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation

本文认为，在在策略自我蒸馏（on-policy self-distillation）中，特权标记似然（privileged token likelihood）的变化并不自动构成有效的结局信度（outcome credit），通过形式化分析和实证实验证明，与仅基于结局的对照组相比，此类信号往往无法更好地追踪更优动作或强化预期行为。

原作者： Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人解决一个棘手的数学谜题。你向它展示题目，它开始一步步打出它的思考过程。在最后，你可以轻易地判断机器人的答案是否正确：要么是对的，要么是错的。但是，中间的步骤呢？机器人在第三步时是做出了精彩的举动，还是在第五步时踉跄了一下？在人工智能的世界里，这是一个巨大的谜团。我们知道最终结果，但我们不知道机器人写的哪些特定词汇（或“标记/tokens”）是英雄，哪些是反派。

为了解决这个问题，研究人员尝试了一种被称为“特权自我蒸馏”（privileged self-distillation）的聪明技巧。把它想象成一个学生在参加考试，然后立即得到了一份解释他们本该怎么做的参考页。学生随后查看自己的答案，阅读参考页，并试图弄清楚自己写的哪些词是好的，哪些是坏的。希望通过奖励“好”词并惩罚“坏”词，能让机器人学得更快。但问题在于，仅仅因为一个词在得知答案之后看起来很好，并不意味着它实际上对达成目标有所帮助。它可能只是一个在事后看来听起来很不错的词而已。

这篇来自 Salesforce AI Research 的论文就像是一群怀疑论色彩浓厚的侦探，出现在教室里，检查这种“参考页”方法究竟是真的有效，还是仅仅是一个愚弄老师的魔术。他们设计了一个严谨的实验，以观察这个机器人是在学习正确的教训，还是仅仅在记忆错误的教训。

“事后聪明”大劫案

研究人员决定使用一个拥有 200 亿参数的 AI 模型（一个非常聪明的机器人）和一组困难的数学问题（AIME 2025），来对“特权自我蒸馏”方法进行终极测试。他们的目标是回答三个决定这种教学方法究竟是有用还是浪费时间的问题。

问题 1：“好词”检测器真的能找到正确的词吗？
想象一个侦探试图寻找罪犯。如果侦探指着一名嫌疑人，那名嫌疑人是否真的有动机？研究人员检查了 AI 的“得分”（它给出一个词的分数来表示它有多好）是否真的与正确答案相匹配。他们发现，这个得分基本上是在瞎猜。当他们观察数千次数学尝试时，发现该得分在区分正确解法和错误解法方面，仅比抛硬币好那么一点点。事实上，在根据答案长度进行调整后，该得分对“错误答案”的偏爱甚至略高于“正确答案”！这就像一位老师在批改完试卷后，因为某个学生字迹漂亮就给了那个答错所有题的学生一颗金星。

问题 2：机器人写了自己的成绩单吗？
这是最狡猾的部分。在许多实验中，AI 生成一个答案，然后由同一个 AI（或其版本）对该答案进行评论。研究人员担心这会形成一个自我吹捧的循环。如果你自己写自己的成绩单，你可能会对自己太宽容了。为了解决这个问题，他们尝试了一种“交叉拟合”（cross-fitting）的方法：他们让 AI 为另一个 AI 对同一问题的答案撰写评论。这打破了循环。但即便有了这个修正，得分仍然无法可靠地预测哪些答案是正确的。反馈依然像之前一样混乱。事实证明，仅仅因为你能为一个解法编出一个漂亮的故事，并不代表这个解法本身就是好的。

问题 3：当机器人尝试从这些得分中学习时会发生什么？
最后，他们问道：即便得分很奇怪，但当机器人真正尝试利用它们来改进时，情况会如何？他们使用五种不同版本的“标记信用”（token credit）方法训练了机器人，并将它们与仅通过最终对错进行学习的机器人进行了对比。结果对于“标记信用”的支持者来说是巨大的失望。每一个尝试使用这些高级标记得分的机器人，表现最终都比那个只盯着简单的对错反馈的机器人要差。

简单的机器人大约能答对 64.2% 的题目。
使用标记得分的那些“高级”机器人，答对率仅在 24.2% 到 33.9% 之间。

这就像是那个试图分析自己每一步思考过程的机器人，反而搞混了并彻底忘记了如何解决问题，而那个只看最终结果的机器人却一直在进步。

结论

论文得出结论：一个“标记似然得分”（即一个因为有了参考页而显得更有可能的词）并不自动具有价值。仅仅因为一个词在看到答案后变得更具可能性，并不意味着这个词就是解法的关键。

研究人员发现：

得分并没有追踪成功；它们基本上是随机噪声。
反馈是来自同一个答案还是不同的答案，并不能神奇地解决问题。
使用这些得分进行训练实际上让模型变得更糟了，将其推离了正确答案。

简而言之，论文认为我们不能简单地假设“事后看来很好的东西”就是“实际上有帮助的东西”。在我们开始为 AI 模型写的每一个词给予荣誉之前，我们需要检查三件事：得分是否真的与结果匹配？反馈是否公平且独立？以及训练是否真的让模型变得更聪明？在这次特定的实验中，所有这三个问题的答案都是响亮的“不”。这种给予单个词信用的高级方法失败了，而那种传统的、只检查最终答案的方法才是明显的赢家。

技术摘要：特权似然并不自动等同于价值

问题陈述

在大型语言模型（LLMs）的在策略自我蒸馏（on-policy self-distillation）中，研究人员通常尝试通过使用仅在训练期间可用的“特权”信息（例如参考解、后验批判或环境反馈）来为 token 级别的信用分配进行重评分，从而实现 token 级的信用分配。其核心假设是：如果一个 token 在以特权信息为条件时变得更具可能性，那么它就代表了一个“正确”或“有帮助”的步骤。

然而，本文认为，token 似然度的变化（特权似然度）并不自动等同于结果信用（动作价值）。作者指出存在一个关键差距：一个 token 似然度得分可以在结构上是完备且活跃的，但实际上并不追踪任务成功，也不诱导有益的参数更新。本文旨在正式区分现有自我蒸馏方法中经常混淆的三个不同问题：

该得分是否追踪任务成功？
Rollout 是否在一致的评分规则下进行比较？
训练损失强化了什么样的行为？

方法论与框架

作者提出了一个形式化框架来分析特权自我蒸馏，将 token 似然度得分 与 动作价值 进行了区分。

形式化定义

特权似然度得分 ( $d$ )： 衡量当文本上下文从基准上下文 $c^-$ 变为特权上下文 $c^+$ （例如：评论）时，评分器对 token $v$ 的概率变化程度。
$d(s, v) = \log q(v | s, c^+) - \log q(v | s, c^-)$
动作价值 ( $Q^\pi_U$ )： 如果下一个 token 被设定为 $v$ 且在策略 $\pi$ 下继续生成，则预期的终端效用。

本文建立并证明了 $d$ 与 $Q^\pi_U$ 并非本质等价。要使 $d$ 代表 $Q^\pi_U$ ，必须满足特定的条件（例如正仿射等价性），而这些条件在自由形式的文本反馈中并不能得到保证。

三项检查

该方法论围绕三个具体的诊断性问题展开：

Q1：教师偏好是否追踪任务成功？
本文研究了被特权上下文所青睐的 token 是否确实会导致更好的最终结果。它区分了排名正确性与识别特定 token 动作的价值。作者证明，只有当条件变量是源自联合分布的相干结果条件时，似然比才代表原则性的信用，而自由形式的评论往往并非如此。
Q2：Rollout 是否在相同的评分规则下进行比较？
作者强调了一个“自我依赖”问题：如果一个 Rollout $Y$ 生成了其自身的反馈 $C(Y)$ ，并且 $Y$ 随后由 $C(Y)$ 进行评分，那么该得分既测量了方案质量，也测量了 $Y$ 与其自身描述的匹配程度。为了解决这个问题，他们引入了交叉拟合（cross-fitting），即使用来自同一问题的不同 Rollout（捐赠者）生成的反馈来为目标 Rollout 评分。这消除了直接的自我依赖，但并不保证得分是有用的。
Q3：训练损失强化了什么样的行为？
即使一个得分能够追踪成功，训练损失也会决定该得分如何更新模型。本文分析了不同的损失函数（例如 Forward KL、Reverse KL、有界奖励）如何将 token 得分转化为参数梯度。他们证明，标量不变性（如保持得分的符号或总权重）并不能保证产生有益的参数更新方向，尤其是在模型对某个 token 非常自信的情况下。

实验设置

模型： gpt-oss-20b（200 亿参数）。
数据集： AIME 2025（美国数学协会竞赛题目）。
反馈生成： 一个外部 LLM 裁判阅读题目、参考解、验证器结果和完整轨迹，以编写一个“有帮助的”解释（ $C^+$ ）和一个“看似合理但错误”的对应物（ $C^-$ ）。
评分： 一个冻结的或较早阶段的检查点模型根据这些反馈文本计算 token 似然度差异。
训练变体： 研究对比了一个仅基于结果的对照组（仅使用最终正确性标签）与五个结合了 token 得分的变体（包括带有熵权重的加法变体、源裁剪以及 KL 正则化变体）。

关键结果

实验提供了具体证据，表明特权似然度得分在上述设定中通常无法作为有用的结果信用。

Q1 结果（追踪成功）：
- 实现的加法 token 得分在区分正确与错误轨迹方面的表现接近随机水平。
- AUC（曲线下面积）： 0.505（95% 置信区间：[0.483, 0.524]），在统计学上与随机猜测（0.5）无异。
- 在根据响应长度进行调整后，该得分略微倾向于错误的轨迹（AUC = 0.474）。
- 单侧教师残差对于正确和错误的 Rollout 均为负值，表明教师对两者都进行了降分，只是对正确的降分程度较轻。
Q2 结果（反馈构建）：
- 通过交叉拟合（留出反馈）消除自我依赖并未提高得分追踪结果的能力。留出掩码反馈的 AUC 仍接近随机水平（原始 AUC 为 0.512，长度调整后为 0.485）。
- 源自“自身 Rollout”反馈的得分看起来更强（AUC ≈ 0.588），但已被证明具有自我依赖性，即测量的是方案与其自身评论之间的匹配度，而非客观效用。
Q3 结果（训练行为）：
- 性能退化： 所有五个包含 token 得分的训练变体在表现上都显著低于仅基于结果的对照组。
- 准确率差距： 仅基于结果的对照组实现了 64.2% 的准确率（avg@4）。而 token 得分变体的准确率在 24.2% 到 33.9% 之间波动，这意味着相比对照组下降了 30.4 到 40.0 个百分点。
- 机制： Token 得分变体向着更高的 token 熵和更高的相对于参考策略的 KL 散度方向移动，而仅基于结果的对照组在提高准确率的同时并未出现这些偏移。Token 得分似乎在强化高熵、无关的 token，而非正确的推理步骤。

核心贡献

形式化区分： 本文提供了一个形式化框架，将 token 似然度得分与动作价值区分开来，证明了似然度变化并不自动意味着结果信用。
三项检查框架： 它将特权自我蒸馏的评估组织为三个独立的检查（追踪成功、反馈构建和损失行为），并证明通过其中一项并不意味着通过其他各项。
理论证明：
- 证明了在固定目标下，Forward-KL 分解中的条件互信息项相对于学生模型是常数，因此它不是一个任务梯度。
- 证明了保持 token 得分的标量符号或总权重并不保证保留预期的参数梯度。
实证演示： 通过在 AIME 2025 上的匹配实验，本文展示了一个结构良好的特权似然信号可以是活跃的，但却能提供近乎零或负面的效用，导致其性能较仅基于结果的训练大幅下降。

意义与主张

本文声称，特权似然并不自动等于价值。作者强调，将似然信号视为信用时，需要进行严格的验证，包括：

得分是否真正与任务成功相关联。
反馈构建是否避免了自我依赖循环。
特定的训练损失是否强化了预期的行为。

作者谦虚地表示，这些结果并非证明所有自我蒸馏方法都失败了，而是指出使用特权似然作为直接信用信号的特定机制是脆弱的，且在未通过上述三项检查时往往是无效的。研究结果表明，成功的算法必须显式地验证似然信号与任务结果之间的对齐程度，而不是假设教师在后验视角下的偏好就是贡献的代理。

论文最后总结道，虽然这些形式化区分具有普遍适用性，但数值结果是针对 gpt-oss-20b 和 AIME 2025 设置的。然而，所识别出的失效模式（自我依赖、损失导致的梯度失配以及缺乏结果追踪）为未来的在策略自我蒸馏研究提供了关键的诊断依据。