🤖 machine learning

When Context Returns: Toward Robust Internalization in On-Policy Distillation

本文通过提出一种轻量级一致性正则化器，以确保在不同领域中实现鲁棒的内化与上下文可移除性，识别并解决了“上下文诱导退化”现象，即向蒸馏后的学生模型重新引入特权上下文会损害其性能的问题。

原作者： Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在训练一名学生成为一名名厨。

旧的方法（问题所在）：
通常，你会通过让学生观察你一边看一本特殊的“秘密食谱书”（即特权上下文/privileged context）一边烹饪来教导他们。这本书会准确地告诉你要如何处理棘手的食材，或者应该追求什么样的风味特征。学生观察、学习，并最终将这些菜肴背得滚瓜烂熟，以至于即使没有了书，他们也能完美地烹饪出来。

然而，这篇论文的研究人员发现了一个奇怪的故障。一旦学生记住了这些食谱，如果你在他们烹饪时再次把“秘密食谱书”递给他们，他们突然就会变得困惑。他们开始过度思考，犯下一些如果仅凭记忆烹饪时绝不会犯的错误，并且最后写出的食谱卡片也变得冗长且啰嗦。

研究人员将这种现象称为**“上下文诱导退化”（Context-Induced Degradation）**。这就像是一个学生已经把教科书背得如此透彻，但如果你在考试时允许他翻开书，他反而会陷入恐慌并忘掉一切，因为信息现在变得冗余且令人困惑。

新的解决方案 (NCA)：
作者提出了一个简单的修复方法，叫做无上下文锚定（No-Context Anchoring, NCA）。

可以这样理解：在训练期间，老师告诉学生：“先在没有书的情况下做这道菜。写下你做的每一个步骤。这就是你的锚点（Anchor）。”

然后，老师说：“现在，带着书做同样的菜。”但这里有一个规则：你带着书时的输出必须与没有书时的输出完全一致。

如果学生开始偏离或被书本搞糊涂了，老师会温柔地将他们拉回“锚点”（即无书版本）。老师本质上是在说：“这本书现在已经成为了你大脑的一部分；你不需要通过看它来知道该做什么。如果你看了书之后改变了主意，那你就做错了。”

尝试结果如何？
研究人员在 12 个不同的场景中测试了这种方法，范围从回答医学问题到玩文字冒险游戏。以下是他们的发现：

停止恐慌： 在几乎所有情况下，“恐慌”（退化）都停止了。当上下文（书）被重新引入时，模型并没有变差；它保持了稳定性。
更好的记忆力： 令研究人员惊讶的是，在训练期间强制模型忽略书本，实际上让它在没有书的情况下表现得更好了。看起来，通过阻止模型被书本分心，它更深刻地学习了核心任务。
更简洁的回答： 以前，当模型看到书时，它们往往会写出冗长啰嗦的答案。使用这种新方法后，它们不再扩充答案，而是直奔主题。
“大脑”检查： 研究人员观察了模型内部的“大脑”（其隐藏层）。他们发现，使用这种新方法后，无论书是否存在，大脑的内部状态几乎是完全相同的。信息已经真正被吸收到了模型的结构中，使得外部的书籍变得不再必要。

三类学生：
论文还注意到，当重新引入书本时，会出现三种反应类型：

A 型（困惑者）： 学生在没有书时表现出色，但书的存在让他们变差了。（这是最常见的问题，且新方法修复了它）。
B 型（学习者）： 学生仍然需要书才能做得好，这意味着他们还没有完全掌握这门课。
C 型（大师）： 学生已经足够优秀，以至于书的存在对他们而言无关紧要。

底线结论：
这篇论文表明，仅仅教模型去模仿一个使用“小抄”的老师是不够的。为了让模型真正强大，你必须教会它，那份“小抄”现在已经是它思维的一部分。如果以后重新引入小抄，模型的行为不应发生改变。这种新方法是一种轻量级、易于添加的规则，它确保了无论“小抄”是否在场，模型都能保持冷静和一致。

技术摘要：迈向鲁棒的在策略蒸馏内部化

1. 问题陈述

最近，在策略蒸馏（On-Policy Distillation, OPD）的进展使得学生模型能够将其参数内化特权上下文（如系统提示词、任务提示或游戏状态描述），从而使其在推理时无需该上下文也能表现良好。然而，本文识别出了一种此前未被研究的现象，称之为上下文诱导退化（context-induced degradation）。

与“内化知识应使上下文变得冗余（一个幂等操作）”的直觉相反，作者观察到，将特权上下文重新引入到经过蒸馏的学生模型中，往往会降低其性能并增加响应长度，甚至在那些模型在无上下文情况下能正确解决的实例上也表现如此。这是因为标准的 OPD 仅针对特权保真度（privileged fidelity）进行优化（即匹配教师在有上下文条件下的输出），但并未对学生模型在上下文存在时的行为施加任何约束。因此，学生模型未能实现上下文可移除性（context removability）：即无论是否提供特权上下文，模型的输出都能保持稳定的特性。

作者将蒸馏后的上下文交互分为三个阶段（Regimes）：

阶段 A (Regime A)： 学生模型在无上下文时表现良好，但重新引入上下文会导致准确率显著下降以及高“伤害率”（将正确的预测翻转为错误）。这是他们在实验中最常见的阶段。
阶段 B (Regime B)： 上下文仍作为一种有效的脚手架发挥作用，表明内部化尚不完全。
阶段 C (Regime C)： 学生模型已成功内化了上下文，且在有无上下文的情况下性能均保持稳定。

2. 方法论：无上下文锚定 (No-Context Anchoring, NCA)

为了解决上下文诱导退化问题，作者提出了无上下文锚定 (NCA)，这是一种轻量级的一致性正则化方法。其核心思想是强制要求学生模型的上下文条件输出 ( $q_c$ ) 与其无上下文输出 ( $q_x$ ) 保持一致，并将后者视为一个“锚点”。

目标函数

标准 OPD 最小化学生模型的无上下文输出与教师的有上下文条件分布之间的 KL 散度：
$\mathcal{L}_{OPD} = \mathbb{E}_{x \sim D} [\text{KL}(q_x \parallel f(y \mid x, c))]$

NCA 通过增加一个一致性项来增强该过程：
$\mathcal{L} = \mathcal{L}_{OPD} + \beta \cdot \mathcal{L}_{NCA}$
其中 $\mathcal{L}_{NCA}$ 定义为：
$\mathcal{L}_{NCA} \triangleq \text{KL}(\text{sg}[g_\theta(\cdot \mid x)] \parallel g_\theta(\cdot \mid x, c))$

关键设计选择

停止梯度锚定 (Stop-Gradient Anchoring)： 无上下文视图 $q_x$ 通过一个停止梯度算子 (sg)。这确保了 $q_x$ 仅从主要的 OPD 损失中接收梯度，而 $q_c$ 仅从 NCA 损失中接收梯度。这消除了两个目标函数之间的梯度竞争。
前向 KL 散度 (Forward KL Divergence)： 作者选择了 $\text{KL}(q_x \parallel q_c)$ （前向 KL）而非反向 KL。这一选择具有“模式覆盖（mode-covering）”特性，防止 $q_c$ 塌陷掉 $q_x$ 的某些模式。此外，期望值落在 $q_x$ 下，允许复用为 OPD 生成的在策略样本，而无需针对 $q_c$ 进行单独的采样。
计算效率： NCA 每个训练步仅需一次额外的正向传播（用于计算 $q_c$ ）。 $q_x$ 的 Logits 从计算图中分离，且在策略序列被复用，使得额外的计算开销微乎其微。

3. 实验设置

作者在涵盖以下内容的 12 种配置中评估了 NCA：

领域： 系统提示词问答（MedMCQA、安全性数据集）和文本游戏（Sokoban、FrozenLake）。
模型： 各种 Llama-3 和 Qwen 模型（参数量从 1.7B 到 8B 不等），包括自蒸馏和跨模型蒸馏场景。
指标： 有/无上下文下的准确率/胜率、伤害率（上下文将正确答案翻转为错误的概率）、两者皆正确/皆获胜率，以及相对响应长度的变化。

4. 关键结果

在 12 种设置中，NCA 展示了以下效果：

缓解上下文诱导退化： NCA 在 12 种设置中的 11 种里减少了上下文诱导的伤害。在阶段 A 的设置中（即退化严重的设置），NCA 显著降低了重新引入上下文时的准确率下降。
提高稳定性： NCA 一致地提高了“两者皆正确（BothCorrect）”或“两者皆获胜（BothWon）”的比例，表明模型在两种视图下都能保持正确的行为。
消除响应长度膨胀： 标准 OPD 通常会导致模型在重新引入上下文时生成显著更长的响应（长度增加高达 39.5%）。NCA 有效地消除了大多数设置中的这种膨胀，通常将长度变化降至接近于零。
提升无上下文性能： 在 12 种设置中的 7 种里，NCA 提升了主要训练目标（无上下文准确率）0.6 到 3.6 个百分点。作者将其归功于一致性约束起到了正则化作用，防止参数更新去适应不同视图间的冲突行为。
边界情况： 在一个阶段 B 的设置（FrozenLake，跨模型）中，NCA 略微增加了伤害率，这表明当上下文仍携带独特的、未被内化的信息时，强制实施严格的可移除性可能会以牺牲部分上下文条件下的性能为代价来换取稳定性。

5. 机理分析

论文通过对 Sokoban 任务的机理案例研究，解释了 NCA 是如何实现上下文可移除性的：

表示层级 (Representation Level)： 隐藏状态分析显示，虽然标准 OPD 降低了上下文视图与无上下文视图之间的差异，但在中间层和后期层仍存在明显的差距。然而，NCA 在所有层级上都保持了近乎完美的余弦相似度（ $\ge 0.997$ ），证实了上下文可移除性是在表示层级实现的。
梯度对齐 (Gradient Alignment)： 在标准 OPD 中，蒸馏目标与上下文条件视图的梯度几乎是正交的。NCA 引入了一个新的梯度方向，主动平衡了“利用上下文进行蒸馏”与“对上下文保持不变”这两股力量。
参数更新 (Parameter Updates)： OPD 和 NCA 都会将参数更新集中在浅层（特别是 $k\_proj$ 和 $q\_proj$ ）。然而，由 NCA 驱动的特定更新与 OPD 的更新截然不同，这表明上下文可移除性主要是通过修改 OPD 本身无法产生的浅层知识表示来实现的。

6. 重要性与主张

作者声称，他们的工作改变了特权上下文蒸馏的评估范式。他们认为，鲁棒的内部化不仅需要匹配教师的行为（特权保真度），还需要确保上下文可移除性。

创新性： 这是首个识别并解决“重新引入已内化的上下文会导致性能下降”这一现象的研究。
实用性： 所提出的方法 (NCA) 非常简单，仅需单次正向传播和一个标准的一致性正则化器，却能有效地解决退化问题，且不牺牲主要的蒸馏目标。
泛化性： 该方法在多种模型家族、任务以及蒸馏设置（自蒸馏与跨模型蒸馏）中均表现出了改进。

论文最后敦促业界，不仅要根据无上下文性能来评估蒸馏模型，还要评估其对重新引入上下文的鲁棒性，以确保内化的知识不会在上下文被意外或有意提供时成为负担。