🤖 machine learning

One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context

本文介绍了通过软提示特权上下文进行多任务在策略蒸馏的方法，该方法利用带有特定任务可学习软提示的冻结骨干模型作为教师，使单个学生模型能够高效地并行吸收来自多个任务的知识，而不会遭受灾难性遗忘或需要进行全权重微调。

原作者： Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一位才华横溢但有些笨拙的学生如何解决复杂的谜题。在人工智能的世界里，这个学生是一个“大语言模型”（LLM）——一个读遍了互联网上几乎所有内容的计算机程序，它能写故事、回答问题并解决数学问题。但有时，即使是这些超级聪明的模型也会陷入困境或犯下愚蠢的错误。为了修复这些问题，科学家们使用了一种叫做“蒸馏”（distillation）的技术。把这想象成一位主厨（老师）正在引导一位初级厨师（学生）完成一道菜谱。学生不仅仅是复制最终的菜肴；他们观察每一次切菜、搅拌和品尝，学习的是烹饪的过程，而不仅仅是结果。

长期以来，教导这些 AI 学生最好的方法是让老师写出完美的答案并展示给学生。但这种方法隐藏着一个陷za：老师有时会先猜出答案，然后再编造一个故事来证明这个答案是合理的，而不是真正通过一步步推理得出结论。学生也会学会这种坏习惯。另一种方法是改变老师的整个大脑（其内部权重）使其变得更聪明，但这往往会导致老师忘记做其他事情的能力，比如写诗或聊天，从而专注于新任务。科学家们一直问的一个大问题是：我们如何创造一个既足够聪明到能展示正确路径，又足够稳定而不至于忘记旧技能，或者不通过偷看答案来作弊的老师？

这篇论文介绍了一个聪明的全新解决方案，叫做 PROMPTSD（基于提示的在策略软蒸馏）。来自美国和新加坡的作者团队提出了一种构建老师的方法，这个老师与学生几乎完全相同，唯一的区别在于其指令前附带了一个微小的、隐形的“魔法笔记”。

以下是它的工作原理，使用一个简单的类比：想象学生和老师是拥有完全相同大脑和性格的双胞胎。通常，要教学生一项新技能，你可能会给老师一副全新的眼镜（改变其大脑）或者一份写有答案的备忘录（给它答案解析）。这两种方法都有问题：新眼镜会让老师看不清其他东西，而备忘录会让老师变得懒惰，只会为答案找理由，而不是去推导答案。

PROMPTSD 采取了不同的做法。它给了老师一个软提示（soft prompt）。把这想象成一张微小的、隐形的便利贴，上面写着：“记住，对于这个特定的数学问题，先考虑分数。”这个提示是由数字组成的，而不是文字，它也是学生与老师之间唯一的区别。老师的大脑保持冻结且完全不变。因为老师没有看答案解析，所以它必须通过思考来生成正确的路径。因为它的脑部没有被重写，所以它不会忘记做其他事情。

研究人员在 Qwen3-1.7B-Base 和另一个名为 Phi-4-mini-instruct 的模型上测试了这个想法。他们教这些模型四种不同的技能：科学、使用工具（如计算器或搜索引擎）、生物学和数学。他们发现，他们的“魔法笔记”老师非常有效。在单一任务中，学生学到的程度与经过全面重训练的水平相当，但学生学习的速度快得多，因为它只需要调整极小比例的参数（大约是总脑容量的 0.05%，而全面重训练需要 100%）。

更令人印象深刻的是，他们尝试同时教学生四种不同的技能。通常，当你试图同时学习太多东西时，你会忘记旧知识（这是一个被称为“灾难性遗忘”的问题）。但由于 PROMPTSD 老师只使用了这些微小的、针对特定任务的笔记，学生可以同时吸收来自四个不同老师的知识，而不会感到困惑或忘记其通用智能。事实上，在 Qwen3-1.7B-Base 模型上，这种多任务方法实现了 56.2 的平均分，击败了所有其他方法。

论文明确排除了几种常见的想法。它表明，仅仅给老师提供答案（比如“金标准答案”老师）实际上会对学生产生负面影响，因为老师只是在进行事后合理化，而不是在推导答案。它还指出，将老师做得更大（比如使用 4B 或 8B 参数的模型）并不总是有效；有时一个与学生规模相同但拥有正确“思考模式”的老师反而更好。此外，他们发现强化学习（一种通过试错来学习的方法）擅长磨练学生已有的技能，但不擅长从零开始教授全新的知识。

作者对这些结果非常有信心，因为他们多次运行了实验并仔细检查了数据。他们精确测量了学生的思考过程与老师的重叠程度，并发现他们的方法创造了完美的重叠量：足以学习，但又不至于让一切都失去了探索的意义。他们还证明了他们的方法避免了“SFT 陷阱”，即重训练模型会导致其失去通用能力。

最后，PROMPTSD 表明，教导 AI 的秘诀不在于把老师变得更大或直接给它答案。相反，在于给老师一个微小的、灵活的推动——一个软提示——在不改变其本质的情况下引导其思考。这使得单个学生可以同时向许多不同的老师学习，成为多种技能的大师，而不会丢失自己的身份。这有点像拥有一位私人导师，每逢不同学科，他都会在你耳边低声传达正确的策略，而无需重写你的大脑，也不必让你偷看考试答案。

技术摘要：PROMPTSD

问题陈述

在策略自我蒸馏（On-policy self-distillation, OPSD）旨在通过一个与学生模型共享骨干网络并监督其自身生成内容的教师模型，来教会大语言模型（LLMs）新的技能。然而，现有的教师构建方法存在显著的结构性局限：

基于观察的教师（例如，将金标准答案或演示作为输入上下文注入的教师）会导致事后合理化（post-hoc rationalization）。由于以金标准答案（ $y_{gold}$ ）为条件，教师是在为预定的结果进行辩解，而非推导推理轨迹，这种失效模式会在推理阶段（此时答案不可用）被学生继承。
权重修改型教师（例如，全参数微调 FFT 或 LoRA）会积累**分布漂移（distributional drift）**和“入侵维度”。虽然它们可以注入新知识，但会扰动模型的表示几何结构，导致在跨任务顺序应用时出现通用能力的灾难性遗忘。
RL 微调教师通常无法注入新能力，而是放大已有的潜在行为，且需要并非普遍可用的特定任务验证器。

核心挑战在于识别一种能同时满足三个设计准则（desiderata）的教师构建方式：(D1) 思维模式一致性（共享学生权重以确保学习信号可吸收），(D2) 能力差距吸收（编码新任务知识），以及 (D3) 无事后合理化（不以金标准答案为条件）。

方法论：PROMPTSD

作者提出了 PROMPTSD（基于提示的在策略蒸馏），这是一个通过**软提示微调（soft-prompt tuning）**而非权重修改或输入侧上下文注入来构建教师的框架。

1. 软提示教师构建

对于每个任务 $k$ ，一组可学习的连续嵌入 $P_k$ （即软提示）被附加到冻结的学生骨干网络 $\pi_\theta$ 的输入嵌入层。

训练： 通过在 $(x, y_{gold})$ 对上进行标准的监督微调（SFT）来优化提示 $P_k$ ，以最小化下一 token 的交叉熵。
结果： 这产生了一个特定任务的教师 $\pi_{\theta+P_k}$ ，它与学生共享所有的 Transformer 权重，仅在输入侧的调节条件上有所不同。该提示充当了观测的参数化形式，在不改变模型内部几何结构（ $\Delta W = 0$ ）的情况下编码了任务知识。

2. 在策略蒸馏

学生 $\pi_\theta$ 通过在策略反向 KL 散度最小化进行更新：

学生在给定提示 $x$ 的情况下生成生成序列 $Y_s$ 。
教师 $\pi_{\theta+P_k}$ （带有冻结的提示 $P_k$ ）在学生访问的相同状态上提供逐 token 的监督分布。
至关重要的是，教师在蒸馏过程中看不到金标准答案；它只看到软提示 $P_k$ 和输入 $x$ 。这消除了事后合理化。

3. 并行多任务扩展

PROMPTSD 通过将 $K$ 个任务的数据集合并为一个单一语料库来扩展到多任务设置。

路由： 合并后的语料库中的每个示例都保留一个任务标签 $k$ 。在训练期间，示例被路由到其对应的软提示教师 $\pi_{\theta+P_k}$ 。
并行性： 所有 $K$ 个软提示同时进行训练并可用。学生从所有教师中并行学习，避免了与持续学习相关的顺序遗忘问题。
推理： 所有软提示都被丢弃。部署的模型仅为基础骨干网络 $\pi_\theta$ ，不会产生额外的参数或延迟开销。

核心贡献

新颖的教师架构： 本文引入了第一个通过提示微调构建的在策略蒸馏教师。这种设计独特地满足了有效 OPD 的三个设计准则：它保持了思维模式一致性（共享权重），实现了能力吸收（可学习提示），并防止了事后合理化（无金标准答案在上下文中）。
并行多任务蒸馏： 该框架展示了如何将单个学生路由到多个特定任务的软提示教师，从而在实现卓越的多任务性能的同时，避免了灾难性遗忘。
原则的实证验证： 通过广泛的实验，作者确立了 OPD 的两个设计原则：
- 教师家族必须匹配任务类型（基于 SFT 的教师用于能力注入；基于 RL 的用于能力诱导/elicitation）。
- 教师规模不如其是否携带新知识重要。

实验结果

实验在 Qwen3-1.7B-Base 和 Phi-4-mini-instruct 上针对四个任务进行了测试：科学（Science）、工具使用（Tool Use）、生物（Biology）和数学（Math）。

单任务性能： 单任务变体（使用 PT 教师的 OPD）在训练参数量减少数个数量级的情况下，达到或超过了全参数微调（FFT）和 LoRA 基线。值得注意的是，在生物任务上，学生达到了 62.0% 的准确率，超过了其自身的教师（58.0%），并显著优于基于 LoRA 的学生。
多任务性能： 多任务 PROMPTSD 取得了最佳的整体平均准确率（Qwen3-1.7B-Base 为 56.2%），比最强的单任务基线高出 2.3 个百分点，比跨规模蒸馏基线高出 7.7 个百分点。
通用能力保持： 不同于会导致因灾难性遗忘而降低通用基准（MMLU-Pro, HellaSwag, TruthfulQA）性能的顺序 SFT，PROMPD 在提高特定任务准确率的同时，保留了通用能力。
消融研究：
- 提示长度： 较长的提示（如 $L=400$ ）通常能提高在数学和工具使用等复杂任务上的表现，但观察到了收益递减现象。
- 散度： 反向 KL（寻求众数的模式）被发现对数学推理更为优越，而其他散度在知识密集型任务上的表现相似。
- 教师贡献： “留一教师法”分析显示，对于数学任务，增益主要来自跨任务暴露（诱导）而非特定的数学教师，而对于科学和生物任务，专用教师是必不可少的（用于能力注入）。

重要性与主张

本文声称 PROMPTSD 解决了现有教师设计中固有的权衡。通过使用软提示作为“参数化特权上下文”，它允许学生吸收新的任务知识，而不产生由权重更新（FFT/LoRA）引起的偏离流形漂移，或由金标准答案条件化引起的推理捷径（基于观察的教师）。

作者将 PROMPTSD 定位为解决持续学习中“SFT 陷阱”的方案，证明了单个学生可以并行地从多个专门的教师中吸收知识，同时保留其通用能力。这项工作表明，对于能力注入类任务，经过提示微调的教师比全参数微调的教师是更有效的蒸馏来源，因为它避免了与修改基础模型权重相关的灾难性遗忘。

论文在研究范围方面保持谦逊，承认实验仅限于参数量最高 1.7B 的模型，且未涵盖开放式生成、多语言或智能体（agentic）场景。作者指出，三个设计准则的操作性定义是经过实证验证而非形式化证明的。