🤖 machine learning

Reference-Based Distillation Detection in LLMs

本文介绍了一种基于参考的蒸馏检测方法，该方法利用成员推理和代理提示词推理，通过将学生模型的输出与早期的谱系检查点进行比较，即使在涉及隐藏流水线的复杂真实场景中，也能准确识别教师模型并检测大语言模型中的蒸馏现象。

原作者： Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢的学生，突然间在每一场考试中都表现得极其出色。你怀疑他不仅仅是靠自己努力学习；也许他是偷偷模仿了一位“超级教师”模型的答案。但问题在于，这个学生太擅长模仿老师的风格了，以至于如果你仅仅观察这个学生的期末考试，几乎不可能辨别出他到底是从哪位老师那里抄袭来的。这就像是在不知道某位名演员过往作品的情况下，仅凭观看他最新的电影来猜测他最崇拜的导演是谁一样。

这就是 Rajat Rawat 及其团队解决的问题。他们提出了一个疑问：我们能否通过检测，发现一个模型是否是被“蒸馏”（训练）自另一个模型的答案？

“前后对比”的小妙招

论文指出，试图仅凭学生模型本身来猜测老师是一个死胡同，因为这太难了。研究人员发现了一个聪明的变通方法：将学生与其自身的“婴儿时期”进行比较。

可以这样理解：想象你有一张青少年的照片（“学生”模型）和一张同一人在小时候的照片（“参考”模型，即该 AI 的早期版本）。如果这个青少年突然开始说话的方式和某位特定名人的风格完全一致，但那个孩子版本却不是这样，你就能发现端倪！

研究人员构建了一种方法，用于衡量“青少年”模型对特定名人的答案的偏好程度，与“儿童”模型对这些答案的偏好程度相比，变化有多大。如果青少年突然比儿童时期更热爱某个老师的风格，那就是铁证如山。这就像是注意到一个以前只会画火柴人的小孩，突然开始以梵高的风格进行绘画，而他年轻时的样子从未有过这种变化。

侦探工作

团队通过在实验室创建自己的“伪造”学生进行了测试。他们采用一个基础模型，喂给它特定老师（如 DeepSeek-R1、Llama 或 GPT-OSS）的答案，并观察他们的检测方法是否能识别出罪魁祸首。

结果： 在这些受控实验中，他们的方法极其准确，在许多情况下能够 100% 正确识别出老师。
限制： 这只有在拥有那张“儿童照片”（参考模型）进行对比时才有效。如果没有它，该方法就会失效。
“隐藏提示词”问题： 有时，老师会使用一些秘密指令（提示词），而侦探并不知道这些指令。研究人员发现，如果给侦探提供一些学生自身写作风格的示例来进行“热身”（即 few-shot 提示策略），即使存在这些隐藏指令，该方法仍然能够识别出老师。

一个秘密的“符号”签名

研究人员还发现了针对 o1 或 o3（OpenAI 的推理模型）训练模型的某种奇特的、特定的线索。这些模型喜欢在它们的思考痕迹中使用特殊的、非标准的字符（例如奇怪的符号）。

当一个学生模型是从这些模型蒸馏而来时，它会继承这种习惯的“幽魂”。研究人员发现，如果强迫学生模型使用纯文本（ASCII）而不是其自然的文本（Unicode）进行书写，被“蒸馏”的模型会感到困惑，并在纯文本环境下犯更多错误。这就像一个人学会了某种特定的口音；如果强迫他们在没有这种口音的情况下说话，他们就会踉跄跌倒。这种“Unicode 与 ASCII 之间的差距”是一个强烈的信号，表明该模型接受过 o1/o3 数据的训练，即便老师并不在怀疑名单中。

现实世界的模型如何？

团队不仅停留在实验室实验阶段。他们将侦探技能应用于真实的公开模型，如 QwQ-32B、DeepSeek-R1 和 GPT-OSS。

QwQ-32B： 他们的法测表明，该模型可能是在特定版本的 QwQ 发布后，利用 DeepSeek-R1 的输出进行训练的。其“青少年”版本比其“儿童”版本更热爱 DeepSeek 的答案。
DeepSeek-R1： 该方法表明，这个模型可能受到了 o1 或 QwQ-32B-Preview 的影响。此外，“Unicode 与 ASCII”测试显示出了巨大的差距，强烈暗示了 o1 风格的影响。
GPT-OSS： 这个案例很棘手。因为没有一个好的“儿童照片”（参考模型）来进行对比，结果显得模糊不清。该方法指向了 DeepSeek 和 QwQ，但作者警告说，由于所使用的参考模型（GPT-2 XL）过于陈旧且差异巨大，无法进行公平比较，因此结果是高度不确定的。

他们排除了什么

论文非常明确地指出了哪些方法是无效的：

仅观察学生本身： 如果没有参考模型，你无法可靠地仅凭最终模型来判断老师是谁。
简单的相似性检查： 仅仅统计匹配了多少单词或使用标准的“似然度”（likelihood）得分（即一个答案的概率）都失败了。这些方法会被误导并选错老师。
隐藏的推理痕迹： 如果老师隐藏了其“思考过程”并只展示最终答案，那么检测方法就会失效。这些“推理痕迹”对于侦探的工作至关重要。

他们的把握有多大？

作者对他们的实验室结果非常有信心：他们证明了在受控设置下，该方法具有近乎完美的准确性。对于现实世界的模型，他们暗示了存在蒸馏关系的有力证据，但他们也谨慎地表示，这些只是初步探索，而非最终的法庭判决。他们承认，现实世界的模型非常复杂，可能接受过多个老师的训练，或者经历了多个阶段的训练，而目前的方法尚未完全处理这些情况。

简而言之，这篇论文引入了一个强大的 AI 审计放大镜。它说：“不要只看学生；要看他们从婴儿时期以来发生了多大的变化，并将这种变化与你怀疑的老师进行对比。”在 AI 模型日益通过互相抄袭作业来构建的世界里，这是迈向透明化的一大步。

技术摘要：基于引用的 LLM 蒸馏检测

问题陈述
模型蒸馏——即利用更强大的教师模型生成的输出对学生模型进行训练——是一种用于迁移推理和指令遵循等能力的流行技术。然而，这种做法引发了关于不公平竞争优势、知识产权侵犯和违反政策的重大担忧。模型审计中的一个关键挑战是确定特定模型是否是从另一个模型蒸馏而来的。本文认为，由于现代大语言模型（LLM）中成员推理（membership inference）的难度以及蒸馏流水线（如未知的提示词、数据过滤）的隐蔽性，仅凭学生模型本身来识别教师模型（绝对检测）是非常困难的。

方法论
作者提出了一种基于引用的蒸馏检测框架。该方法并非尝试进行绝对意义上的蒸馏检测，而是基于相对方式运行：给定一个学生模型 $S$ 和来自同一谱系（例如基座模型或早期的指令微调版本）的早期生成参考检查点 $R$ ，系统旨在确定 $S$ 是否使用了候选教师 $T$ 的输出进行训练。

其核心机制是基于参考归一化的似然度（reference-normalized likelihoods）：

代理输入（Proxy Inputs）： 检测器构建一组代理输入 $\hat{X}$ （与原始训练数据不重叠），用于查询候选教师。
对齐评分（Alignment Scoring）： 对于每个候选教师 $T_k$ ，该方法计算一个对齐分数，衡量学生 $S$ 相较于参考模型 $R$ 在解释 $T_k$ 输出方面的改进程度。分数的定义为：
$f(T_k(x_i), S) = -(\ell_S(x_i, y^{(k)}_i) - \ell_R(x_i, y^{(k)}_i))$
其中 $\ell_M$ 是平均 Token 级负对数似然。
决策规则： 该方法通过选择具有最高平均对齐分数的候选者，或通过选择在样本中赢得最大比例秩匹配比较（rank-matched comparisons）的候选者来识别教师。
统计显著性： 为了将真实的蒸馏信号与噪声区分开，作者采用了统计检验（用于身份识别的精确二项检验；用于检测边际的单侧 t 检验或 Wilcoxon 符号秩检验），并要求在两个独立的提示词集上达成一致。
处理未知流水线： 为了应对隐藏的提示词或指令风格，该方法可以推断代理提示模板，或使用少样本（few-shot）上下文示例来使教师输出与学生的风格对齐。
字形级信号（Glyph-Level Signal）： 本文识别出一种针对从 OpenAI o1/o3 系列蒸馏而出的模型的特定信号：非 ASCII Unicode 字符的使用频率异常高。这可以通过 ASCII 与 Unicode 序列化之间的参考归一化损失差距来检测。

核心贡献

基于引用的公式化： 本文通过将学生模型与参考检查点而非依赖绝对似然度进行比较，引入了一种可行的蒸馏检测方法，作者指出绝对似然度是不可靠的。
对隐蔽性的鲁棒性： 该方法即使在蒸馏流水线（提示词、数据源）未知的情况下也能有效运行，利用了代理提示和少样本对齐策略。
字形级检测： 识别出针对 o1/o3 蒸馏的独特“字形级”信号（Unicode 使用情况），提供了一个互补的检测维度。
混合评估框架： 作者开发了一套严谨的评估策略，结合了受控蒸馏实验（具有已知地面真值）和现实世界模型分析，以解决现代模型谱系纠缠的问题。
统计框架： 引入了用于教师归属和二元蒸馏检测的显著性检验，以减轻假阳性问题。

结果
该方法在受控实验和现实世界模型中进行了评估：

受控实验： 在单教师、SFT 式蒸馏场景下，基于引用的方法在识别真实教师方面达到了近乎完美的准确率（聚合准确率 100%），显著优于原始似然度、ZLIB 归一化似然度和基于字符串的相似性指标等基准。该信号出现迅速，仅需数十个训练样本。
现实世界模型： 应用于 DeepSeek-R1 蒸馏模型和 s1.1-32B 等模型时，该方法在 7 个案例中成功识别出了 DeepSeek-R1 为其教师。
开放世界归属： 在真实教师可能不在候选池中的开放世界设置中，该方法成功对可能的教师进行了排序。例如，它将 DeepSeek-R1 识别为 QwQ-32B 最可能的教师，并通过 Unicode 信号暗示了 o1/o3 对 DeepSeek-R1 和 GPT-OSS 的潜在影响。
观察到的局限性： 该方法依赖于合适参考检查点的可用性（这对 GPT-OSS 而言较为困难）。此外，当推理轨迹被隐藏（例如仅有最终答案）时，准确率显著下降；且在推理型教师上校准的检测阈值无法很好地泛化到非推理型教师。

意义与主张
本文声称建立了现代 LLM 中模型级蒸馏审计的可行性。文章认为，虽然绝对检测很困难，但基于引用的设置允许以高置信度识别教师模型。作者将这项工作定位为实现日益隐蔽的模型开发流程透明化的“第一步”。他们明确指出，其发现为涉及 QwQ、DeepSeek-R1 和 GPT-OSS 的潜在蒸馏关系提供了经验证据，但由于存在简化假设（单教师、末期 SFT）以及现实世界模型谱系的复杂纠缠性质，提醒读者应将其视为初步探索。该研究旨在推动未来研究探索更复杂的机制，如多教师和多阶段蒸馏下的归属问题。