💬 NLP

Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!

本文提出了一种基于注意力参数矩阵标准差分布特征的鲁棒大模型指纹识别方法，证明了即便经过持续训练，模型的内在参数分布特征仍能有效识别其来源，并以此揭露了部分模型通过“上采样”技术进行模型剽窃的行为。

原作者： Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

发布于 2026-04-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章的研究非常有意思，它像是一场针对人工智能（AI）界的“指纹鉴定”行动。为了让你轻松理解，我们可以把大语言模型（LLM）想象成**“顶级厨师做出的拿手菜”**。

1. 背景：AI 界的“抄袭”难题

想象一下，有一位名厨（比如阿里巴巴的 Qwen 模型）花费数年时间、耗费巨资，研发出了一道绝世美味的“秘制红烧肉”。

后来，另一家餐厅（比如华为的 Pangu 模型）突然宣布：“看！我们自己研发出了一道全新的顶级红烧肉！”

问题来了： 对方是真的从零开始研究配方、买肉、熬汤（从头开始训练模型），还是偷偷拿了名厨的肉，稍微加点调料，换个盘子，就说是自己的原创作品（这在 AI 界叫“模型上采样”或“持续训练”）？

以前的“防伪手段”（水印技术）就像是在菜里撒点特殊的香料，只要客人吃出来，就能证明是名厨做的。但这种方法很脆弱，对方只要再多煮一会儿，或者换种口味，那点香料的味道就消失了。

2. 核心发现：AI 的“基因指纹”

这篇论文的研究人员发现了一个极其聪明的办法：不要看菜的味道（输出的内容），要看厨师切肉的习惯和火候的分布规律（参数的统计特征）。

他们发现，即便一个厨师换了锅、换了调料、甚至把一道菜从“炖菜”改成了“干煸”（从稠密模型变成 MoE 混合专家模型），他切肉的厚薄分布、火候在不同阶段的细微变化，其实是刻在骨子里的习惯。

在 AI 模型里，这些“习惯”就是模型内部注意力机制参数的标准差分布。研究人员发现，这些分布规律就像人的指纹一样，极其稳定。即便你对模型进行了大规模的“二次加工”（持续训练），这些深层的统计特征依然会保留下来。

3. 抓个“现行”：实战案例

研究人员用这套“指纹鉴定法”做了一个实验，结果非常震撼：

他们对比了华为的 Pangu Pro MoE 模型和阿里巴巴的 Qwen-2.5 14B 模型。结果发现，这两者的“指纹”几乎一模一样！

比喻： 这就像是两个声称完全不同厨师做的红烧肉，结果通过显微镜观察发现，两者的肉块切片的厚度分布、油脂在肉里的纹理走向，竟然达到了 92.7% 的高度一致。
结论： 这种概率在统计学上几乎是不可能“巧合”发生的。这有力地证明了，Pangu 模型很可能不是从零开始练出来的，而是通过“拿来主义”（Upcycling），把 Qwen 的模型“改造”了一下。

4. 这项研究为什么重要？

这篇论文不仅仅是在“揭发”某家公司，它实际上为 AI 行业建立了一套**“版权保护工具箱”**：

防伪升级： 以前的防伪手段容易被“洗掉”，现在的“指纹法”很难被抹除。
维护公平： 它告诉大家，想通过“洗稿”或者“换汤不换药”的方式来冒充原创，在科学面前是行不通的。
保护创新： 只有让原创者能证明“这是我的东西”，大家才会有动力投入巨资去研发真正的原创技术。

总结一下

如果把 AI 模型比作人，这篇论文不是在听他说话（看输出内容），也不是在看他穿什么衣服（看模型架构），而是在查他的 DNA（看参数分布）。只要 DNA 对上了，无论你换多少层皮，真相终究会大白。

这是一篇关于大语言模型（LLM）版权保护与溯源技术的学术论文。以下是对该论文的详细技术总结：

1. 问题定义 (Problem)

随着大语言模型训练成本的激增，模型资产的保护变得至关重要。目前主要面临两个挑战：

版权与知识产权风险： 许多机构可能通过“二次开发”（如微调、持续训练或“上采样” Upcycling）来掩盖其模型并非从零开始训练的事实，从而侵犯原始模型的版权。
现有保护技术的脆弱性： 传统的**水印技术（Watermarking）通过修改输出概率分布来实现，但极易被持续训练（Continued Training）或后处理（如改写、翻译）所抹除。现有的指纹技术（Fingerprinting）**在面对模型架构改变（如从稠密模型转为混合专家模型 MoE）时往往会失效。

2. 技术方法 (Methodology)

论文提出了一种基于模型内在参数特征的鲁棒指纹识别方法，其核心思想是：模型在训练过程中形成的参数分布规律是其“基因”，即使经过后续训练也难以彻底改变。

具体步骤如下：

特征提取： 针对 Transformer 架构中的注意力机制（Attention Mechanism），提取每一层中的四个投影矩阵：查询矩阵 ( $Q$ )、键矩阵 ( $K$ )、值矩阵 ( $V$ ) 和输出矩阵 ( $O$ )。
统计量计算： 计算每个矩阵中所有参数的标准差 ( $\sigma$ )。由于向量参数（如 LayerNorm 或 Bias）极易被操纵，作者特意选择了更难被改变的注意力权重矩阵。
归一化处理： 为了消除模型规模（参数量）和缩放比例的影响，对每一层得到的标准差序列进行归一化处理（使其均值为 0，方差为 1）。
相似度度量（溯源检测）：
- 同规模模型： 直接计算两个模型归一化序列之间的 Pearson 相关系数 ( $\rho$ )。
- 异规模模型（层数不同）： 使用**线性插值（Linear Interpolation）**技术，将层数较少的模型序列拉伸至与较多层模型相同的长度，从而实现跨深度的对比。

3. 核心贡献 (Key Contributions)

提出了一种新型指纹算法： 利用注意力矩阵的标准差分布作为“内在指纹”，该方法对持续训练、微调、甚至从稠密模型到 MoE 架构的转换都具有极强的鲁棒性。
揭露了潜在的模型剽窃案例： 通过实证研究，指出了华为发布的 Pangu Pro MoE 模型极有可能通过“上采样（Upcycling）”技术衍生自阿里巴巴的 Qwen-2.5 14B 模型，而非宣称的从零开始训练。
验证了方法的有效性： 通过对 Llama 系列、Qwen 系列等多种已知血缘关系的模型进行测试，证明了该方法在检测模型演化路径上的高度准确性。

4. 实验结果 (Results)

极高的相关性： 在对比 Pangu Pro MoE 与 Qwen-2.5 14B 时，四个注意力矩阵的平均相关系数达到了惊人的 0.927。其中 $O$ 矩阵的相关性甚至高达 0.973。
区分度显著： 实验显示，不同家族的模型（如 Llama 与 Qwen）具有截然不同的分布模式。在十二个模型的综合对比矩阵中，绝大多数模型间的相关性处于 0.3-0.7 之间，而 Pangu 与 Qwen 的高度相关性是一个显著的离群值（Outlier）。
FFN 验证： 实验进一步扩展到前馈网络（FFN）参数，结果显示 Pangu 与 Qwen 在 FFN 投影上的分布也高度一致，进一步佐证了其血缘关系。
抗干扰能力： 即使 Pangu 声称经过了 13 万亿（13T）token 的大规模持续训练，其继承自原模型的统计特征依然清晰可见。

5. 研究意义 (Significance)

法律与合规意义： 为大模型领域的知识产权保护提供了强有力的技术手段，为判定模型是否属于“非法衍生”提供了科学证据。
行业透明度： 该研究提醒 AI 开发者，通过伪造技术报告来掩盖模型来源的行为在技术上是难以遁形的，有助于推动 AI 研发领域的诚信与透明度。
技术启发： 证明了模型的“统计指纹”是其架构和训练动态的自然产物，这种基于内在属性而非外加水印的保护机制代表了未来模型鉴权的一个重要方向。