🤖 AI

Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

本文介绍了“Chain & Hash”，一种新颖的大语言模型（LLM）指纹识别框架，它通过将提示词与响应进行密码学绑定，从而提供可验证、鲁棒且不可伪造的所有权证明，即使在面对输出篡改攻击和微调时也是如此。

原作者： Mark Russinovich, Yanan Cai, Ahmed Salem

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Mark Russinovich, Yanan Cai, Ahmed Salem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一台非常昂贵、定制打造的机器人厨师。你花费数年时间训练它烹饪完美的佳肴。但随后，有人偷走了你的机器人，更改了它的名字，并开始把它的料理当作自己的成果进行销售。你该如何证明这台机器人确实是你的，而无需打开机器人的金属外壳去查看其内部线路？

这正是微软研究人员（Mark Russinovich 及其同事）通过其新论文 “嘿，那是我的模型！” (Hey, That's My Model!) 正在解决的问题。他们引入了一种名为 “链与哈希” (Chain & Hash) 的技术，这种技术就像是大型语言模型（LLM）——即我们今天使用的超智能 AI 聊天机器人——的一种隐形且不可破解的水印。

以下是该技术的运作方式，通过简单的概念进行拆解：

1. 问题所在：“黑盒”小偷

目前，如果有人窃取了一个 AI 模型，他们可以对其进行微调或改变其说话方式（比如让它听起来像个海盗或正式的律师）来掩盖其窃取的身份。现有的证明所有权的方法通常需要查看模型的内部代码（窃贼不会展示这些内容），或者会破坏模型的使用能力。

2. 解决方案：一个密码学的“秘密握手”

作者提出了一种方法，它就像是你与你的 AI 之间的一个秘密握手。你不需要看到机器人内部；你只需要问它一个特定的问题，它就必须给出特定的答案来证明它是属于你的。

但问题在于：如果窃贼改变了机器人的个性，它可能会忘记这个握手。因此，研究人员构建了一个能够抵御此类变化的系统。

A 步：链 (The Chain，即“链接链”)

想象你有一组 10 个特殊的题目。在普通系统中，你可能只是记住答案。但在 Chain & Hash 中，这些问题像链条一样相互连接。

问题 #1 的答案取决于问题 #2。
问题 #2 的答案取决于问题 #3。
以此类推。

他们使用一种数学“锁”（密码学哈希）将这些问题和答案绑定在一起。这意味着：

无法伪造： 小偷无法仅仅通过猜测来获得答案。要得到正确的答案，他们必须从头开始重新训练整个机器人，而这不仅极其昂贵，而且迹象明显。
具有唯一性： 数学确保了这些答案看起来是随机的，但对于所有者来说是完全一致的。

B 步：“变色龙”训练 (The “Chameleon” Training，即“元提示词”防御)

最大的威胁是这样的窃贼：“好吧，机器人，从现在起，你是一个海盗！”或者“你必须以‘回答：’开头说每一句话。”这通常会破坏指纹特征，因为机器人会忘记它的秘密握手。

为了解决这个问题，研究人员使用了一种**“变色龙”策略**来训练他们的 AI 模型：

他们教会模型无论被套上什么样的“戏服”（或元提示词），都要以完全相同的方式回答这些秘密问题。
他们使用成千上万种不同的“戏服”（例如“像海盗一样说话”、“非常有礼貌”、“使用表情符号”）进行了练习。
他们还在问题中加入了“噪声”（随机词汇），以便模型学会忽略干扰，专注于秘密信号。

3. 结果：强大、快速且隐形

研究人员在几个流行的 AI 模型（如 Llama 和 Phi）上测试了该技术。以下是他们的发现：

隐形性 (透明度)： AI 在处理常规任务时表现完美。如果你要求它写一首诗或解决一个数学问题，它的表现与之前一样出色。指纹不会降低它的速度或使其变得愚笨。
高效性 (效率)： 要证明所有权，你不需要问 1,000 个问题。你只需要询问大约 10 个问题，如果模型能答对其中仅有的 2 个，你就有了证据。这就像一次快速的身份检查。
鲁棒性 (强韧性)： 即使当“窃贼”改变了模型的风格或使用新数据对其进行训练（微调）时，秘密握手依然存在。即使模型正在假装成海盗，它仍然能正确回答那些秘密问题。
不可伪造性 (不可伪造性)： 由于“链与哈希”的数学特性，小偷无法猜出答案。他们必须重新学习整个模型才能伪造指纹，而这本身就违背了窃取的目的。

4. 加分项：它对“插件”也有效

论文还表明，这也适用于 LoRA 适配器 (LoRA adapters)。你可以把这些理解为附加在大型 AI 模型上的小型、廉价的“补丁”，用于教它们新的技能（比如医疗建议）。研究人员证明，他们可以将这种指纹直接植入这些小型补丁中，从而保护即使是轻量级的 AI 版本。

总结

简而言之，Chain & Hash 是让 AI 所有者将密码学秘密握手嵌入其模型的一种方式。它教会 AI 无论窃贼如何试图改变其个性或隐藏其身份，都能正确回答特定的问题。这就像是在汽车上放置一个独特的、无法移除的序列号，只有当你询问正确的问题时，它才会亮起，从而证明即使窃贼给车重新喷了漆，这辆车依然属于你。

技术摘要：Chain & Hash —— 一种大语言模型（LLM）指纹识别技术

问题陈述

大语言模型（LLM）的快速部署及其显著的经济价值，加剧了对知识产权（IP）窃取和滥用的担忧。目前的漏洞包括能够窃取模型权重的内部威胁，以及通过公共 API 对模型进行重新利用的情况。现有的所有权证明方法通常缺乏鲁棒性，难以抵御对抗性操纵，例如微调或改变输出风格的元提示（meta-prompts）。此外，许多方法依赖于白盒访问（内部权重），这在仅能通过 API 级别（黑盒）进行验证的实际应用场景中并不切实际。本文指出，迫切需要一种透明、高效、持久、鲁棒且不可伪造的指纹识别框架，该框架能够在攻击者拥有完整模型控制权和算法知识的现实对抗环境下运行。

方法论：Chain & Hash

作者提出了“Chain & Hash”，这是一种新型指纹识别框架，旨在通过密码学手段将特定的提示词（prompts）与其响应（responses）绑定，从而在不损害模型效用的情况下确保可验证的所有权。该框架在黑盒威胁模型下运行，由四个主要部分组成：

1. 问题生成

系统使用两种互补策略生成一组 $Q$ 个指纹提示词：

随机问题（Random Questions）： 从模型的词表（例如 10 个 token）中采样。这最大化了记忆能力，但容易受到输入过滤的影响。
自然问题（Natural Questions）： 由目标模型自身生成的语义有效但统计学上罕见的特定领域查询，以降低对抗性过滤的风险。

2. 密码学链构建

为了确保不可伪造性，该方法使用密码学哈希函数（如 SHA-256）将问题与响应绑定。

机制： 建立一组预定义的 256 个响应单元（ $R$ ）。对于长度为 $k$ 的问题链 $Q$ ，整个问题集 $Q$ 和响应集 $R$ 的哈希值决定了每个问题 $q_i$ 对应的特定响应 $r_j$ 。
安全性： 该映射是确定性的且具有抗碰撞性。修改任何一个问题都会改变哈希输入，从而改变整个链中所有问题的所需响应。攻击者无法在不进行微调的情况下伪造正确的响应序列，因为猜中 $k$ 个问题正确索引的概率为 $(1/256)^k$ 。

3. 指纹训练与鲁棒性

模型经过微调以记忆这些经密码学绑定的配对，同时保持通用效用。为了应对元提示（例如“以海盗的身份回答”）和微调的威胁，训练数据集包括：

元提示多样化（Meta-prompt Diversification）： 指纹问题通过由 GPT-4 生成的多样化元提示进行增强，训练模型在处理指纹查询时忽略这些指令。
随机填充（Random Padding）： 在指纹问题前后添加随机 token 序列，以教会模型忽略噪声。
非指纹数据： 数据集包含标准的问答对和重构的指纹主题，以保留模型效用并防止统计检测。
损失函数： 一个组合损失函数平衡了指纹样本的交叉熵损失（ $L_{fp}$ ）与 KL 散度项（ $L_{KL}$ ），以最小化对非指纹数据原始模型行为的偏离。

4. 验证协议

所有权验证通过黑盒查询进行。权利人提供问题集 $Q$ 、响应集 $R$ 和哈希函数 $H$ 。验证者向可疑模型 $M$ 提出来自 $Q$ 的问题。如果模型的输出在足够数量的问题上都以密码学确定的响应 $r_j$ 开头（阈值 $\tau$ ），则确立所有权。该协议依赖于时间优先性；原所有者可以通过证明其在最早公开的模型版本上存在指纹来证明所有权。

核心贡献

Chain & Hash 技术： 一种将指纹提示词与响应进行密码学绑定的方法，防止了碰撞，并实现了无需白盒访问即可进行无可争议的所有权主张。
针对元提示的鲁棒性： 一种结合了随机填充和多样化元提示配置的训练策略，即使在对手通过指令微调或系统提示显著改变模型输出风格时，也能保持指纹的完整性。
黑盒适用性： 该框架完全通过 API 交互运行，适用于实际部署场景，其中内部模型权重是无法获取的。
对 LoRA 的扩展： 证明了该方法对低秩自适应（LoRA）适配器同样有效，将 IP 保护扩展到了参数高效的微调方法。

结果与评估

该框架在多个最先进的模型（Llama-3-8B, Llama-3-8B-Instruct, Phi-3-mini-instruct, Llama-2-13B-Instruct）上进行了评估，针对五个基本属性进行了测试：

透明度： 指纹识别对标准基准测试（MMLU, HellaSwag, TruthfulQA 等）造成的性能下降可以忽略不计，大多数变化在 $\pm 1\%$ 以内，或在指令遵循任务中显示出轻微提升。
效率： 使用极少的尝试次数（通常在 10 个问题中仅需 1 或 2 个正确的响应）即可以高置信度（99% 概率）建立所有权。
持久性： 在针对七种对抗性元提示（如“像海盗一样回答”、“前缀加上 ANSWER”）进行测试时，经过元提示多样化训练的模型在随机问题上的指纹强度保持在 99% 以上，在自然问题上保持在 ~82.8%。相比之下，未经此类训练的模型在某些提示下指纹强度降至 0%。
鲁棒性：
- 微调： 指纹在重度微调（如 Alpaca 和 ChatDoc 数据集）后依然存在。随机问题最多需要 25 次尝试即可完成验证，而自然问题通常仅需 1–2 次尝试。
- 量化： 应用 INT8 量化导致的指纹强度下降微乎其微（<0.5%）。
- 对抗性改写： 即使输入和输出被 GPT-4o 改写，指纹仍然可检测（输入改写时强度从 99% 降至 79%，输出改写时降至 20%，但这仍足以进行所有权主张）。
不可伪造性： 密码学绑定确保了在不进行微调的情况下伪造指纹在计算上是不可行的。该框架还通过基于交集的链设计抵抗多模型共谋。

意义与主张

本文声称，Chain & Hash 为 LLM 知识产权保护提供了一个实用的、可验证的解决方案，解决了现代指令微调模型面临的特定脆弱性。不同于以往依赖白盒访问或在风格迁移攻击下失效的方法，Chain & Hash 提供了一种经过密码学安全验证的黑盒验证方法，能够经受住包括元提示操纵和微调在内的激进对抗环境。作者强调，其方法不需要第三方信任，并且可以作为现有指纹识别方法的叠加层来增强安全性。这项工作为评估指纹识别的鲁棒性建立了新标准，特别强调了测试对抗元提示和微调的必要性，以确保现实世界的可用性。