🤖 machine learning

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

本文介绍了 RAFP，这是一个通过利用在微调和量化等各种下游适配中仍能保持稳定的稀有区域指纹，从而稳健地识别大语言模型（LLM）所有权的非侵入式框架，其在黑盒设置下的表现优于现有方法。

原作者： Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你烤出了一份秘密的、世界闻名的饼干配方。你担心有人会偷走你的面团，稍微改动一下糖霜，然后将其作为自己的产品来销售。你该如何证明那是“你的”饼干，而又不向他们展示那本配方书呢？

这就是大型语言模型（LLM）面临的问题。这些超级聪明的 AI 大脑可以写故事、写代码和讲笑话。公司投入数百万美元来训练它们，但一旦发布，很难判断一个略有不同的新版本是否其实是偷来的副本。

于是有了 RAFP（稀有区域指纹，Rare-Region Fingerprints），这是由哥伦比亚大学和 Meta 的研究人员提出的一种新方法。把 RAFP 想象成一种在 AI 大脑中留下的隐形且不可擦除的“饼干屑”，只有原作者才知道如何找到它。

核心秘诀：为什么“古怪”的问题有效

大多数人试图通过训练 AI 完美回答特定问题来保护 AI。但研究人员发现这种逻辑存在缺陷：如果你训练 AI 回答一个问题，然后有人对这个 AI 进行了微调（这被称为“微调”/finetuning），AI 可能会忘记那个特定的答案，因为新的训练过程覆盖了旧的训练。

RAFP 团队发现了一个反直觉的事实：AI 模型其实并不擅长回答古怪、罕见的问题。

想象一下，一个 AI 几乎读遍了图书馆里的每一本书。它完全知道如何回答“法国的首都是哪里？”（这是一个常见的、高密度的常见问题）。但如果你问它一个虚构的词或一个荒诞、无意义的句子（一个“稀有区域”），AI 就会不知所措。它对这些奇怪的事情没有强烈的观点，因为它很少见到这些东西。

这里的魔力在于：正因为 AI 不太在意这些古怪的问题，所以改变 AI 的训练数据并不会改变它对这些问题的回答。

当有人试图通过使用新数据来“窃取”模型时，他们关注的是常见的内容（比如修正语法或学习新事实）。他们会忽略那些古怪、罕见的问题，因为这些问题不会出现在他们的新训练数据中。因此，AI 对古怪问题的回答会保持不变，就像湍急河流中一块顽固的岩石。

指纹是如何制造的

研究人员不需要破解 AI 的代码或修改其权重（这就像是在饼干烘焙时试图重写配方）。相反，他们使用了一种巧妙的搜索方法：

寻找“怪异性”： 他们使用计算机程序来搜寻那些在自然情况下极不可能出现的句子。这就像是在寻找一段听起来像是机器人在尝试说一种它并不了解的语言。
锁定答案： 他们询问 AI 在面对这个奇怪句子时会做出什么反应。
承诺（记录）： 在模型发布之前，所有者会将这个奇怪的句子和对应的答案记录下来，并存入数字保险箱（加密哈希值）。

随后，如果他们怀疑某个模型是被窃取的，他们会向可疑的模型询问那个奇怪的问题。如果该模型给出了完全相同的奇怪回答，那就是匹配成功！如果该模型给出了不同的回答（或者是一个正常的回答），那么它很可能是一个完全不同的模型。

它真的有效吗？

研究人员在四个不同的 AI 模型家族上测试了这种方法（包括 Llama 2、Llama 3 和 Mistral）。他们不仅测试了原始模型，还尝试通过以下方式破坏指纹：

重训练： 教会模型新的知识（监督式微调）。
改变“个性”： 调整模型的说话方式（系统提示词变更）。
压缩： 使模型变得更小、更快（量化）。
改变“温度”： 让模型变得更随机或更严肃。

结果如下：

有效性： 在对原始模型的测试中，RAFP 100% 正确识别了模型。
鲁棒性： 即使在模型被大幅度修改后，RARF 仍能 93% 至 100% 地识别模型。
对比： 其他方法，例如通过改变 AI 内部设置来进行“水印”标记，失败率要高得多。有些方法在模型经过修改后，成功率甚至降到了仅 23%。而 RAFP 依然保持强劲。

论文还表明，即使可疑模型试图过滤掉古怪问题，该方法依然有效。通过让“稀有”问题变得稍微不那么古怪（但仍然足够稀有），指纹能够通过一种“困惑度过滤器”（perplexity filter），而其他类型的隐藏代码会被该过滤器拦截。

它“不是”什么

论文谨慎地指出，这并不意味着什么。

它不是抵御所有可能攻击的万能护盾。如果有人从头开始完全重写 AI，或者使用极其昂贵的方法专门针对这些稀有问题进行攻击，指纹可能会消失。
它不需要所有者拥有对被盗模型内部代码的访问权限。它可以在“黑盒”环境下工作，这意味着你只能像普通用户一样通过聊天窗口与模型交流。
它不会改变模型的性能。AI 依然能写出好的故事并回答正常问题；指纹只是由于模型处理奇怪事物时产生的一个隐藏副作用。

总结

RAFP 表明，证明一个 AI 是属于你的最佳方式，并不是强迫它记住你的秘密，而是去寻找它大脑中那些无人问津、被遗忘的角落。因为在正常的更新过程中，这些角落会被忽略，所以留在那里的“签名”会保持不变，充当模型持久且隐形的身份证。

研究人员基于他们在多个模型和修改实验中的结果，对这些发现充满信心，但也指出随着 AI 的进化，新的、更强的攻击手段可能会出现。不过目前来看，这种“稀有区域”的小技巧似乎是一种非常稳固的抓捕模型窃贼的方法。

技术摘要：RAFP —— 通过稀有区域指纹识别 LLM 血统

1. 问题陈述

大型语言模型（LLM）的快速商业化加剧了对保护模型知识产权（IP）和验证所有权机制的需求。一个关键的漏洞是模型窃取，即攻击者获取专有模型并在违反许可协议的情况下进行重复使用，特别是在受限许可或本地部署的情境下。

现有的检测方法面临显著的局性限制：

脆弱性： 传统的基于相似性的技术和许多指纹识别方法在面对常见的下游修改（如监督微调 SFT、低秩自适应 LoRA、量化和剪枝）时会失效。
侵入性： 一些方法需要修改训练过程中的模型权重（例如通过标记偏置或后门植入进行水印处理），这可能会降低模型性能或需要白盒访问权限。
黑盒不可及性： 在许多现实场景中，用户只能通过 API 访问可疑模型，无法直接检查权重。当前的方法在无法直接获取参数的情况下，往往难以识别血统。

核心挑战在于开发一种非侵入式、黑盒且鲁棒的方法，用以识别在经过标准保值型适配后依然存在的 LLM 血统。

2. 方法论：RAFP

作者提出了 RAFP（Robust Adversarial Rare-region FingerPrints，鲁棒对抗性稀有区域指纹），该框架通过学习源自预训练分布中稀有区域的独特提示词-响应对来识别 LLM 血统。

核心洞察

其基本假设是：下游微调主要更新的是高密度语言行为（训练数据中的常见模式）。相反，低概率（稀有）区域接收到的优化信号较弱，在微调过程中表现出的梯度对齐也有限。因此，稀有提示词-响应对的行为模式在常见的模型适配过程中保持高度不变。

框架组件

RAFP 包含两个阶段：

A. 指纹生成

RAFP 将指纹构建为 $(x, y)$ 对，其中 $x$ 是提示词， $y$ 是响应。生成过程是非侵入性的（不修改模型权重），并遵循以下三步程序：

提示词初始化： 通过对前 $l$ 个 token 进行均匀随机采样，并对剩余部分使用 bottom- $k$ 采样来初始化候选提示词。这使搜索过程向预训练模型分布中的低概率区域倾斜。
响应生成： 在给定初始化提示词和系统提示词的情况下，使用贪婪解码（top-1 采样）生成响应 $y$ 。
提示词优化： 使用**贪婪坐标梯度（GCG）**优化提示词 $x$ ，以最大化生成 $y$ 的对数似然。目标函数为 $\max_x \log p_{M_\theta}(y | h, x)$ 。

针对鲁棒性的实际优化：

多任务优化： 将指纹在多个适配的模型变体和系统提示词下进行联合优化，以确保稳定性。
多轮试验优化： 为避免脆弱的局部最优解，只有当一个指纹候选在多次独立运行（例如 $n=20$ 次试验）中均能成功优化时，才会被接受。

B. 所有权验证

该协议将检测与披露分离，以防止对抗性过滤：

承诺（Commitment）： 在部署之前，模型所有者生成一组指纹，并将它们的加密哈希值（如 SHA-256）作为承诺发布在公开的、带有时间戳的平台上。
验证： 给定一个可疑模型 $M_{\theta'}$ ，所有者使用未公开的指纹提示词对其进行查询。如果模型重现了被承诺的响应 $y$ ，则通过揭示原始提示词-响应对来验证所有权。
拒绝： 系统也会针对无关的模型血统进行测试，以确认指纹具有唯一性且不会触发误报。

理论分析

论文提供了关于微调后稀有区域指纹对数似然变化量 ( $\Delta$ ) 的理论界限。

假设： 稀有提示词在下游微调分布中的概率质量极小 ( $\rho(\tau) \ll 1$ )，且梯度是有界的。
结果： 对数似然的变化量由与提示词稀有度和梯度集中度相关的项所界定。具体而言，由于稀有提示词在微调数据中出现频率极低，且其梯度与主导的高密度训练方向对齐较弱，因此指纹响应的似然度变化非常微小。

3. 主要贡献

新颖框架： 引入了 RAFP，这是一种利用稀有区域行为的结构不变性来实现 LLM 血统识别的非侵入式、黑盒方法。
理论保证： 提供了一个形式化证明，表明稀有区域指纹在微调下的似然度变化保持在界限内，解释了该方法的鲁棒性。
全面评估： 在四个 LLM 系列（Llama 2 7B/13B, Llama 3 8B, Mistral 7B）以及各种下游适配（SFT, LoRA, 量化, 系统提示词变化）上进行了广泛实验。
安全性分析： 证明了其对包括基于困惑度（perplexity）过滤和竞速攻击（race attacks）在内的实际攻击的鲁棒性。

4. 实验结果

作者将 RAFP 与包括指令微调（IF-SFT, IF-Emb）和基于 GCG 的指纹识别在内的基准方法进行了对比。

有效性： RAFP 在所有四个基础模型中均实现了 100% 的真阳性率 (TPR)，在不降低模型效用的情况下优于 GCG 基准，并达到了与 IF-SFT 持平的效果。
鲁棒性： 在下游微调（SFT 和 LoRA）下，RAFP 保持了 92–100% 的 TPR。相比之下，IF-SFT 和 IF-Emb 出现了显著下降（下降 10–35%），而 GCG 基准则降至 23–63%。
唯一性： 在黑盒设置下，RAFP 成功识别了所有相关的微调模型，同时在无关模型上保持了 0% 的假阳性率 (FPR)，有效地区分了不同的血统。
消融研究：
- 困惑度过滤： 经过困惑度正则化优化的 RAFP 降低了 API 过滤器的拒绝率，同时保持了高 TPR。
- 提示词模板： RAFP 在不同提示词模板（Vicuna, Alpaca, Zero-Shot）下表现出极小的 TPR 退化（10–30%），优于基准方法。
- 超参数： RAFP 在不同推理温度（0.1–0.7）下均保持了高 TPR，而 GCG-QA 在较高温度下性能显著下降。

5. 重要性与声明

论文声称 RAFP 通过解决鲁棒性与侵入性之间的权衡，代表了 LLM 知识产权保护领域的重大进展。

鲁棒性： 不同于在常见适配下失效的现有方法，RAFP 利用稀有区域的“不变性”来抵御微调、量化和提示词工程的影响。
非侵入性： 它不需要修改模型权重或引入输出偏置，从而保留了模型的原始效用。
黑盒可行性： 它使得在仅能通过 API 访问的情境下进行所有权验证成为可能，这是现实世界部署的关键要求。
安全性： 承诺（哈希）与披露（查询）的分离机制可以防止攻击者在验证前过滤掉指纹。

作者承认存在局限性，指出 RAFP 可能容易受到强力适配（如蒸馏或对抗性重参数化）的影响，且黑盒查询面临 API 成本和复杂过滤机制的挑战。然而，在“经济可行”的修改范围内，RAFP 提供了一种鲁棒的血统追踪解决方案。