💬 NLP

Reading Between the Lines: Towards Reliable Black-box LLM Fingerprinting via Zeroth-order Gradient Estimation

本文介绍了 ZeroPrint，一种新颖的黑盒大语言模型指纹提取方法，该方法通过利用基于语义保持词替换的零阶梯度估计，来提取比现有基于输出的技术更具信息量且更鲁棒的模型特征签名。

原作者： Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：数字巨头的窃取

想象一下，大型语言模型（LLM）就像是规模宏大、定制打造的图书馆。建造这样一个图书馆需要耗费数百万美元并投入数年的心血。因为它们如此珍贵，不法分子可能会试图窃取它们。他们可能会拷贝一个图书馆，然后将其作为自己的产品进行销售，而不向原作者支付任何费用。

为了阻止这种行为，我们需要一种方法来证明：“这个图书馆属于我。”这被称为指纹识别（Fingerprinting）。

旧方法 vs. 新思路

检查一个图书馆是否为抄袭品有两种方法：

“白盒”方法（内部人员）： 你可以走进图书馆内部，查看蓝图、书籍的具体排列方式以及书页上使用的特定墨水。这很容易证明所有权，但在现实世界中，图书馆所有者很少会让陌生人进入内部。
“黑盒”方法（外部人员）： 你只能从外部向图书馆提问，并阅读它们给出的答案。你无法看到内部情况。
- 问题在于： 现有的黑盒方法就像是通过听声音来辨别一个人。如果他们低声细语或改变了语调，就很难辨认出他们是谁。由于模型用于表达的复杂过滤器，其“声音”（模型的输出）会丢失太多关于“大脑”（模型的内部参数）的细节。

“顿悟”时刻：倾听“变化”，而非仅仅倾听“答案”

这篇论文的作者提出了一个聪颖的问题：“除了观察‘声音’，我们是否还能从外部观察到其他能反映其‘大脑’的信息？”

他们使用了一个名为**费舍尔信息理论（Fisher Information Theory）**的数学概念，证明了一个令人惊讶的事实：

输出（答案）： 如果你问模型“2+2等于几？”，它回答“4”，这个答案非常通用。它并没有告诉关于模型是如何思考的太多信息。
梯度（反应）： 如果你问“2+2等于几？”，然后稍微调整问题为“2+2.001等于几？”，答案会如何变化？

类比： 想象你正在试图识别一种特定类型的橡皮筋。

观察静态的橡皮筋（输出）： 你看到它是红色的，长度为5英寸。许多橡皮筋看起来都那样。
拉动橡皮筋（梯度）： 你轻轻拉动它。它是容易拉伸，还是瞬间回弹？它是感觉僵硬吗？这种对“拉动”的反应方式对于那根特定的橡皮筋来说是独一无二的，即使两根橡皮筋在静止时看起来一模一样。

论文在数学上证明了，通过观察模型如何对微小的变化做出反应（梯度），比仅仅听取它的最终答案，能揭示更多关于其独特“大脑”的信息。

解决方案：ZeroPrint

挑战在于，在“黑盒”场景下，你无法实际看到模型内部的数学逻辑来计算这些反应。你只能看到文本。

ZeroPrint 是一个绕过这一难题的巧妙技巧。其工作流程如下：

“词汇替换”技巧： 由于你不能在句子中添加微小的数学“噪声”（你不能在单词上加上0.001），ZeroPrint 使用了语义词汇替换（Semantic Word Substitution）。
- 示例： 与其问“鸟会飞吗？”，不如问“鸟会翱翔吗？”或者“鸟会飞吗？”
- 这些是微小的、保持原意的变化。对人类来说，它们是一样的。但对模型的内部数学逻辑来说，它们是略有不同的输入。
“影子”计算：
- 系统向模型提出原始问题和“替换后”的问题。
- 记录它们的答案。
- 然后，它使用一种名为**零阶估计（Zeroth-order Estimation）**的数学技术。这可以被看作是一个看不见嫌疑人指纹的侦探，但他可以通过观察脚印在移动时如何改变泥土的形状，来推断出脚印的模式。
- 通过对比输入中的微小差异（词汇替换）与输出中的微小差异，ZeroPrint 构建了一个雅可比矩阵（Jacobian Matrix）。
指纹： 这个雅可比矩阵就是模型的独特“反应签名”。它就像是一个数字DNA检测，证明：“这个模型的反应方式，与我拥有的原始模型对词汇替换的反应方式完全一致。”

结果：新的金标准

作者使用标准的基准测试（LeaFBench）将 ZeroPrint 与其他方法进行了对比测试。

性能： ZeroPrint 是测试过的最佳“黑盒”方法。它在识别抄袭品方面的表现显著优于那些仅对比答案的旧方法。
鲁棒性： 即使窃贼尝试通过更改系统提示词（System Prompts）或在答案中加入噪声来伪装模型，ZeroPrint 仍然能够识别出原始的“反应签名”。
速度： 它足够快，足以投入实际应用，只需几分钟即可完成对一个模型的检查。

总结

简而言之，ZeroPrint 通过意识到模型如何改变想法比它说了什么更具唯一性，解决了AI模型被窃取的问题。通过使用巧妙的词汇替换来从外部“戳弄”模型，并测量其反应，ZeroPrint 创建了一个可靠的指纹，在无需查看模型秘密代码的情况下证明了所有权。

技术摘要：读懂弦外之音：通过零阶梯度估计实现可靠的黑盒 LLM 指纹识别

问题陈述

大型语言模型（LLM）的开发需要巨大的投入，使其成为了极具价值的知识产权。然而，通过未经授权的复制或模型窃取导致版权侵权的风险也非常显著。虽然 LLM 指纹识别 已作为一种通过提取唯一特征来验证模型来源的技术出现，但在白盒与黑盒方法之间存在着关键的性能差距。

白盒方法（访问内部参数）能够实现近乎完美的审计性能，因为静态权重可作为唯一的标识符。
黑盒方法（仅通过 API 访问）依赖于比较模型输出。作者认为这些方法是无效的，因为 LLM 架构中广泛使用的非线性激活函数（如 GELU、SiLU）会逐步压缩参数信息，导致最终输出中的信息大量丢失。

核心研究问题是：是否存在一种在黑盒条件下可获取的特征，能够比模型输出保留更多的参数信息？

方法论：ZeroPrint

提出的解决方案 ZeroPrint 是一种新型的黑盒指纹识别框架，它通过近似模型的梯度（具体为雅可比矩阵）作为指纹，而不是依赖原始输出。该方法论基于 费雪信息理论（Fisher Information Theory），并通过 零阶梯度估计 实现。

1. 理论基础

作者正式分析了模型输出 ( $Y$ ) 与输出对输入的梯度 ($D = dY/dX$) 之间的信息含量。

非线性瓶颈： 在标准神经单元 $Y = f(WX + K) $中，观察$ Y $需要将参数$ W $通过非线性函数$ f$ 进行传递，这可能会造成不可逆的信息压缩。
梯度的优势： 观察梯度 $D = Wf'(WX+K) $可以更直接地观察参数$ W$（经由导数缩放）。
定理 1： 利用费雪信息，作者证明了对于非线性函数，梯度 $D$ 相对于参数 $W$ 的费雪信息严格大于输出 $Y$ 的费雪信息。这确立了梯度在理论上是更优越的指纹特征。

2. ZeroPrint 框架

由于在黑盒设置下无法直接获取梯度，ZeroPrint 使用适配于离散文本的零阶估计来近似梯度。该过程包含三个步骤：

第 1 步：查询集构建
- 基础查询（Base Queries）： 系统选择 $n$ 个旨在保证稳定性的基础查询。作者利用了 代码补全任务（例如，“完成以下代码：[代码片段]”），因为与开放式文本或问答任务相比，代码结构在不同模型间能引发更一致的响应。
- 扰动查询（Perturbed Queries）： 对于每个基础查询，使用 词汇替换 生成 $m$ 个语义相似的变体。预训练的词嵌入模型（如 Glo \text{GloVe}）会识别出用于替换基础查询中特定标记的语义相似词，从而创建“扰动”输入，这些输入保留了原意，但微调了输入向量。
第 2 步：指纹生成（零阶估计）
- 将基础查询及其对应的扰动查询提交给目标 LLM。为了减轻输出的随机性，每个查询会重复 $t$ 次，并对生成的文本响应进行平均。
- 嵌入（Embedding）： 所有输入和平均后的输出都使用句子嵌入模型（如 all-mpnet-base-v2）转换为连续向量。
- 雅可比估计： 系统计算扰动输入与基础输入之间的差异向量 ( $\Delta x$ ) 以及其对应的输出嵌入之间的差异向量 ( $\Delta y$ )。
- 回归： 通过求解线性回归问题 ( $\Delta y \approx J \Delta x$ ) 来估计每个基础查询的局部雅可比矩阵 $J$ ，并使用 岭回归（Ridge Regression） 来处理欠定系统。最终的指纹是所有基础查询中这些雅可比矩阵的逐元素平均值。
第 3 步：指纹比较
- 源模型指纹 ( $J_o$ ) 与可疑模型指纹 ( $J_s$ ) 之间的相似度使用 皮尔逊相关系数（Pearson correlation coefficient） 进行计算。高相似度得分表明可疑模型很可能是源模型的衍生品。

核心贡献

理论洞察： 本文基于费雪信息理论提供了形式化证明，证明模型梯度比模型输出包含更多关于模型参数的信息，挑战了以往依赖仅输出特征的黑盒指纹识别方法。
ZeroPrint 算法： 作者引入了一种在离散文本领域估计这些富含信息的梯度的方法。这是通过利用语义保持的词汇替换来模拟连续扰动，并应用零阶优化原理实现的。
实证验证： 在 LeaFBench（包含 149 个模型实例的基准测试）上的广泛实验表明，ZeroPrint 达到了黑盒方法的先进水平（SOTA），显著优于现有的无目标和有目标攻击方法。

实验结果

在具有每模型 200 次查询严格限制的 LeaFBench 基准测试上进行的评估：

性能： ZeroPrint 实现了 AUC 为 0.720 和 pAUC 为 0.683，优于现有的黑盒基准方法（如 LLMmap、MET、SEF、TRAP）。
与白盒对比： 虽然 ZeroPrint 优于所有黑盒基准，但仍低于具有直接访问模型内部能力的白盒方法 REEF（AUC 0.896）。
消融研究：
- 扰动查询数量 ( $m$ )： 随着扰动查询数量的增加，性能显著提升，在 $m=14$ 时达到顶峰。
- 重复次数 ( $t$ )： 增加每个查询的重复次数可以稳定输出嵌入，性能在 $t=20$ 左右趋于平缓。
- 查询类型： 代码补全查询（HumanEval）产生的效果优于问答或通用文本补全数据集，这归功于代码的结构化特性能诱发更统一的模型行为。
- 嵌入维度： 存在权衡；较大的维度能捕捉更多语义，但需要更多的查询来准确估计较大的雅可比矩阵。
鲁棒性： ZeroPrint 在面对 输入改写攻击（使用较小的 LLM 重写查询）和 输出扰动攻击（添加高斯噪声）时表现出了韧性，保持了较高的相似度得分。
效率： 该方法每个模型大约需要 425 秒，在计算上是切实可行的，且比 MET 和 SEF 等几种黑盒基准方法更快。

重要性与主张

本文声称 ZeroPrint 代表了 可靠且安全的 LLM 版权审计机制 的重要进步。通过将焦点从模型输出转向估计的梯度，该方法克服了非线性 LLM 架构中固有的信息损失。作者将 ZeroPrint 定位为一种实用的、非侵入式的解决方案，它不需要对模型进行微调，并且可以应用于已经部署的模型，解决了保护 AI 生态系统中知识产权的关键空白。这项工作表明，基于梯度的特征是弥合白盒与黑盒指纹识别之间性能差距的关键。