💻 computer science

Do System Prompts Leave Behavioral Fingerprints? A Large-Scale Empirical Study of Clone Detection via Output Similarity

本文介绍了黑盒行为指纹识别（Black-Box Behavioral Fingerprinting, BBF），这是一种使提示词所有者能够通过输出相似性来检测克隆系统提示词的方法，并通过大规模实证研究验证了虽然提示词的选择显著影响模型行为且检测通常是有效的，但它仍然容易受到特定风格化操纵的影响。

原作者： Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，一种新型的知识产权已经出现：系统提示词（system prompt）。这并非物理对象或复杂的机器，而是一组在计算机程序开始执行任务前给出的、经过精心编写的指令。可以将它想象成一段隐藏的剧本，告诉通用人工智能如何表现、使用何种语气以及应用哪些特定技能，从而有效地将一个广泛的工具转变为一种专业化的产品。正如厨师可能会拥有一份定义菜肴风味的秘密食谱一样，开发者通过精心设计这些提示词来创造独特的数字服务。然而，与可以被锁起来的实体食谱不同，这些数字指令是脆弱的。因为它们仅以文本形式存在，所以很容易被通过询问正确问题的对手所诱导出来，被复制，然后由任何人、在任何地方、以零成本的方式使用。一旦被窃取，原作者无法证明竞争对手的服务正在使用他们被盗的剧本，从而导致其求助无门。

这种不确定性促使一个研究小组提出了一个根本性的问题：即使窃贼重写了被盗的指令使其看起来与原版不同，原始剧本是否仍会在计算机给出的答案中留下痕迹？为了找出答案，研究人员开发了一种称为“黑盒行为指纹识别”（Black-Box Behavioral Fingerprinting）的方法。他们不将系统提示词视为一段可阅读的文本，而是将其视为塑造人工智能响应方式的一套习惯。他们的方法简单而强大。首先，提示词所有者会向自己的 AI 发送一组特定的问题列表，并记录答案。然后，他们通过分析这些答案中的模式，为该特定提示词的行为创建一个独特的“指纹”。随后，如果他们怀疑竞争对手正在使用被盗的版本，他们会将同样的问题发送给竞争对手的 AI。通过将竞争对手的答案模式与原始指纹以及一组随机且无关的答案进行对比，他们可以判断这两个系统是否表现得相同。

研究人员在大规模范围内测试了这个想法，涉及四个不同的商业 AI 模型家族和八种不同类型的任务，涵盖了从医学问题到法律合同分析的范围。他们生成了近三十万个响应，以观察指纹方法是否能可靠地识别克隆体。结果令人瞩目。他们发现，系统提示词的选择解释了 AI 回答问题差异的近四分之一。换句话说，隐藏的指令在输出中留下了强烈且可衡ей测的印记。当研究人员将运行在同类 AI 上的被盗提示词与原版进行对比时，该方法在近 90% 的案例中成功识别出了匹配项。即使被盗的提示词被转移到了一个完全不同的 AI 模型上，该方法仍然有效，尽管确定性略有下降，平均能在约 72% 的场景中正确识别出克隆体。

研究还探讨了该方法在应对试图掩盖踪迹的对手时的表现如何。研究人员发现，仅仅通过使用不同的词汇或改变句子结构来重写被盗的指令，并不能骗过该系统。行为指纹依然保持强韧，使得检测方法即使在提示词文本被大幅修改的情况下依然能够成功。然而，研究人员也发现了一个特定的弱点。如果攻击者在提示词的最开头添加了一条简短、正式的指令，以强制要求 AI 听起来像一位严肃的学者，那么当任务涉及简短、结构化的回答时，该方法就会表现挣扎。在这些特定情况下，检测准确度显著下降，这表明虽然该方法对大多数变化具有鲁棒性，但可能会被那些试图操纵简短任务中 AI 自然风格的刻意尝试所迷惑。

为了使过程更加高效，团队引入了一条选择最佳问题的规则。他们发现，并非所有问题在识别克隆体方面都同样有用；有些问题过于直白，无论使用何种提示词，任何 AI 都会以同样的方式回答。通过过滤掉这些显而易见的问题，并专注于那些提示词能产生实际影响的问题，研究人员显著提高了检测准确度。他们确定，只需提出二十五个经过精心挑选的问题，就足以以极高的置信度确认窃取行为。这意味着提示词所有者不需要监控整个系统，也不需要访问其内部代码；他们只需提出一些有针对性的问题并对比结果即可。

研究结论认为，虽然提示词被窃取的威胁是真实的，且窃取这些指令的能力已得到证实，但现在已经有了一种可行的检测方法。该方法通过观察 AI 的行为而非指令的文本来进行工作，使其成为一种实用的验证工具。它并不是抵御每一种可能攻击的完美护盾，特别是那些旨在操纵简短回答风格的攻击，但它为保护生成式 AI 时代的知识产权提供了坚实的基础。研究人员首次为提示词所有者提供了一种验证其怀疑并证明特定部署是在运行于被盗剧本的方法，为数字经济提供了一层新的安全保障。

技术摘要：系统提示词是否会留下行为指纹？

问题陈述

大型语言模型（LLM）应用平台（如 GPT Store、Coze）的激增，使**系统提示词（System Prompt）**成为了关键的知识产权（IP）形式。虽然模型权重难以复制，但系统提示词可以通过对抗性查询被逐字提取，成功率超过 0.8，并可以零成本地重新部署在任何平台上。现有的防御措施侧重于防止提取，但一旦提示词被窃取，所有者缺乏一种机制来验证可疑的部署是否为克隆版本。

核心研究问题在于：系统提示词是否会在模型输出中留下可用的行为痕迹，且这种痕迹能在经过提取、改写和跨模型迁移后依然存在？如果这种痕迹存在，它就可以实现黑盒行为指纹识别（Black-Box Behavioral Fingerprinting, BBF）：这是一种让提示词所有者注册其原始部署的行为特征签名，随后测试可疑部署是否比无关的基准模型更接近该签名的特征的方法，且该过程仅需黑盒 API 访问权限。

方法论：黑盒行为指纹识别 (BBF)

BBF 将克隆检测操作化为嵌入空间中的双样本比较，仅依赖于现成的句子嵌入技术和余弦相似度。该过程包含两个阶段：

注册（Registration）： 防御者向原始部署（提示词 $P$ ）发送一组诊断查询 $Q = \{q_1, \dots, q_K\}$ 。对于每个查询，收集 $N$ 个随机输出样本，通过句子编码器 $\phi$ 进行嵌入，并聚合成行为质心 $\hat{\mu}_k$ 。指纹 $F$ 即为这些质心的集合。
检测（Detection）： 防御者向可疑部署（提示词 $P^*$ ）发送相同的查询。计算可疑质心 $\hat{\mu}^*_k$ 。为了控制由于不同提示词对同一事实性问题可能产生语义相似回答而带来的影响，防御者还会计算来自同一广泛领域的无关提示词（ $P_u$ ）的质心。
决策统计量（Decision Statistic）： 检测信号是“受控差距” $\delta_k = s_{clone} - s_{unrel}$ ，其中 $s$ 代表可疑/克隆质心与原始质心之间的余弦相似度。正向差距表明可疑部署在行为上比无关基准更接近原始部署。
聚合（Aggregation）： 通过对 $T$ 个查询进行多数投票来进行检测。理论分析（命题 1）表明，在具有足够查询预算（例如 $T=25$ ）的情况下，检测概率呈指数级收敛。

诊断查询优化 (Diagnostic Query Optimization, DQO)：
为了最大化检测能力，本文提出了 DQO，这是一种选择查询的零成本规则。它认为，在原始提示词与无关提示词产生高度发散输出（低基准相似度 $s_{unrel}$ ）的查询中，对提示词的变化最为敏感。DQO 选择与无关提示词基准相似度最低的 $T$ 个查询，且无需访问可疑的克隆版本。

实验设置

本研究通过大规模实证评估，涉及：

模型： 4 个模型家族（Claude, GPT, DeepSeek, Qwen）。
基准测试： 涵盖 7 个领域（如 MMLU, GSM8K, MNLI, MedQA）的 8 个 NLP 基准测试，共计 2,000 个诊断查询。
场景： 128 个总场景，覆盖了所有 $4 \times 4$ 的跨模型组合以及 8 个基准测试。
数据： 288,000 个生成的响应（250 个查询 $\times$ 3 个样本 $\times$ 3 种提示词类型 $\times$ 128 个场景）。
嵌入模型： all-MiniLM-L6-v2。

关键结果

1. 行为指纹的存在性

研究证实，系统提示词的选择解释了输出方差的显著部分。单因素方差分析（one-way ANOVA）得出的平均效应量为 $\eta^2 = 0.244$ （符合 Cohen 标准的“大”效应），表明提示词选择解释了输出嵌入中约 24.4% 的方差。在 128 个场景中的 118 个场景中，克隆输出比无关输出更接近原始输出。

2. 检测性能

同模型检测： 高度可靠，平均 AUC 为 0.876。
跨模型检测： 性能受限于检测器模型的身份。
- 使用 Claude 作为检测器时，实现了最高的跨模型 AUC (0.845)。
- 使用 Qwen 作为检测器时，表现最低 (0.665)。
- 平均跨模型 AUC 为 0.725。
查询预算： 25 个查询 的预算足以实现可靠检测（场景级概率 > 0.999）。
DQO 有效性： 应用 DQO 使跨模型 AUC 平均提升了 +0.120。

3. 鲁棒性与失效模式

改写（Paraphrasing）： BBF 对非自适应改写（同义词替换、结构重组和功能性重写）具有鲁棒性。即使在激进的 L3 级重写下，AUC 仍保持 $\ge 0.889$ 。
不完美的提取： 源自不完美自动化提取的克隆，其可检测性至少与手工改写相当，这可能是因为提取过程保留了功能性框架，而手工重写引入了正交的风格噪声。
失效模式： 128 个场景中有 11 个失败（AUC $\le 0.5$ $\leq 0.5$ ）。失败集中在三种模式：
1. 短输出： 输出极短的任务（如 SST-2 上的情感分析），其中风格主导了内容。
2. 数据伪影： CUAD 基准测试由于导致提示词-查询不匹配的数据加载问题而失败。
3. 风格不匹配： 特定模型对（如 Qwen $\to$ GPT）表现出系统的风格不匹配。
自适应攻击： 虽然改写无法规避检测，但在提示词中注入单句正式语气前缀成功使短小、结构化任务的检测崩溃（MNLI 的 AUC 从 0.978 降至 0.547）。这确定了**风格不变性检测（style-invariant detection）**是主要的开放性挑战。

意义与主张

本文将 BBF 定位为一种验证工具而非发现工具，旨在补充现有的知识产权执行机制。其主要意义在于：

可行性： 证明了系统提示词会在黑盒输出中留下可测量的、可迁移的行为指纹。
易用性： 提供了一种无需模型权重、无需平台协作、无需修改生成过程的检测方法，仅依赖 API 访问。
实用性： 确立了在大多数内容丰富的场景下，固定且低成本的 25 个查询预算足以实现高置信度检测。

作者得出结论，虽然 BBF 对标准的克隆和改写有效，但该领域必须解决风格不变性检测的问题，以应对通过操纵输出语气或格式进行攻击的自适应对手。这项工作并不声称解决了提示词克隆的法律地位，而是为所有者提供了一种能够证实其被盗怀疑的技术协议。