🤖 machine learning

FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences

本文介绍了 FLIPS，这是一种利用伪随机序列偏差来准确区分同一大语言模型不同配置的新型实例级指纹识别方法，从而通过实现对特定部署行为而非仅仅是模型来源的识别，填补了 AI 监管领域的一个关键空白。

原作者： Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：不仅是引擎，还有驾驶员

想象你拥有一辆动力强劲的汽车（大语言模型，或称 LLM）。通常情况下，当警察或监管机构想要识别一辆车时，他们会查看其引擎（模型的权重）。如果引擎相同，他们就认为这是同一辆车。

但本文指出，这还不够。两辆拥有完全相同引擎的汽车，由于以下因素的不同，开起来可能会截然不同：

谁在驾驶？（系统提示词/指令）。
开得有多快？（温度设置/Temperature）。
使用的是什么燃料？（量化或微调）。

一辆车在一位驾驶员手中可能表现得安全且礼貌，但在另一位驾驶员手中可能变得鲁莽且具有攻击性。目前的 AI 识别方法就像只看引擎；它们忽略了驾驶员和设置。本文引入了一种名为 FLIPS 的新方法，它就像一个车牌识别器。它不仅能识别汽车型号，还能识别该汽车在当前配置下的特定实例。

问题所在：“鲁棒性”陷阱

现有的 AI 指纹识别工具旨在保护知识产权（例如抓捕窃取模型代码的行为）。为了实现这一目标，它们被设计得具有“鲁棒性”（Robustness）——即忽略细微的变化。它们的目标是说：“是的，这是 Llama-3 模型”，即使设置发生了变化。

监管者的困境：
监管者（如欧盟《人工智能法案》）并不关心原始代码，他们关心的是行为。如果一家公司声称其 AI 是“安全”的，但他们通过调整设置使其变得“不安全”，监管者需要能够抓住那个特定的、危险的版本。目前的工具对这些变化是“盲目”的，因为它们的设计初衷就是为了忽略这些变化。

解决方案：FLIPS（“随机性”测试）

作者创建了一个名为 FLIPS（通过伪随机序列进行 LLM 指纹识别）的工具。其工作原理如下，使用一个简单的类比：

类比：硬币投掷测试
想象你要求一个人抛掷 100 次硬币，并记录结果（正面/反面）。

一个完美的随机硬币投掷会产生一种杂乱、不可预测的模式。
一个试图“伪造”随机性的人往往会陷入微妙的模式中（例如，他们会避免连续出现三次“正面”，因为这感觉太不寻常了）。

FLIPS 如何工作：

提问： 监管者要求 AI 生成一段随机的二进制标记序列（例如“0”和“1”或“车”和“太阳”）。
缺陷： AI 模型在生成真正的随机性方面表现很差。它们拥有基于其特定权重、设置和指令的隐藏“偏见”或“习惯”。
指纹： FLIPS 将 AI 的输出通过一系列统计测试（称为 NIST 套件，这就像是一场针对随机性的严苛数学考试）。
结果： 尽管 AI 试图表现得随机，但它会在其错误中留下独特的“指纹”。
- 示例： 模型 A 可能会在出现“1”之后意外地过多地出现“0”。模型 B 可能会避开“000”。
- FLIPS 通过测量这些微小的、特定的偏差来识别正在对话的究竟是哪个版本的 AI。

实验结果：捕捉“坏”版本

研究人员在 25 种不同 AI 模型的 237 个不同版本上测试了该工具。他们改变了温度、指令，甚至移除了安全过滤器（这一过程称为“消融/abliteration”）。

旧方法 (LLMmap)： 当被要求区分同一个模型的“安全版本”和被篡改后的“不安全版本”时，旧方法表现极差。它认为它们是同一辆车（出错率高达 95%）。它过于“鲁棒”了。
FLIPS： 在封闭测试中（即已知所有选项的情况下），它能正确识别特定版本 96% 的时间；在开放测试中（即必须在不在数据库中时回答“我不知道这个版本”时），识别率为 90%。

关键发现： FLIPS 仅需极少的提问（少至 8 次查询），就能分辨出安全 AI 与经过篡改的危险版本之间的区别。

为什么这对于监管至关重要

作者将 FLIPS 比作车牌。

车牌： 它们很容易伪造，但它们是警察识别道路上特定车辆的标准方式。他们不需要打开引擎盖就能知道一辆车是否超速或违规行驶。
FLIPS： 它允许监管者在无需获取公司私有代码（权重）的情况下，检查 AI 的“车牌”。

如果一家公司说，“我们正在运行安全版本的 AI，”监管者可以使用 FLIPS 通过几个随机问题进行检查。如果回答显示出“不安全的指纹”，监管者就知道该公司在撒谎或者更改了设置，而无需查看其内部代码。

总结

问题： 现有的 AI 识别工具会忽略会改变 AI 行为的设置。
解决方法： FLIPS 利用 AI 无法生成完美随机性的弱点，为每一个特定的配置创建一个独特的“指纹”。
益处： 监管者可以快速验证部署的 AI 是经过批准的安全版本，还是被修改过的危险版本，且只需极少的提问，无需接触私有代码。

技术摘要：FLIPS —— 基于伪随机序列的 LLM 实例指纹识别

1. 问题陈述

当前的语言模型（LLM）识别技术主要针对知识产权保护（IPP）设计，侧重于验证目标模型是否基于其原始权重是参考模型的副本。这些方法刻意忽略了“实例级参数”——例如系统提示词、采样配置（如温度）和量化——以实现对轻微模型变更的鲁棒性。

然而，这种方法为 AI 监管创造了一个关键空白。诸如《欧盟 AI 法案》和加利福尼亚州 SB 533 等立法要求基于 LLM 的实际部署行为进行合规性评估，而非仅仅基于其来源。一个具有安全权重的模型在不同配置下（例如特定的系统提示词或高温度）可能会生成有害内容。现有的 IPP 方法无法区分安全模型与其“消融”（去限制/无审查）或不同配置的变体，这使得它们对于需要识别特定部署实例以验证行为合规性的监管者来说失效了。

本文将**实例级指纹识别（Instance-level Fingerprinting, IF）**定义为识别由其精确权重、指令框架和生成超参数定义的特定模型实例的任务。

2. 方法论：FLIPS

作者提出了 FLIPS（基于伪随机序列的 LLM 实例指纹识别），这是一种黑盒、查询高效的方法，旨在检测伪随机序列生成中的实例特定偏差。

核心原理

该方法利用了这样一个观察结果：LLM 难以生成真正的随机序列。当被要求生成二进制序列（例如交替出现的标记“0”和“1”，或任意对标记如“车”和“太阳”）时，LLM 会表现出独特的、实例特定的偏差。这些偏差源于权重、注意力机制、上下文和超参数（如温度）之间复杂的相互作用，从而为每个实例创建了一个独特的“蓝图”。

技术流程

查询策略：系统使用固定的提示词模板，指示模型使用特定的标记对（例如 $t_A$ 和 $t_B$ ）生成随机二进制序列。作者利用一组不同的标记对来诱发不同的偏差特征。
特征提取：生成的输出序列被转换为二进制比特流。这些比特流使用 NIST 统计测试套件（一种标准的密码学随机性测试套件）进行分析。该套件产生一个包含 $d$ 个测试统计量的向量（例如转换频率、运行长度、模式出现次数等），作为指纹特征。
检测器训练：指纹识别任务被构建为一个多类分类问题。通过在已知实例的参考集上提取的 NIST 特征向量训练 XGBoost 分类器。
验证：为了验证目标实例，系统使用相同的标记对对其进行查询，提取 NIST 统计量，并将它们输入到训练好的分类器中。分类器预测最可能的参考实例，或者如果置信度低于预设阈值，则将目标标记为“未见”（Unseen）。

操作约束

FLIPS 设计为在严格的黑盒条件下运行，并优先考虑查询效率。它区分了：

提取预算 ( $N_r$ )：用于构建参考数据库（例如每个实例 40 次查询）。
验证预算 ( $N_t$ )：用于常规检查（例如仅需 8 次查询）。

3. 主要贡献

范式转变：本文引入并阐述了实例级指纹识别，将关注点从基于权重的识别（IPP）转向面向监管合规性的配置感知识别。
FLIPS 算法：一种新型、查询高效的方法，利用伪随机生成中的偏差和 NIST 统计量来区分模型实例。
综合基准测试：作者构建了一个包含 237 个实例的基准测试，这些实例源自 25 种开源 LLM。其中包括温度变化（0.4–1.0）、系统提示词（面向安全、有害、人格设定）、量化（int4, fp8）以及消融模型。
经验验证：研究表明，FLIPS 在区分行为变体方面显著优于经过改编的先进 IPP 方法。

4. 实验结果

在 237 个实例的基准测试上，FLIPS 达到了以下性能指标：

闭集准确率：在 8 次验证查询（ $N_t=8$ ）下达到 96%。
开集准确率：在 8 次验证查询下达到 90%（其中 10% 的目标是未知/未见实例）。
基线对比：经过改编的先进 IPP 方法 LLMmap 在闭集设置下的准确率仅为 35%，且由于性能较差，未在开集设置下进行评估。
查询效率：在每个实例仅需 40 次提取查询和 8 次验证查询的情况下，即可实现高准确率。
鲁棒性：即使将序列长度截断为固定长度，该方法仍然有效，这证实了信号来自于偏差而非原始长度差异。
失败分析：该方法在处理具有较高温度（增加输出熵）和特定“消融”模型的实例时，召回率较低，但与基线相比，仍保持了显著的判别能力。

5. 重要性与主张

论文声称 FLIPS 为 AI 监管者提供了一个切实可行的解决方案，无需进行成本高昂的全白盒审计或获取权重访问权限，即可验证部署中的 LLM 是否合规。

监管必要性：作者认为，由于实例级参数（提示词、温度）会剧烈改变模型行为（例如安全性 vs. 有毒性），监管者必须能够识别特定的配置，而不仅仅是模型权重。
车牌类比：作者将 FLIPS 比作 LLM 的“车牌”：一种简单、高效的识别实例的机制。虽然它可以被伪造（例如，供应商将查询路由到真实的 PRNG），但这种欺骗行为是可以检测到的（因为真实的 PRNG 会完美通过 NIST 测试），且相比之下，这比目前的监管盲点具有更高的造假门槛。
局限性：论文承认，随着 LLM 内部随机生成能力的提升，这种方法的判别力可能会下降。然而，作者建议可以将任务升级为更复杂的随机性挑战（例如泊松过程）以维持效力。

总之，FLIPS 证明了通过利用伪随机生成中的微妙偏差，可以有效地、低成本地识别特定的 LLM 实例，从而填补了当前 AI 治理框架中的关键空白。