🤖 machine learning

Fingerprinting Inference Systems of Large Language Models

本文揭示，由特定推理系统组件（如引擎、后端和硬件）引起的细微数值偏差会传播至大语言模型输出，从而使得一种新的指纹识别方法能够可靠地识别这些底层系统，并证明完全阻止此类识别在根本上是困难的。

原作者： Anna Wimbauer, Jonas Möller, Erik Imgrund, Konrad Rieck

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Anna Wimbauer, Jonas Möller, Erik Imgrund, Konrad Rieck

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

核心理念：计算机的“数字指纹”

想象你在三家不同的餐厅点了完全相同的菜肴。即使它们使用相同的食谱，食物的味道也可能略有不同。一位厨师切洋葱更细一点，另一位用的锅稍微热一点，第三位搅拌锅的顺序不同。对于普通食客来说，这顿饭看起来是一样的。但对于专业美食评论家来说，这些微小的差异能确切地揭示出是哪个厨房烹饪了这顿饭。

这篇论文认为，大型语言模型（LLMs） 的运作方式也是如此。

当你向人工智能（AI）提问时，答案不仅仅由“大脑”（模型）生成。它同时也受到烹饪发生的“厨房”（推理系统）的塑造。这个“厨房”包括：

引擎： 管理对话的软件（如 vLLM 或 SGLang）。
后端： 用于处理注意力机制的具体数学工具（如 FlashAttention）。
硬件： 物理计算机芯片（如 Nvidia A100 与 H100 GPU 的区别）。

尽管数学原理本应相同，但计算机并不总是以完全相同的顺序计算数字。因此，微小的、不可见的误差（称为数值偏差）会发生。论文表明，这些微小的误差是特定软件与硬件组合所独有的。

攻击是如何运作的：“侦探的测验”

研究人员创造了一种方法来“指纹识别”这些系统。他们就像一名侦探，无法进入厨房，只能向厨师提问并阅读菜单。

策略：
侦探使用四种特定的“陷阱”（提示词）来迫使计算机泄露其秘密：

稀有令牌陷阱： 要求 AI 回忆句子中隐藏的一个奇怪、生僻的符号。微小的数学误差可能导致 AI 猜错符号。
是/否陷阱： 提出一个只需要一步思考的简单问题。这能隔离计算机在回答前是如何读取问题的。
长故事陷阱： 给 AI 一段很长的文本，并要求找出其中的特定数字。这迫使计算机将工作分割成块，从而揭示其如何处理大型任务。
重复陷阱： 要求 AI 重复一句话 100 次。这用于检查计算机如何记忆它刚刚说过的话（使用“缓存”）。

通过向 AI 提供这些陷阱并分析答案中的微小差异，研究人员构建了一个分类器（一种智能排序机器），能够以高准确度断言：“这个答案是在使用 vLLM 引擎的 A100 芯片上烹饪的。”

他们的发现

研究人员在多种不同的软件和硬件组合上测试了这种方法。

完美准确率（“零温度”情况）： 当 AI 被设置为非常严格且确定性（无随机性）时，指纹识别100% 有效。这就像完美的匹配。
良好准确率（“聊天”情况）： 当允许 AI 稍微具有创造性（开启随机性）时，指纹识别仍然非常有效，正确率达到 76% 到 80%。
鲁棒性： 即使要求 AI 同时处理不同数量的数据，或者系统提示词（AI 的指令）发生轻微变化，该方法依然有效。

我们为什么要关心？（安全风险）

这篇论文强调了一个严重的安全问题。

想象一名黑客想要闯入银行。他们需要知道银行使用哪种特定的锁（特定的软件引擎），以便知道该用哪把钥匙去撬。

漏洞： 如果攻击者仅通过与 AI 对话就能识别出“厨房”（推理引擎和硬件），他们就可以查找该软件中已知的弱点（漏洞）。
结果： 随后他们可以发动针对性攻击。论文指出，在 vLLM 和 SGLang 等流行引擎中已经发现了关键漏洞。识别系统是将其利用的第一步。

我们能阻止它吗？

论文得出结论，阻止这种情况非常困难。

两难境地： 要阻止指纹识别，你必须让每台计算机无论硬件或软件如何，都以完全相同的方式计算数字。但这将破坏拥有不同、专用工具（如更快的芯片或优化的软件）所带来的好处。
权衡： 你可以在答案中添加“噪声”（随机性）来隐藏指纹，但这会使 AI 在需要完美精确度的任务（如编程或数学）中变得不可靠。
最佳防御： 最简单的防御手段仅仅是速率限制。如果你限制用户能提问的数量，黑客收集足够数据以构建指纹的过程就会变得过于缓慢且昂贵。

总结

这篇论文揭示，AI 烹饪其答案的“厨房”会在食物中留下独特且可检测的味道。通过分析这些微小的味道，攻击者可以确切识别 AI 运行的是何种硬件和软件，从而可能针对特定的安全弱点。虽然我们无法在不牺牲性能的情况下轻易解决根本原因，但我们可以让攻击者更难收集到他们所需的数据。

技术摘要：大语言模型推理系统的指纹识别

问题陈述

大语言模型（LLM）的行为并非仅由模型权重决定。推理系统——包括推理引擎、注意力后端和硬件平台——由于浮点运算的非结合性，会引入微妙的数值偏差。虽然这些偏差通常被视为阻碍复现的无害伪影，但本文认为，它们泄露了关于底层基础设施的关键信息。

具体而言，攻击者若能观察大语言模型的提示 - 响应行为（无需访问内部状态或对数概率），即可推断出推理栈的具体组件。这种泄露具有直接的安全影响：了解具体的推理引擎（例如 vLLM、SGLang）使攻击者能够针对这些实现中已知的关键漏洞发起攻击；而识别硬件平台（例如 A100 与 H100）则能验证服务声明或发起针对特定硬件的攻击。

方法论

作者提出了一种指纹识别方法，将推理系统视为黑盒，仅分析文本输入和输出。该方法包含两个主要阶段：

1. 威胁模型

假设攻击者具备以下条件：

聊天访问权限：能够提交任意提示并观察文本响应。
模型知识：已知特定的大语言模型和系统提示（可通过现有的模型指纹识别或提示提取攻击恢复）。
离线参考访问权限：能够实例化并查询一组涵盖候选组件的参考系统，以收集训练数据。
无 Logits 访问权限：无法访问内部概率分布或隐藏状态。

2. 提示集构建

为了隔离不同计算阶段的数值偏差，作者构建了四个不同的提示集（ $P_1$ 至 $P_4$ ）：

$P_1$ （稀有 Token 提示）：包含嵌入在文本中的稀有 Token（例如非标准 Unicode）。这些提示测试自回归解码，其中低概率 Token 选择中的微小偏差可能改变最终预测。
$P_2$ （二元决策提示）：旨在诱导模型输出单个"Yes"或"No"Token。这隔离了预填充（prefill）阶段，因为不存在自回归生成来掩盖初始处理的差异。
$P_3$ （长上下文提示）：需要模型提取特定数字的长文本。这些提示触发分块预填充（chunked prefill），揭示因将长上下文拆分到多次传递中而引入的偏差。
$P_4$ （重复提示）：请求重复句子多次。这触发KV 缓存前缀重用，暴露缓存状态的管理和加载方式。

3. 特征提取与分类

嵌入：使用评分函数将响应转换为特征向量。例如， $P_1$ 和 $P_3$ 使用指示函数（如果存在预期的 Token/数字则为 1，否则为 0），而 $P_4$ 则对重复次数进行归一化。
分类：将生成的特征向量连接起来，输入到随机森林分类器中，该分类器经过训练以识别三个目标标签：推理引擎、注意力后端和硬件平台（GPU）。
随机性处理：对于非零温度设置，该方法对每个提示的多个样本（ $k$ ）的预测进行聚合，采用多数投票法以减轻采样噪声。

关键结果

作者在 30 种不同的系统配置上评估了他们的方法，这些配置结合了 4 种推理引擎、6 种注意力后端和 3 种硬件设备（Nvidia A100、H100、L4），并跨越了三个模型（Llama-3.2-3B、Qwen2.5-7B、Qwen3-4B）。

确定性解码（Temperature = 0）

完美准确率：该方法在所有模型中识别所有三个组件（引擎、后端、GPU）的准确率均达到100%。
提示效率：仅需113 个提示即可实现完美识别，尽管提示的最佳组合因模型而异。推理引擎识别速度最快（约 10 个提示即可可靠识别），而后端和 GPU 则需要更多数据（约 100 个提示）。

随机性解码（Temperature > 0）

鲁棒性：随着温度升高，由于采样噪声，准确率有所下降，但仍保持显著水平。
- 推理引擎：在温度范围（ $T \in \{0.3, 0.6, 0.9\}$ ）内平均准确率为**~80%**。
- 注意力后端与 GPU：准确率根据模型和温度的不同，范围在**46% 至 78%**之间。
聚合：在将每个提示的样本数聚合至10–20 个后，性能趋于饱和，证实多数投票能有效恢复信号。

鲁棒性分析

指纹识别在现实部署的变异下仍然有效：

系统提示：即使使用特定于应用程序的系统提示而非默认提示，准确率仍保持高位（约 99.7%）。
批处理大小：该信号在不同批处理大小下泛化良好（在 32/64/128 上训练，在 256 上测试），准确率仅出现边际下降。
专有组件：当某个组件（例如特定 GPU）在训练期间未见时，识别其他组件（引擎、后端）的能力仍然稳健，但识别未见组件本身的能力下降至随机水平。
温度不匹配：如果训练和部署温度存在显著差异，准确率会大幅下降，这表明攻击者应使其训练温度与目标保持一致。

意义与主张

本文声称这是第一种仅使用提示 - 响应对且无需访问 logits 即可对大语言模型推理系统组件（引擎、后端、硬件）进行指纹识别的方法。

作者强调：

安全影响：这种泄露不仅仅是出于好奇；它为攻击者提供了利用广泛使用的推理引擎（如 vLLM 和 SGLang）中已知漏洞所需的精确知识。
防御的根本难度：防止这种指纹识别“根本上是困难的”，因为这将需要消除不同硬件和软件栈之间的数值差异。在生产环境中统一堆栈是不现实的，而添加噪声以掩盖信号则会降低效用（例如，破坏代码生成所需的确定性解码）。
部分缓解措施：本文建议速率限制是最实用的防御手段，尽管它可能通过 Sybil 攻击被规避。添加噪声是可行的，但会以牺牲应用程序效用为高昂代价。

该研究得出结论：机器学习输出与其执行环境密不可分，忽视这种联系会导致信息泄露，从而损害系统的完整性和安全性。