💬 NLP

SVIP: Towards Verifiable Inference of Open-source Large Language Models

SVIP 是一种计算高效的、基于密钥的协议，它通过在隐藏表示上训练一个代理任务来唯一标识模型，从而使用户能够验证去中心化 LLM 推理提供者的诚实性，并防止其被更小、能力较低的版本进行未经授权的替换。

原作者： Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位厨师来烹饪一道非常昂贵且复杂的菜肴，使用的是一份特定的高端食谱（一个大型 AI 模型）。由于你自己的厨房不够大，无法亲自烹饪，所以你将订单发送给了一位远程的独立厨师（一个去中心化计算提供商）。

问题在于：这位远程厨师可能会偷懒或贪婪。他们可能会偷偷使用一份廉价、快速、低质量的食谱，虽然看起来很像，但味道却很糟糕。因为你无法看到他们厨房内部的情况，所以你无法得知他们究竟是使用了正确的食材，还是仅仅伪造了结果。

这篇论文介绍了一种名为 SVIP 的巧妙“暗号”系统，旨在确保厨师确实使用了正确的食谱。

核心问题：“假厨师”

在开源 AI 的世界里，模型正变得越来越庞大。普通人无法在自己的电脑上运行这些模型。因此，他们向第三方提供商支付费用，让对方代为运行 AI。

风险： 不诚实的提供商可能会将那个庞大、强大的 AI 模型替换为一个微小、弱小的模型，以节省电力和硬件成本，同时仍向你收取那个大模型的全额费用。
陷阱： 你不能仅仅通过检查答案来判断。一个小型的 AI 可能会给出一个“足够好”的答案，看起来就像是大 AI 的作品。你需要一种方法来证明这个答案是如何被制造出来的，而不仅仅是它是什么。

解决方案：SVIP（“秘密成分”检查）

作者提出了一种系统，要求提供商必须证明他们使用了特定的模型，但又无需公开该模型本身。其工作原理如下，我们使用一些类比来解释：

1. “隐藏指纹”（不只是答案）

当 AI 进行思考时，它不仅仅是吐出文本；它会在给出最终答案之前，将信息传递通过许多层“隐藏想法”（称为隐藏表示/hidden representations）。

旧方法： 你只能得到最终的文本。
SVIP 方法： 提供商还必须向你发送这些“隐藏想法”的压缩摘要。
类比： 想象厨师不仅把汤送给你，还从烹饪的每一个阶段都向你发送了一小份汤底样本。这种汤底的“风味特征”是对应特定食谱所独有的。

2. “代理测试”（品尝测试）

该系统使用了一个特殊的、经过预训练的“品尝员”（一个代理任务/proxy task）。

这个测试员专门针对你所请求的那款特定大 AI 的“隐藏想法”进行训练。
如果提供商传回的是来自大 AI 的“隐藏想法”，测试员会说：“是的，这与大食谱完美匹配！”
如果提供商用一个小 AI 伪造了它，“隐藏想法”的味道就会不同，测试员会说：“不对，这不是正确的食谱。”

3. “秘密酱汁”（安全升级）

起初，作者意识到一个聪明的骗子可能会通过背诵“正确的味道”来伪造隐藏的想法，而不进行实际的烹饪。为了阻止这一点，他们加入了一个秘密（Secret）。

工作原理： 在发送订单之前，系统会给用户一个秘密代码（类似于随机密码），而提供商永远看不到这个代码。
“隐藏想法”在传回之前会与这个秘密代码混合在一起。
结果： 提供商无法通过背诵答案来作弊，因为“秘密酱汁”每次都会变化。他们无法猜出秘密代码，因此无法伪造隐藏的想法。他们必须实际运行真实的 AI 才能得到正确的结果。

为什么这很重要

论文声称 SVIV 是：

快速： 验证过程仅需不到一眨眼的时间（0.01 秒）。它不像其他方法那样需要耗费数小时。
准确： 它几乎能 100% 地抓到作弊者（漏掉作弊者的概率低于 5%，误判诚实厨师的概率低于 3%）。
轻量级： 它不需要用户拥有一台超级计算机；一台普通的笔记本电脑即可完成验证。

总结

SVIP 是 AI 经济中的一种信任机制。它让你能够放心地向陌生人支付运行大规模 AI 模型的费用，因为你知道，如果他们试图偷工减料并使用更小、更便宜的模型，你的“暗号”系统会立即揭穿他们。它将 AI 思考的不可见过程转化为了可以验证的过程，确保你得到的是你所付出的价值。

技术摘要：SVIP —— 面向开源大语言模型可验证推理的研究

1. 问题陈述

开源大语言模型（LLMs）的快速增长使得由于计算需求过高，本地部署对个人用户而言变得不再切实际。因此，去中心化计算作为一种更具成本效益的替代方案应运而生，即用户将 LLM 推理任务外包给拥有剩余资源的第三方提供者（个人或小型公司）。

然而，这种设定引入了一个关键的信任问题：可验证推理。恶意的计算提供者可能会偷偷地将用户请求的大容量模型（例如 Llama-3.1-70B）替换为较小的、能力较低的模型（例如 Llama-2-7B），以节省计算成本，同时仍按较大模型的标准收费。由于提供者通常仅提供黑盒 API 访问，用户很难检测到此类替换行为。现有方案面临显著局限性：

密码学方法（如零知识证明）会带来极高的计算开销（例如每次查询超过 800 秒）。
博弈论协议依赖于提供者是理性且非合作者的不切实际假设。
水印/指纹技术通常由模型发布者实现，不适用于用户-提供者之间的验证场景。

其目标是设计一种协议，使用户能够以高置信度验证是否使用了特定的 LLM 进行推理，同时保持计算效率、低误报/漏报率并保留生成质量。

2. 方法论

作者提出了 SVIP（基于密钥的可验证推理协议），该协议利用 LLM 推理过程中的隐藏表示（hidden representations），而非依赖于密码学证明。

2.1. 核心机制：基于隐藏状态的代理任务

该协议基于以下直觉：特定模型生成的隐藏状态表示包含独特的签名。

数据交换： 计算提供者不仅返回生成的文本，还返回指定模型的处理后的隐藏表示的压缩向量 $z(x)$ 。
代理任务： 专门针对指定模型（ $M_{spec}$ ）的隐藏表示训练一个“代理任务”。该任务将隐藏表示转化为该模型的唯一标识符。
验证： 用户在本地将返回的向量 $z(x)$ 在代理任务上进行评估。如果使用的模型是 $M_{spec}$ ，则该向量在任务上的表现应当良好；如果使用的是较小的替代模型（ $M_{alt}$ ），其性能将会显著下降。

2.2. 简单协议及其漏洞

最初，文中提出了一个简单的协议，即用户在隐藏状态上训练一个二分类器。然而，这容易受到直接向量优化攻击的影响。恶意的提供者如果了解标签函数，就可以完全绕过 LLM，直接优化一个向量 $\tilde{z}$ 以满足分类器，并将其返回，从而在不产生推理成本的情况下进行欺骗。

2.3. 基于密钥的协议 (SVIP)

为了对抗优化攻击，SVIP 引入了密钥机制：

密钥分配： 平台为用户分配一个唯一的密钥（ $s$ ），该密钥绝不与计算提供者共享。
密钥依赖型标签： 标签函数 $y(x, s)$ 取决于该密钥。恶意提供者在不知道 $s$ 的情况下无法确定正确的标签。
密钥嵌入： 密钥 $s$ 被嵌入到任务中作为一个 token $t_\psi(s)$ ，并在压缩前与隐藏状态进行拼接。
连续验证： 验证过程检查预测的代理输出与密钥依赖型标签向量之间的距离是否低于阈值 $\eta$ 。

2.4. 对抗自适应攻击的防御

论文分析了两种自适应攻击：

适配器攻击（Adapter Attack）： 攻击者训练一个神经适配器，旨在将来自 $M_{alt}$ 的隐藏状态映射为在特定密钥下模拟 $M_{spec}$ 的隐藏状态。
密钥恢复攻击（Secret Recovery Attack）： 攻击者试图通过收集大量的“密钥-嵌入”对，从提供的嵌入 $t_\psi(s)$ 中逆向工程出密钥 $s$ 。

防御机制： SVIP 采用了更新机制。密钥会在达到一定的查询阈值（ $M^*$ ）后进行轮换，并且在使用了总计一定数量的密钥（ $N^*$ ）后，会对整个协议进行重新训练。这限制了攻击者在单个密钥下可以收集的数据量，从而使这些攻击失效。

3. 主要贡献

形式化： 系统地形式化了可验证 LLM 推理问题，并提出了一个利用处理后的隐藏表示的协议。
基于密钥的安全机制： 引入了一种新颖的密钥机制，将隐藏表示转化为唯一的、依赖于密钥的标识符，有效地中和了直接向量优化攻击。
全面分析： 针对强对抗和自适应对抗场景（适配器攻击和密钥恢复攻击）提供了深入的安全分析。
实证验证： 在 5 个指定的开源 LLM（参数量从 13B 到 70B）和 6 个替代模型上验证了该协议的有效性。

4. 实验结果

实验使用 LMSYS-Chat-1M 数据集以及不同的模型家族（Llama, GPT-NeoX, OPT, Falcon）进行。

准确性：
- 假阴性率 (FNR)： 每次查询的 FNR 始终低于 5%（各模型平均为 3.49%）。这表明诚实的提供者很少被误判。
- 假阳性率 (FPR)： 在所有替代模型中，每次查询的 FPR 始终低于 3%。这表明不诚实的提供者很少逃脱检测。
- 聚合可靠性： 通过在多次查询（例如 $B=30$ ）中聚合结果，该协议实现了极低的第 I 类和第 II 类错误率（例如，对于 Llama-3.1-70B 对比 Llama-2-7B，第 I 类错误率 $\approx 1.7 \times 10^{-49}$ ）。
效率：
- 延迟： 验证带来的额外开销微乎其微，对于用户和提供者而言，每个提示词查询的延迟均 < 0.01 秒。这比密码学替代方案（例如 zkLLM 需要约 803 秒）快了几个数量级。
- 内存： 提供者需要约 980 MB 的 GPU 显存用于特征提取器；用户需要约 1428 MB，这在标准本地机器上是可行的。
鲁棒性：
- 适配器攻击： 即使攻击者在每个密钥下收集了 400–800 个提示词样本，该协议也能抵御适配器攻击。
- 密钥恢复： 即使在收集了 200,000 个“密钥-嵌入”对之后，恢复密钥的攻击成功率仍保持在 50% 以下。通过更新机制，SVIP 在需要重新训练之前，可以安全地处理 8,000 万至 1.2 亿个提示词查询。
泛化能力： 该协议在未见数据集（ToxicChat, Web Questions, GSM8K, Verifiable-Coding-Problems）上仍保持较低的 FPR/FNR，展示了其跨领域的鲁棒性。

5. 重要性与主张

论文声称 SVIP 在计算效率与安全性之间取得了实际的平衡，使得可验证推理在现实世界的去中心化 LLM 服务中变得可行。与过于缓慢、无法进行实时交互的密码学方法不同，SVIP 使用户能够以高置信度和极低的延迟验证模型的使用情况。

作者强调，虽然 SVIP 无法提供零知识证明那样的严格数学保证，但其低错误率结合多次查询的假设检验，提供了一个“合理且具有实际意义的安全水平”。这项工作旨在建立用户与计算提供者之间的信任，从而促进开源 LLM 在去中心化计算生态系统中的广泛采用。作者承认存在潜在的滥用风险（如逆向工程），但认为协议的设计优先考虑了针对此类向量的鲁棒性。