🤖 AI

IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

本文提出了 IMMACULATE 框架，通过在不依赖可信硬件或模型内部访问的情况下，利用可验证计算对少量请求进行选择性审计，从而有效检测商业大语言模型 API 中因经济动机引发的模型替换、量化滥用及代币虚报等偏差，且仅需不到 1% 的吞吐量开销。

原作者： Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

发布于 2026-02-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 IMMACULATE（意为“纯洁无瑕”）的新框架，它的核心任务是给那些像“黑盒子”一样的大语言模型（LLM）做“体检”，防止服务商偷工减料或乱收费。

为了让你更容易理解，我们可以把整个场景想象成一家神秘的“魔法面包店”。

1. 背景：你遇到了什么麻烦？

想象一下，你开了一家面包店，但你的原料（大模型）是从一家叫“魔法面包厂”的地方租来的。

黑盒模式：你只能看到面包厂送来的成品面包，看不到他们是怎么做的。
信任危机：面包厂告诉你：“我们用的是顶级面粉（高精度模型），而且你吃了 10 个面包，我就收你 10 个面包的钱。”
潜在套路：
1. 偷梁换柱（模型替换）：他们可能偷偷把顶级面粉换成了廉价面粉，做出来的面包味道差点，但你看不出来。
2. 偷工减料（过度量化）：他们可能为了省火（计算资源），把面包烤得半生不熟（降低精度），虽然能吃，但口感不好。
3. 乱收费（Token 虚报）：他们可能在你只吃了 10 个面包时，偷偷在账单上写你吃了 20 个（比如把思考过程也算钱），但你无法核实。

以前，你作为顾客，除了“信任”面包厂，几乎没有任何办法去验证他们是否诚实。

2. 解决方案：IMMACULATE 是什么？

IMMACULATE 就像是一个**“拥有透视眼的神秘美食评论家”**，但他不需要进厨房（不需要接触模型内部代码），也不需要面包厂安装特殊的防盗门（不需要昂贵的专用硬件）。

他的检查方法非常聪明，主要靠两招：

第一招：随机抽查（Randomized Auditing）

评论家不会每天检查每一块面包（那样太累了，成本太高）。他每天会随机买几块面包，然后突然亮明身份：“我是来查账的！请证明这块面包是你用顶级面粉做的！”

为什么有效？ 如果面包厂想作弊，他们不可能在所有面包里都作弊（因为成本太高）。如果他们只在 10% 的面包里偷工减料，评论家只要随机买够一定数量，就极大概率能抓到那块“坏面包”。
比喻：就像警察查酒驾，不需要拦下所有车，只要随机拦几辆，就能震慑住那些想酒驾的人。

第二招：逻辑指纹（Logit Distance Distribution, LDD）

这是最核心的技术。当评论家要求面包厂证明“这块面包是用顶级面粉做的”时，面包厂不能直接说“我发誓”，因为那是空话。

面包厂必须提交一份**“制作过程的数学指纹”**。

原理：大模型在生成每一个字（Token）时，内部都会产生一组“犹豫的分数”（Logits，即模型对下一个词是“苹果”还是“香蕉”的置信度）。
作弊的破绽：
- 如果是顶级面粉（高精度），这些分数的分布是非常稳定、平滑的。
- 如果是廉价面粉（低精度/偷换模型），这些分数会出现奇怪的“抖动”或“偏差”。
LDD 的作用：IMMACULATE 计算这些分数的**“距离分布”**。就像比较两幅画，如果画的是同一个苹果，但一幅画得歪歪扭扭（作弊），它们的“笔触距离”就会很大。通过统计这些距离，就能一眼看出面包厂是不是在糊弄。

3. 这个框架厉害在哪里？

不用拆房子（无需访问内部）：面包厂不需要把厨房打开给评论家看，只需要在后台默默记录一些数据，然后生成一个“数学证明”即可。
不用换设备（无需专用硬件）：以前的方法需要昂贵的“可信执行环境”（像给厨房装防弹玻璃），IMMACULATE 不需要，普通电脑就能跑。
几乎不花钱（极低开销）：因为只随机抽查很少一部分（比如 1%），对于每天生产几亿个面包的工厂来说，这点检查成本几乎可以忽略不计（论文说吞吐量只下降不到 1%）。
防得住各种花招：无论是换模型、降低精度，还是乱报账，只要数据有偏差，LDD 就能像“测谎仪”一样揪出来。

4. 总结：这对你意味着什么？

想象一下，未来你在使用 AI 聊天机器人时：

以前：你只能祈祷服务商没有偷偷降低模型质量，也没有偷偷多收你的钱。
有了 IMMACULATE：就像有了“第三方质检机构”。服务商知道“随时可能被抽查”，所以不敢乱来。

一句话总结：
IMMACULATE 就像给大模型服务装了一个**“随机抽查 + 数学测谎”**系统，让服务商不敢在“面粉”（模型质量）和“账单”（Token 数量）上耍花招，而且检查成本极低，让 AI 服务变得更透明、更可信。

1. 研究背景与问题定义 (Problem)

随着大型语言模型（LLM）通过黑盒 API 服务广泛部署，用户与提供商之间存在严重的信任不对称：

黑盒性质：用户无法查看模型内部结构、参数或执行状态，只能依赖提供商报告的 Token 使用量和模型规格。
经济动机下的欺诈行为：提供商为了降低成本或增加收入，可能进行以下违规操作：
1. 模型替换 (Model Substitution)：用更小、更便宜的模型（如蒸馏模型）替换声称的模型。
2. 激进量化 (Aggressive Quantization)：使用比声称精度更低的算术格式（如声称 BF16 实际使用 FP8）来加速推理。
3. Token 虚报 (Token Overbilling)：在推理过程中隐藏中间思维链（CoT）Token，但按完整内部 Token 使用量收费。
现有方案的局限性：
- 可信执行环境 (TEE)：依赖特定硬件（如 NVIDIA GPU-TEE），成本高且缺乏跨平台兼容性（如无法支持 TPU 或 Ascend）。
- 纯密码学证明 (ZKPs)：通常要求整数运算，难以在现代 GPU 上高效运行，且证明开销巨大。
- 实证审计：缺乏形式化保证，容易被自适应攻击绕过。

核心挑战：如何在不依赖可信硬件、不泄露模型隐私的前提下，以极低的开销检测上述欺诈行为？

2. 核心方法论 (Methodology)

IMMACULATE 提出了一种基于可验证计算 (Verifiable Computation, VC) 和概率审计的实用框架。其核心思想是：不需要验证每一个请求，只需随机审计一小部分请求即可检测大规模欺诈。

2.1 核心洞察：随机化审计 (Randomized Auditing)

经济假设：理性的服务提供商只有在大量请求上偏离协议才能获利。
策略：审计器（Auditor）模拟普通用户发送随机请求。如果服务器在 $\alpha$ 比例的请求上作弊，审计器只需审计少量请求（ $N$ ），就能以极高的概率发现作弊。
优势：将证明生成的开销分摊到数十亿次推理中，使得单次审计的边际成本几乎为零。

2.2 解决非确定性：Logit 距离分布 (LDD)

由于现代 GPU 浮点运算存在非确定性（Benign 执行也可能产生微小差异），直接证明“比特级一致”是不可行的。IMMACULATE 引入了 Logit 距离分布 (Logit Distance Distribution, LDD)：

混合计算模型抽象：将 LLM 推理抽象为“连续变换”（神经网络层）和“离散决策”（Token 采样/MoE 路由）的混合过程。
控制流对齐：强制参考模型（全精度模型 $M^*$ ）在每一步使用与部署模型（ $M$ ）相同的离散决策（如 Token 选择），从而消除控制流分歧带来的误差。
LDD 定义：在固定离散决策的前提下，计算部署模型产生的 Logits ( $\ell_i$ ) 与全精度参考模型产生的 Logits ( $\ell^*_i$ ) 之间的距离（如 KL 散度或总变差距离 TV）。
统计特征：
- 良性执行：LDD 呈现集中分布，尾部概率极低（仅由数值噪声引起）。
- 模型替换：导致 Logits 出现系统性偏差，LDD 显著右移。
- 激进量化：导致 Logits 方差增加，LDD 分布变宽，尾部概率显著增加。

2.3 系统流程

初始化：模型所有者发布全精度参考模型的密码学承诺（Commitment）。
在线推理与日志：服务器执行推理，记录每一步的 Logits 并生成承诺。
随机审计：审计器发送请求，收到响应后揭示身份并要求证明。
可验证计算 (VC)：服务器在 TEE（如 CPU-TEE）中运行全精度模型，计算 LDD 并生成证明，证明其计算过程符合承诺且 LDD 分布正常。
判定：审计器验证证明，检查 LDD 的尾部概率是否超过阈值。

3. 主要贡献 (Key Contributions)

IMMACULATE 框架：首个无需 GPU-TEE 或模型内部访问权，即可为黑盒 LLM 服务提供强完整性保证的实用审计框架。
Logit 距离分布 (LDD)：提出了一种新的保真度度量指标，能够在数值非确定性的环境下量化部署执行与声称模型之间的近似差距，有效区分良性噪声与恶意偏差。
经济性与兼容性：
- 基于随机审计，将证明开销分摊，实现了极低的系统吞吐量损失。
- 兼容现有推理基础设施（如 vLLM），无需重构硬件。
实证验证：在密集模型（LLaMA3, Qwen）和 MoE 模型上进行了广泛实验，证明了其在检测模型替换和量化攻击方面的有效性。

4. 实验结果 (Results)

实验在 NVIDIA RTX 6000 Pro GPU 上进行，使用了 LLaMA3-70B, Qwen3-32B 等模型，并在 GSM8K, TriviaQA 等数据集上评估。

检测能力：
- 模型替换：检测率极高（>95%），LDD 分布与良性执行完全分离。
- 激进量化 (FP8 vs BF16)：检测率约为 1.3% - 10%（单请求）。虽然单请求检测率看似不高，但结合随机审计，在大规模请求下能以高概率发现作弊。
- 误报率 (False Positive)：基于极值理论 (EVT) 估计，良性请求的误报率低于 $10^{-5}$ 。
性能开销：
- 吞吐量损失：对于良性服务器，端到端吞吐量损失 < 1%（平均约 0.3% - 1.0%）。
- 证明成本：虽然单次 VC 证明在 CPU-TEE 上比 GPU 推理慢 400-900 倍，但由于审计请求比例极低（< $10^{-5}$ ），整体成本可忽略不计。
统计显著性：实验表明，LDD 的尾部概率（Tail Probability）是区分良性与恶意执行的最强统计特征。

5. 意义与展望 (Significance)

建立信任机制：为商业 LLM API 提供了一种不依赖硬件信任假设的“信任锚点”，解决了用户无法审计黑盒服务的痛点。
经济可行性：证明了通过“概率审计”可以将昂贵的密码学证明成本分摊到海量请求中，使得大规模部署成为可能。
对抗新型攻击：不仅针对模型替换，还能有效检测量化降级和 Token 虚报等隐蔽的经济驱动型攻击。
未来方向：为构建透明、可问责的 AI 基础设施奠定了基础，未来可进一步优化 LDD 指标以识别更细微的恶意行为，并扩展支持更多硬件架构。

总结：IMMACULATE 巧妙地将随机化审计与可验证计算结合，利用Logit 距离分布解决浮点非确定性难题，在保持极低开销的同时，实现了对黑盒 LLM 服务的高强度完整性审计。