🤖 machine learning

Verifying LLM Inference to Detect Model Weight Exfiltration

本文提出了一种基于形式化安全博弈和随机性估计的 LLM 推理验证框架，能够以极低的额外成本有效检测并阻断通过隐写术窃取模型权重的攻击。

原作者： Roy Rinberg, Adam Karvonen, Alexander Hoover, Daniel Reuter, Keri Warr

发布于 2026-03-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Roy Rinberg, Adam Karvonen, Alexander Hoover, Daniel Reuter, Keri Warr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣且紧迫的问题：如何防止大模型（LLM）的“大脑”（即模型权重）被偷偷偷走？

想象一下，你是一家顶级餐厅的主厨，你的**独家秘方（模型权重）**价值连城。现在，你雇佣了一些服务员（推理服务器）来给顾客上菜（生成回答）。

1. 核心危机：服务员在“暗语”传话

以前我们担心服务员把秘方直接复印带走。但现在，有一种更隐蔽的偷法叫**“隐写术”（Steganography）**。

场景：一个被黑客控制的服务员，并没有直接偷走秘方。相反，他在给顾客上菜时，故意把菜做得稍微有点“不一样”。
手法：比如，顾客问“今天天气怎么样？”，正常服务员会回答“今天天气晴朗”。但被控制的服务员可能会故意说“今天天气非常晴朗”或者“今天天气格外晴朗”。
目的：这些微小的、看似无意义的词语变化（比如多了一个“非常”），其实是在用**二进制代码（0 和 1）**编码。服务员把这些微小的变化连起来，就能把整本“独家秘方”（模型权重）通过成千上万次对话，一点点“吐”给外面的同伙。

这就好比服务员在每道菜里藏了一粒特定的盐，顾客吃的时候觉得“这菜味道有点怪”，但根本不知道这粒盐里藏着整个菜谱的密码。

2. 我们的解决方案：给服务员配一个“影子考官”

为了解决这个问题，作者提出了一套**“推理验证系统”**。

核心思想：既然服务员（推理服务器）可能坏了，那我们就派一个独立的、绝对诚实的“影子考官”（验证服务器）在旁边盯着。
怎么盯？
1. 记录：当服务员给顾客上菜时，系统会记录下顾客问了什么（输入）、用了什么随机种子（就像做菜时的随机搅拌次数）、以及最后端上来的菜是什么（输出）。
2. 重做：影子考官拿到这些记录后，会用完全一样的配方和搅拌次数，在另一个安全的厨房里重新做一遍这道菜。
3. 比对：
  - 如果影子考官做出来的菜，和服务员端出来的一模一样，说明服务员是诚实的。
  - 如果影子考官发现：“等等，我算出来应该是‘晴朗’，你怎么端上来‘非常晴朗’？”——这就触发了警报！

3. 难点与突破：为什么以前很难抓？

以前抓不住，是因为大模型本身就有**“随机性”**。

比喻：就像你让两个厨师用同样的食谱和同样的搅拌次数做菜，因为切菜力度、火候的微小差异，最后端出来的菜可能稍微有点不一样（比如盐放多了 0.01 克）。这是正常的“合法的不确定性”。
偷窃者的借口：偷窃者会利用这种正常的微小差异来藏秘密。他们会说：“我只是稍微多加了一点盐，这是正常的随机波动，不是我在偷东西！”

这篇论文的突破在于：
作者发现，虽然大模型有随机性，但这种随机性是有规律的。

正常波动：就像炒菜时盐稍微多一点点，概率是符合正态分布的。
偷窃波动：为了藏密码，服务员必须刻意选择那些“概率极低”或者“完全不符合逻辑”的词语组合。

作者发明了两种**“测谎仪”**（Token-DiFR 和 Token-IPT-DiFR）：

它们能计算出：“在这个特定的随机种子下，服务员说出这个词的概率是多少？”
如果概率低得离谱（比如百万分之一），但服务员还是说了，那大概率就是在偷东西。

4. 实际效果：让小偷“慢动作”

实验结果显示，这套系统非常有效：

极低的误报：它不会冤枉好人（正常做菜的人），误报率极低。
极慢的偷窃速度：对于想偷模型的人来说，以前可能1 天就能把 1TB 的模型偷完。现在，因为每次偷一点点都要冒着被“影子考官”抓到的风险，他们必须极其小心，导致偷窃速度慢了 200 多倍。
- 比喻：以前小偷可以开着跑车（高速网络）把秘方运走；现在，他只能像蜗牛一样，每走一步都要停下来确认有没有警察，把原本 1 天的路程变成了200 多天。

5. 总结：给 AI 穿上“防弹衣”

这篇论文的核心贡献是：

理论证明：从数学上证明了，只要有了这种验证机制，小偷能偷走的信息量就被锁死在一个极小的范围内。
实用方案：提出了一种不需要完全信任服务器，也不需要极其昂贵的硬件，就能在现有系统上运行的验证架构。
双重用途：这套系统不仅能防偷，还能发现Bug。如果模型突然开始胡言乱语（比如把“晴朗”说成“香蕉”），系统也能立刻发现，因为它偏离了正常的概率分布。

一句话总结：
这就好比给餐厅装了一个**“智能监控 + 自动重做”系统。不管服务员怎么试图通过“微表情”（词语的微小变化）来传递秘密，只要他稍微偏离了“正常随机”的轨道，系统就会立刻报警，让偷窃模型变得既困难又缓慢**，从而保护了大模型的核心资产。

论文技术总结：验证 LLM 推理以检测模型权重窃取

1. 研究背景与问题定义

随着大型语言模型（LLM）成为高价值资产，模型权重窃取（Model Weight Exfiltration） 的风险日益严峻。攻击者若控制了推理服务器，可能通过隐写术（Steganography） 将模型权重隐藏在看似正常的模型回复中，从而绕过传统的安全防御。

核心挑战：LLM 的推理过程天然具有非确定性（Non-determinism）。即使使用相同的模型、代码和随机种子，由于浮点数运算误差、GPU 内核调度差异或批处理大小变化，输出也可能存在微小差异。攻击者可以利用这种“合法的随机性”作为掩护，编码并传输隐藏信息。
目标：设计一种推理验证机制，能够区分“合法的随机波动”与“恶意的隐写编码”，从而在最小化误报率的前提下，检测并限制模型权重的窃取。

2. 方法论与核心框架

本文提出了一套完整的推理验证框架，将模型权重窃取形式化为一个安全博弈（Security Game），并引入了基于固定种子后验分布（Fixed-Seed Posterior Distribution） 的验证方法。

2.1 安全博弈形式化

作者将攻击者（试图窃取权重）与防御者（验证服务器）之间的交互建模为安全博弈：

攻击者：控制推理服务器，试图在输出中编码 $n$ 位模型权重信息。
防御者：拥有一个可信的验证服务器，随机采样部分输入 - 输出对进行重放验证。
目标：证明在特定策略下，攻击者无法在不被检测到的情况下以高速度窃取信息。

2.2 核心验证机制：固定种子采样似然 (FSSL)

为了量化“合法的非确定性”，作者定义了固定种子采样似然（Fixed-Seed Sampling Likelihood, FSSL）。

原理：在给定随机种子 $\sigma$ 和上下文的情况下，计算某个特定 token 被采样的概率。如果攻击者为了编码信息而强行选择了一个在合法非确定性范围内概率极低的 token，该 token 的 FSSL 分数就会很低，从而被标记为可疑。
处理非确定性：由于浮点运算导致 logits 分布 $\vec{p}_\theta(x)$ 本身存在微小波动，作者提出将 logits 分布视为一个随机过程，而非固定值。

2.3 两种具体的评分估计器

针对不同的采样算法，作者提出了两种具体的 FSSL 估计器：

Token-IPT-DiFR：针对使用逆概率变换（Inverse Probability Transform, IPT） 采样的模型（如 Ollama）。
- 通过高斯分布积分估算：在固定种子生成的随机数 $u$ 附近，计算观测到的 token 在累积分布函数（CDF）区间内的概率质量。
Token-DiFR：针对使用 Gumbel-Max Trick 采样的模型（如 vLLM）。
- 通过重放 Gumbel 噪声，计算观测到的 token 在噪声扰动下仍被选为最大值的概率。

2.4 分层分类策略 (Tiered Classification)

为了进一步优化性能，作者提出结合 Logit Rank（Logit 排名） 进行三层分类：

Safe（安全）：FSSL 分数高于阈值 $\tau$ 。
Suspicious（可疑）：FSSL 分数低于 $\tau$ ，但 Logit 排名在前 $R$ 名内（例如前 8 名）。这类 token 允许少量信息泄露（ $\log_2 R$ 比特）。
Dangerous（危险）：FSSL 分数低且 Logit 排名靠后。直接标记为异常。
这种策略显著降低了误报率（FPR），同时收紧了攻击者的信息通道容量。

2.5 系统架构

解耦设计：推理服务器（Inference Server）与验证服务器（Verification Server）分离。
验证流程：
1. 记录所有推理的输入、输出、种子和模型版本。
2. 验证服务器随机采样部分请求，使用可信的模型和代码重放推理（通常使用 Prefill 模式加速，一次性计算所有 token 的分布）。
3. 计算 FSSL 分数并聚合，若超过阈值则触发警报。
信任假设：验证服务器是可信的（未受控），日志是防篡改的，且随机采样过程对攻击者不可预测（类似“全景监狱”机制）。

3. 主要贡献

形式化安全博弈与理论界限：
- 将模型权重窃取形式化为安全游戏，并推导了三个理论界限（Theorems 5.1, 5.2, 5.3）。
- 证明了在 FSSL 策略下，攻击者的窃取速率受到严格限制。即使攻击者拥有强大的计算能力，其有效窃取速率也被限制在极低水平。
提出实用的验证框架与估计器：
- 引入了 Token-DiFR 和 Token-IPT-DiFR 两种估计器，能够量化合法非确定性下的 token 似然度。
- 提出了结合 Logit Rank 的三层分类法，在保持低误报率的同时最大化检测灵敏度。
解耦的安全架构：
- 设计了一种将安全性与性能解耦的架构。验证服务器可以使用隔离的硬件/软件栈，无需牺牲推理吞吐量，且对推理服务器的信任假设最小化。
实证验证：
- 在多个开源模型（Llama-3.1-8B, Llama-3.2-3B, Qwen1.5-MoE-7B, Qwen3-30B-A3B）上进行了广泛测试。

4. 实验结果

检测性能：在 Qwen3-30B-A3B 模型上，该检测器将可窃取信息量降低至 < 0.5%，同时保持误报率（FPR）< $10^{-2}$ 。
攻击成本：对于攻击者而言，这意味着窃取速度被减缓了 200 倍以上。
- 示例：原本需要 1 天窃取 1TB 模型权重的攻击，现在需要超过 200 天。
扩展性：实验表明，即使对于长上下文（4k-12k tokens），验证系统的性能下降也很小。
双重用途：该系统不仅能检测恶意窃取，还能作为调试工具，识别推理过程中的异常或 Bug。

5. 意义与影响

填补安全空白：目前缺乏针对 LLM 推理阶段隐写术窃取的有效防御方案。本文工作填补了这一空白，为保护模型资产提供了新的技术路径。
经济威慑：通过将窃取时间从“天/小时”级延长至“月/年”级，使得大规模窃取在经济上变得不可行，迫使攻击者要么放弃，要么暴露。
基础设施可行性：证明了在大规模生产环境中，以极低的额外成本（主要是随机采样的计算开销）实现高保障的安全验证是可行的。
防御纵深：该方案不依赖于完全信任推理服务器，而是通过“不可预测的随机审计”和“数学界限”来构建防御，是构建高安全等级（SL4/SL5）AI 系统的关键组件。

6. 总结

这篇论文通过严谨的理论推导和广泛的实证研究，提出了一套基于固定种子后验分布的推理验证方案。它成功地将模型权重窃取这一复杂的安全问题转化为可量化的统计检测问题，证明了在允许模型自然非确定性的前提下，依然可以构建出能够以 200 倍以上的速度减缓窃取的高效防御系统。这项工作为未来保护 AI 模型资产、防止知识产权泄露奠定了重要的基础。