🤖 AI

AttestLLM: Efficient Attestation Framework for Billion-scale On-device LLMs

本文提出了 AttestLLM，这是首个专为十亿级端侧大语言模型设计的 attestation 框架，它通过软硬件协同设计将鲁棒水印嵌入模型激活分布，并在可信执行环境中实现高效验证，从而在保障推理性能的同时有效防止模型替换与伪造攻击。

原作者： Ruisi Zhang, Yifei Zhao, Neusha Javidnia, Mengxin Zheng, Farinaz Koushanfar

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruisi Zhang, Yifei Zhao, Neusha Javidnia, Mengxin Zheng, Farinaz Koushanfar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 AttestLLM 的新系统。为了让你更容易理解，我们可以把手机里的“大语言模型”（LLM，比如你手机里的 AI 助手）想象成一家高科技餐厅，而手机厂商（如苹果、三星）就是这家餐厅的老板。

1. 核心问题：谁在偷换厨师？

背景故事：
现在，很多手机厂商都在手机里直接预装了强大的 AI 模型（就像餐厅里配备了顶级大厨），这样你不用联网就能用 AI，速度快且隐私好。这些模型是厂商花大价钱优化过的，属于他们的核心机密（知识产权）。

危机：
但是，手机在卖给消费者之前，要经过很多中间商（比如经销商、维修店）。这些中间商就像不怀好意的“二房东”。他们有机会接触到手机，可能会偷偷把原本预装的“顶级大厨”（正版 AI）赶走，换上一个山寨的、甚至有害的“野路子厨师”（非法 AI）。

后果： 手机变卡、回答奇怪、甚至泄露隐私。厂商不仅丢了钱，名声也臭了。

2. 解决方案：AttestLLM —— 智能“验钞机” + “神秘暗号”

AttestLLM 就是为了解决这个问题而生的。它不像以前那样笨重，而是专门为手机这种小设备设计的“轻量级”保镖。

它的工作流程可以分为两个阶段，我们可以用**“做菜”和“查岗”**来比喻：

第一阶段：离线水印（给大厨植入“隐形纹身”）

在模型出厂前，厂商会给正版 AI 模型植入一种**“隐形纹身”**（数字水印）。

以前的做法： 就像给整头大象身上刻字，太重了，大象（手机）跑不动。
AttestLLM 的做法： 它很聪明，会先“体检”（敏感性分析）。
- 如果某个 AI 层（比如负责处理语法的部分）很敏感，动它一下模型就“坏”了，那就少刻点字。
- 如果某个层很皮实，那就多刻点。
- 它还会在模型“压缩”（量化，为了省空间）之前和之后，分两步把纹身刻进去。
结果： 这个纹身完全不影响大厨做菜的味道（模型性能几乎不下降），但只有拥有“解码器”的人才能看出来。

第二阶段：在线验证（随时随地的“神秘查岗”）

当用户开始使用手机 AI 时，AttestLLM 就开始工作了。它不会一直盯着看（那样太累），而是随机抽查。

场景比喻：
想象手机里有一个**“安全屋”（TEE，可信执行环境），就像餐厅老板的保险柜**，只有老板能进。
1. 随机点名： 每隔一段时间（比如每生成 100 个字），保险柜里的“保安”就会随机点名：“现在，把第 3 层和第 15 层的‘厨师’（模型数据）送过来检查！”
2. 安全传输： 手机主系统（REE，普通区域）把这些数据打包，通过一条**“加密传送带”**（安全复制）送到保险柜里。
3. 暗号核对： 保险柜里的保安拿出“解码器”，检查这些层里有没有那个“隐形纹身”。
  - 如果纹身对上了（WER=1）： 保安说：“OK，是正版大厨，继续做菜！”
  - 如果没对上（WER!=1）： 保安立刻拉响警报，直接关停整个厨房，阻止非法 AI 继续运行。

3. 为什么它很厉害？（三大创新）

不卡顿（高效）：
以前的检查方法就像要把整个大象搬进保险柜再搬出来，手机会卡死。AttestLLM 就像**“流水线作业”**：一边在传送数据，一边在检查，互不干扰。
- 比喻： 以前是“把整栋楼搬去安检”，现在是“随机抽查几个房间，且边搬边查”。
- 效果： 速度比以前的方法快了62 倍，省电30 倍。
防作弊（抗攻击）：
- 防伪造： 坏人不知道“纹身”的图案是什么（因为密钥是加密且随机存放的），想自己画一个假的？太难了，几乎不可能。
- 防替换： 坏人想偷偷换掉几个房间（模型层）？因为检查是随机的，而且检查频率很高，坏人换掉一层，下一轮很可能就被抓到了。
- 防系统攻击： 即使坏人控制了手机系统，想骗保安“别检查了”，也不行。因为保安的“闹钟”和“点名名单”都在老板的保险柜（硬件安全区）里，系统管不到。
适应性强（可扩展）：
以前只能检查小模型（几百万参数），现在能检查几十亿参数的大模型（比如 Llama 3, Qwen 等），真正做到了“大材小用”（在手机上跑大模型还能保护它）。

总结

AttestLLM 就像是一个超级智能的“防伪标签”系统。

它给手机里的 AI 模型贴上了只有厂商能看懂的“隐形防伪标”。在 AI 运行时，它会像随机抽查的警察一样，时不时地检查几个关键部位。一旦发现有人偷换了模型，它会立刻叫停，防止非法 AI 作恶。

最重要的是，这个检查过程非常轻快，完全不会让你觉得手机变慢了，完美解决了“既要保护知识产权，又要保证手机好用”的难题。

AttestLLM 技术总结

1. 研究背景与问题定义

背景：
随着大型语言模型（LLM）在消费级电子设备（如手机、边缘设备）上的广泛部署，本地推理带来了低延迟和隐私保护的优势。然而，这种部署方式引入了供应链安全挑战：不可信的第三方（如经销商）可能访问设备，将厂商预装并优化的合法 LLM 替换为非法或未经授权的模型。

核心问题：
现有的模型所有权验证（Attestation）技术主要面向百万级参数的小型神经网络，难以直接扩展到**十亿级参数（Billion-scale）**的 LLM，主要原因包括：

硬件限制： 设备端的可信执行环境（TEE，如 Arm TrustZone）通常仅提供 10-32 MB 的安全内存，不足以加载完整的 LLM 参数和激活值，导致无法在 TEE 内执行完整的模型推理或验证。
效率与鲁棒性矛盾： 水印验证需要计算轻量以实现及时验证，同时必须对攻击（如伪造、替换）保持鲁棒。
现有方案局限： 现有的 TEE 防护方案（如 DeepAttest）依赖 Intel SGX 或仅支持小模型，无法在资源受限的 Arm 边缘设备上高效运行。

目标：
构建一个高效的验证框架，确保只有经过授权的、带有特定水印的 LLM 才能在设备上运行，从而保护硬件厂商的知识产权（IP），同时不显著影响推理性能。

2. 方法论 (Methodology)

AttestLLM 采用了**算法/软件/硬件协同设计（Algorithm/Software/Hardware Co-design）**的方法，包含两个核心阶段：

2.1 离线水印嵌入 (Offline Watermarking)

旨在将鲁棒的、设备特定的签名嵌入到 LLM 中，同时保持模型质量。

基于敏感性的自适应分配： 利用激活分布分析（Sensitivity Analysis），根据各 Transformer 层对输入激活的敏感度（峰值激活幅度）动态分配水印比特。敏感度高的层分配较少比特，敏感度低的层分配较多比特，以最小化对模型精度的影响。
量化感知的优化嵌入： 考虑到边缘设备通常使用量化（Quantization, INT4/INT8）模型，提出了一种两阶段嵌入算法：
1. 量化前（Pre-quantization）： 在浮点精度模型上使用基于梯度的优化方法，将投影矩阵 $W_{Mi}$ 和模型参数 $M'_i$ 更新，使输出逼近目标签名。
2. 量化后（Post-quantization）： 在离散权重分布上，使用零阶优化（Zeroth-order optimization）（有限差分法）进一步微调参数，以补偿量化带来的信号损失，增强水印鲁棒性。
独立层验证： 水印被编码到每一层的输出激活中，允许在推理过程中对任意层进行独立验证。

2.2 在线可信验证 (Online Attestation in TEE)

旨在在资源受限的 TEE 中高效验证模型合法性。

虚拟化扩展安全内存： 利用基于虚拟化的 TEE 技术（如 pKVM），在 Arm TrustZone 中扩展安全内存，使其能够容纳验证所需的部分数据。
动态采样与并行流水线：
- 动态采样： 验证器不检查所有层，而是根据预设间隔（如每生成 $f$ 个 token）随机采样 $k$ 个层进行验证。
- 安全复制： 通过 virtio-pmem 将 REE 中采样的层数据（输入激活）安全复制到 TEE 的只读区域。
- 流水线并行： 设计流水线架构，将“安全复制/解密”与“水印提取/验证”并行执行。TEE 中的多个线程分工协作，一个线程负责数据传输，其余线程负责计算，显著降低延迟。
早期退出机制： 一旦检测到某层水印提取失败（WER $\neq$ 1），立即中止 REE 中的推理并重置设备。
防篡改机制：
- 内存随机化： 在存储模型权重时进行打乱（Shuffling），防止攻击者通过暴力搜索定位并修改特定层。
- Hypervisor 监控： 监控 OS 页面分配，防止攻击者替换子模块或注入 LoRA 适配器。
- 可信计时器： 防止攻击者暂停 TEE 交互以绕过验证。

3. 主要贡献 (Key Contributions)

首个针对设备端 LLM 的硬件 IP 保护框架： AttestLLM 是第一个能够保护设备厂商硬件级 IP 的验证框架，确保只有授权模型可执行。
可扩展的协同设计： 通过算法（自适应水印）、软件（虚拟化 TEE、流水线优化）和硬件（Arm TrustZone）的协同设计，成功将验证扩展至十亿级参数模型。
量化感知的鲁棒水印： 提出了结合量化前后优化的水印嵌入方法，在保持模型高保真度（Fidelity）的同时，实现了 100% 的水印提取率。
极低的开销： 相比现有的 TEE 防护方案，AttestLLM 在 Arm 边缘设备上实现了62 倍的延迟降低和30 倍的能耗降低。
全面的攻击防御： 能够有效抵御水印伪造、模型替换（部分或全部）以及 TEE 系统级攻击。

4. 实验结果 (Results)

实验在多种设备端 LLM（Llama3 1B/3B/8B, Qwen3 4B/8B, Phi-4 15B）上进行，量化精度包括 INT4 和 INT8。

验证可靠性 (Reliability)：
- 授权模型（Watermarked LLM）的水印提取率 (WER) 和 验证通过率 (APR) 均达到 100%。
- 未授权或篡改模型会被立即拦截。
模型保真度 (Fidelity)：
- INT4 量化： 相比无水印模型，困惑度 (PPL) 平均仅增加 0.62%，零样本准确率 (Zero-shot Acc) 仅下降 0.09%。
- INT8 量化： PPL 增加 0.07%，准确率下降 0.15%。
- 结论：水印嵌入对模型性能的影响微乎其微，用户几乎无法感知。
验证开销 (Overhead)：
- 延迟： 相比纯 REE 推理，平均延迟增加仅 8.3% - 9.3%（INT8/INT4）。
- 能耗： 平均能耗增加仅 7.0% - 7.3%。
- 对比优势： 相比 TEE-shield 推理方案（需将整个模型分段放入 TEE），AttestLLM 的延迟开销降低了 62 倍，能耗降低了 30 倍。
鲁棒性 (Robustness)：
- 模型替换攻击： 即使攻击者替换了 10% 的层（4/32 层），验证通过率降至 87.5%，经过 10 轮验证后，攻击者逃避检测的概率降至 $3.5 \times 10^{-3}$ 。
- 伪造与系统攻击： 由于水印密钥和触发数据集加密且存储区域随机化，攻击者无法伪造签名或绕过 TEE 监控。

5. 意义与价值 (Significance)

解决供应链安全痛点： 为设备厂商提供了一种切实可行的手段，防止其优化的 LLM 在分销环节被篡改或替换，保护了昂贵的模型压缩和硬件优化成果。
推动边缘 AI 安全： 证明了在资源极度受限的 Arm 边缘设备上，可以高效地运行针对大模型的复杂安全验证，填补了该领域的技术空白。
平衡安全与性能： 通过创新的流水线设计和动态采样策略，打破了“高安全性必然伴随高开销”的传统认知，为未来在移动端部署安全可信的 AI 应用奠定了坚实基础。
通用性： 该框架不仅适用于 LLM，其基于层激活的水印思想和 TEE 协同设计思路也可推广至其他大规模深度学习模型的知识产权保护场景。