🤖 AI

TensorCommitments: A Lightweight Verifiable Inference for Language Models

该论文提出了名为 TensorCommitments 的轻量级张量原生证明方案，通过多变量 Terkle 树将大语言模型推理绑定至抗篡改承诺，在几乎不增加计算开销（LLaMA2 上仅增加约 1% 的 prover 时间和 0.12% 的 verifier 时间）的同时，显著提升了推理验证的可靠性并有效抵御了针对大模型的定制攻击。

原作者： Oguzhan Baser, Elahe Sadeghi, Eric Wang, David Ribeiro Alves, Sam Kazemian, Hong Kang, Sandeep P. Chinchali, Sriram Vishwanath

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Oguzhan Baser, Elahe Sadeghi, Eric Wang, David Ribeiro Alves, Sam Kazemian, Hong Kang, Sandeep P. Chinchali, Sriram Vishwanath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 TensorCommitments（张量承诺） 的新方法，旨在解决大语言模型（LLM）在云端运行时的一个核心信任问题：如何在不重新运行整个模型、也不泄露模型内部机密的情况下，让客户端确信服务器确实正确执行了计算？

我们可以把这个问题想象成：你点了一份昂贵的“数字大餐”（AI 生成的回答），餐厅（云端服务器）说菜做好了，但你没看到厨师（GPU）是怎么做的。你如何确信他们没有偷工减料、没有用过期食材（篡改数据），或者没有偷偷换了一道菜？

以下是用通俗语言和生动比喻对这篇论文核心内容的解读：

1. 核心痛点：信任危机与高昂的验证成本

现状：现在大家用 AI 都是把问题发给远程服务器，服务器算完把结果发回来。如果服务器被黑客攻击、硬件出错，或者服务商偷偷改了模型，用户很难发现。
旧方法的困境：
- 密码学方法（像“零知识证明”）：太慢了。就像为了证明你做的菜没毒，要求厨师在厨房里把每切一刀的动作都录下来并加密，结果验证一个菜要花几个小时，完全没法用于实时聊天。
- 非密码学方法（像“找替身”）：需要验证者自己有一台超级电脑重新算一遍。这就像为了验证餐厅的菜，你自己得买一套顶级厨具和食材重新做一遍，成本太高，不现实。
- 现有轻量级方法：只检查最后一步（比如只看菜端出来的样子），但黑客可以在烹饪过程中（中间层）做手脚，最后把菜摆盘摆得一模一样，从而骗过检查。

2. 核心创新：TensorCommitments (TC) —— “多维指纹”技术

作者提出了一种叫 TensorCommitments 的方案。为了理解它，我们需要两个关键比喻：

比喻一：从“扁平的清单”到“立体的魔方”

旧方法（向量视角）：以前的技术把 AI 模型里复杂的计算数据（张量）像切菜一样，全部切成一条长长的“扁平清单”（向量）。验证时，就像在一条长龙上打一个个结。数据越多，结打得越慢，验证越慢。
新方法（张量视角）：作者发现，AI 的数据天生就是立体的（比如：层数 x 注意力头数 x 序列长度）。他们不再把数据压扁，而是直接把它看作一个立体的魔方（张量）。
神奇效果：就像在平面上画一条线很慢，但在三维空间里插一个多维的“网”反而更快。论文发现，利用这种多维插值技术，随着数据维度的增加，验证速度反而指数级提升（比传统方法快 30 倍以上）。

比喻二：不可篡改的“全息标签” (Terkle Trees)

承诺 (Commitment)：服务器在计算过程中，给每一个关键步骤（每一层神经网络的输出）贴上一个不可篡改的“全息标签”。这个标签就像是一个数学上的“封印”，一旦数据被修改，封印就会破碎。
Terkle 树：为了管理成千上万个这样的标签，作者设计了一种特殊的树状结构（叫 Terkle Tree）。
- 传统树（Merkle Tree）：像查户口，要验证一个人，得把从根到他的所有邻居的指纹都核对一遍，路很长。
- Terkle 树：像查一个多维的社区。因为利用了数据的立体结构，验证者只需要检查很少的几个“路口”就能确认整个社区（整个对话过程）是安全的。

3. 智能策略：只检查“最脆弱”的环节

问题：AI 模型有几十层，每一层都检查太慢了。
策略：作者发现，AI 模型并不是每一层都同样重要。有些层像“地基”，动一点整个楼就塌；有些层像“装饰”，动一点没影响。
做法：他们设计了一个智能选择器，利用数学上的“重尾谱分”（听起来很玄，其实就是找那些对结果影响最大的“薄弱环节”）。
- 比喻：就像安检，不需要检查每一个乘客的每一个口袋，而是通过算法预测，重点检查那些最可能藏匿违禁品的“高风险区域”。
- 效果：只检查模型中最关键的几层，就能发现 96% 以上的攻击，而开销却微乎其微。

4. 实际效果：快、轻、稳

论文在 LLaMA2 等模型上进行了测试，结果非常惊人：

极低的开销：
- 服务器（Prover）：增加的计算时间不到 1%（相当于你点菜，厨师只多花 0.97 秒贴个标签）。
- 客户端（Verifier）：验证时间只增加了 0.12%（相当于你收到菜，花 0.12 秒扫个码确认，不需要重新做菜）。
极高的安全性：
- 针对精心设计的攻击（比如悄悄修改提示词、微调中间层），他们的检测率比目前最好的方法（TOPLOC）提高了 48%。
- 而且，验证者不需要拥有昂贵的显卡，也不需要知道模型的内部参数（保护了隐私）。

5. 总结：为什么这很重要？

想象一下，未来的 AI 不仅仅是聊天机器人，而是你的医生、律师、股票交易员。

如果 AI 医生看错了病历，你可能会有生命危险。
如果 AI 交易员被黑客篡改了信号，你会破产。

TensorCommitments 就像给这些 AI 服务装上了一个轻量级、不可伪造的“黑匣子”。

它不需要你重新做一遍手术（重新运行模型）。
它不需要你拥有顶级医院（昂贵的 GPU）。
它只需要你扫一眼“全息标签”，就能确信：是的，这个 AI 确实按规矩办事了，没有作弊。

这项技术让“可验证的 AI"从理论走向现实，让普通用户也能低成本地信任云端的大模型，是构建未来安全 AI 生态的关键一步。

TensorCommitments：面向大语言模型的可验证轻量级推理技术总结

1. 研究背景与问题定义

随着大语言模型（LLM）从简单的聊天机器人演变为决策制定者、代码生成器及多智能体系统的核心组件，其运行环境日益依赖于外部云基础设施。用户通常将提示词（Prompt）发送给远程 GPU 服务器，支付推理费用，并必须信任远程服务器正确执行了模型计算，未受到硬件故障、配置错误或恶意篡改的影响。

当前面临的核心挑战是可验证推理（Verifiable Inference）：

现状：现有的验证方案存在严重的权衡。基于零知识证明（ZK）的密码学方案虽然安全，但在 LLM 规模下计算开销过大（每查询需数分钟），难以实用；基于学习的方法（如训练辅助模型）缺乏密码学保证，且需要重新训练；现有的轻量级方案（如 TOPLOC）往往需要验证者重新运行模型或暴露内部状态，且仅检查最后一层，无法检测“慢燃烧”式的深层篡改。
目标：设计一种机制，允许轻量级客户端（无 GPU 或资源受限）在不重新运行模型、不暴露内部状态（隐藏层激活值）的前提下，验证复杂的 LLM 推理是否正确执行。

2. 核心方法论：TensorCommitments (TCs)

本文提出了 TensorCommitments (TCs)，一种原生的张量承诺方案，旨在解决 LLM 推理验证中的可扩展性和效率问题。

2.1 核心洞察：从向量到张量

现有的承诺方案（如 KZG）通常将数据视为一维向量，使用单变量多项式进行编码。对于拥有数十亿参数的 LLM，随着层数和 Token 数量的增加，多项式的度数急剧上升，导致插值和承诺生成的成本过高。
TCs 的关键创新在于将 LLM 的激活值视为张量（Tensor），利用多变量多项式插值。

原理：LLM 的激活值天然具有多维结构（如层、头、序列长度）。TCs 将这些数据映射到多变量多项式 $f_T(X_1, \dots, X_m)$ 上。
优势：如图 1 所示，对于固定数量的数据点，随着维度 $m$ 的增加，多变量插值的运行时间显著低于单变量插值（例如从 1D 到 2D，运行时间可减少 30 倍以上）。这使得承诺和证明的生成更加高效。

2.2 技术组件

A. TensorCommitments (TCs)

承诺（Commitment）：将张量 $T$ 通过拉格朗日插值转化为多变量多项式 $f_T$ ，利用结构化参考字符串（SRS）和配对（Pairing）技术，计算出一个群元素 $C_T = g^{f_T(\tau_1, \dots, \tau_m)}$ 作为承诺。
打开（Opening）：当验证者挑战特定坐标 $\omega$ 时，证明者通过迭代地“剥离”每个变量（多项式除法），生成商多项式 $q_i$ 的承诺作为证明 $\pi_\omega$ 。
验证（Verification）：验证者利用双线性配对（Bilinear Pairing）检查承诺与打开值的一致性，无需知道原始张量或多项式。

B. Terkle Trees (TTs)

为了处理 LLM 的长序列和多轮对话，作者提出了 Terkle Trees，这是一种基于张量承诺的认证树结构。

结构：不同于传统的 Merkle 树（基于哈希）或 Verkle 树（基于一维向量承诺），Terkle 树的每个内部节点将子节点组织成一个张量，并使用 TCs 进行承诺。
优势：
- 保持结构：保留了张量的多维结构，支持对局部区域（如特定的层、特定的时间步）进行高效查询。
- 效率：如图 5 所示，Terkle 树在构建和证明生成时间上比 Verkle 树快数十倍，同时保持了与 Merkle 树相当的证明大小和验证速度。
- 可扩展性：单个根承诺即可认证整个对话历史，验证者只需检查选定的路径。

C. 鲁棒感知的层选择算法

验证整个模型（如 70B 参数）是不现实的。作者设计了一种算法来识别对输出最关键的层。

原理：利用重尾谱评分（Heavy-tailed spectral scores）。通过分析各层权重的谱密度，识别出那些对扰动最敏感（即“脆弱”）的层。
优化：将验证任务建模为一个整数线性规划问题（或动态规划），在有限的计算预算下，选择覆盖最大“攻击覆盖范围”（Attack Manipulation Coverage, AMC）的连续层区间进行验证。

3. 主要贡献

多变量承诺方案：设计了专为 LLM 长序列推理定制的多变量承诺方案，利用张量结构显著降低了计算开销。
Terkle 树：提出了一种新的张量原生认证结构，能够以单个根节点追踪演变的隐藏状态，支持低开销的局部查询。
智能层选择：设计了基于谱分析的层选择算法，在有限的验证预算下最大化对针对性攻击的防御能力。
系统实现与开源：在多个 LLM（如 LLaMA2）上进行了系统评估，并开源了实现代码，可直接集成到推理流水线中。

4. 实验结果与性能

作者在 LLaMA2-13B 模型上进行了广泛测试，并与现有最先进方法（如 zkLLM, SVIP, TOPLOC）进行了对比：

开销极低：
- 证明者（Prover）：TCs 仅增加了 0.97% 的推理时间。
- 验证者（Verifier）：验证时间仅增加 0.12%，且无需 GPU（仅需 CPU 进行配对检查）。
- 对比：相比需要验证者 GPU 的 TOPLOC，TCs 的证明时间减少了 30%，验证时间减少了 85%。
鲁棒性提升：
- 针对精心设计的攻击（如 Prompt 篡改、噪声注入），TCs 的检测准确率比 TOPLOC 高出 48%（中位数）。
- 能够检测出 TOPLOC 无法发现的“慢燃烧”攻击（如早期层的微小扰动或权重微调），因为 TOPLOC 仅依赖最后一层的指纹。
隐私保护：
- 验证者不需要重新运行模型，也不需要访问模型的权重或完整的隐藏状态激活值，仅通过承诺和少量打开证明即可验证，完美保护了模型隐私。
可扩展性：
- Terkle 树在数据量增加时表现出极佳的扩展性，构建和证明生成速度远优于 Verkle 树。

5. 意义与影响

填补空白：解决了在 LLM 规模下，如何在保持低开销的同时实现强密码学保证的验证难题。
实际应用：使得轻量级设备（如手机、普通工作站）能够安全地信任云端 LLM 的推理结果，这对于金融、医疗、法律等高风险领域的 AI 应用至关重要。
架构创新：将张量结构引入密码学承诺，为未来处理高维数据（如图像、视频、多智能体状态）的可验证计算提供了新的范式。
未来方向：作者计划结合同态加密以实现完全机密设置，并进一步优化多参与者计算场景下的信任分配。

总结：TensorCommitments 通过利用 LLM 内在的张量结构，将可验证推理的开销降低到了几乎可以忽略不计的水平，同时显著提高了对恶意篡改的检测能力，是迈向可信、高效 AI 基础设施的重要一步。