TAO: Tolerance-Aware Optimistic Verification for Floating-Point Neural Networks

本文提出了 TAO 协议，一种针对浮点神经网络的新型验证方案，它通过结合 IEEE-754 理论误差界与硬件校准的实证分布，在无需可信硬件或确定性内核的前提下，利用容差感知机制和分层争议解决流程，有效解决了异构加速环境下 ML 即服务的输出可验证性与可扩展性难题。

要点

这是一篇关于TAO（Tolerance-Aware Optimistic Verification，容差感知的乐观验证）的论文。为了让你轻松理解，我们可以把这篇论文讲成一个关于"如何在不信任的厨房里，放心地吃大厨做的菜"的故事。

🍳 核心问题：你点的菜，真的是大厨做的吗？

想象一下，你（用户）在一家云餐厅（比如 AWS、Azure 或各种 AI 算力市场）点了一道复杂的菜（运行一个大型 AI 模型，比如写诗、画图或回答问题）。

现在的困境是：

1. 你看不见厨房：你无法亲自去厨房看大厨（服务器）是不是真的用了你指定的食谱（模型），还是偷偷换成了更便宜的预制菜（模型替换），或者为了省时间少放了几步（量化/简化）。
2. 厨房很“随性”：现在的超级厨房（GPU 显卡）非常先进，但它们有个怪脾气：同样的菜谱，不同的厨师（或同一厨师不同时间）。
   • 比如，切菜时先切洋葱还是先切蒜，或者搅拌时顺时针还是逆时针，虽然对味道（最终结果）影响微乎其微，但会导致盘子里的菜看起来有一点点不一样。
   • 以前的验证方法要求“完全一模一样”（比特级一致），但这在复杂的现代厨房里几乎是不可能的，要么慢得让人等死，要么根本做不到。

如果要求“完全一样”，你就得：

• 要么把厨房拆了重装（牺牲性能，太慢）。
• 要么完全信任那个卖厨房的老板（引入信任风险）。
• 要么雇一群人来盯着（成本太高）。

💡 TAO 的解决方案：只要“味道对”，就不纠结“摆盘”

TAO 提出了一种聪明的新规则：我们不需要菜看起来一模一样，只要味道在“可接受的误差范围”内，就认为是合格的。

这就好比：

• 旧规则：如果你点的牛排是 5 分熟，端上来的牛排必须每一块肉的纹理、温度、颜色都和标准答案完全一致，差 0.01 度都不行。
• TAO 新规则：只要牛排是 5 分熟，且误差在厨师能接受的微小范围内（比如温度差个 1 度，或者盐味差一点点），我们就认为这是好牛排。

🛠️ TAO 是如何工作的？（三个关键步骤）

1. 两个“尺子”来衡量误差

TAO 准备了两把尺子来检查大厨有没有偷懒或作弊：

• 尺子 A（理论尺）：这是一把很宽、很保守的尺子。它基于数学原理，计算“在物理极限下，这道菜最多能差多少”。如果大厨的菜超出了这个极限，那肯定是作弊（比如用了假肉）。这把尺子很安全，但有时候太宽泛，抓不住小作弊。
• 尺子 B（经验尺）：这是一把很精准、很严格的尺子。TAO 先让大厨在多种厨房设备上都试做这道菜，记录下大家通常的误差范围（比如大家通常误差在 0.001 以内）。如果这次做出来的误差突然变成了 0.1，那肯定有问题。这把尺子更灵敏。

2. “切蛋糕”式的找茬游戏（争议解决）

如果用户觉得菜不对，或者有人举报大厨作弊，TAO 不会把整道菜倒掉重做（那样太慢太贵），而是玩一个"找茬游戏"：

• 第一步：把整道菜（整个计算过程）切成几块（比如前 1/4，中 1/4，后 1/4）。
• 第二步：检查哪一块的味道（计算结果）超出了“经验尺”的范围。
• 第三步：只把那块“坏掉的蛋糕”再切小，继续找。
• 结果：经过几轮切割，最终只锁定到一个最小的操作单元（比如“加盐”这个动作，或者矩阵乘法中的某一步）。
• 好处：不需要检查整道菜，只需要检查那个出错的“小动作”，速度极快。

3. 最后的裁决（Leaf Adjudication）

当锁定到那个最小的“坏动作”时，怎么判？

• 情况一：如果这个动作的误差连“理论尺”都测不出来（说明误差极小，可能是正常的随机波动），那就直接通过。
• 情况二：如果误差有点大，但还在“理论尺”范围内，那就请几个独立的评委（委员会）来尝一尝。只要大多数评委觉得“这味道还在正常范围内”，就通过。
• 情况三：如果明显超出了“理论尺”，或者评委们发现味道完全不对（比如把糖当成了盐），那就判定大厨作弊，扣除他的押金（Slashing），并奖励举报者。

🌟 为什么 TAO 很厉害？

1. 不强迫“完美”：它承认现代科技（浮点数计算）天生就有微小的随机性，不再强求“比特级一致”，这让验证变得可行。
2. 速度飞快：因为不需要重新计算整个模型，只需要在出问题时“切蛋糕”找局部，所以日常使用几乎没有延迟（论文中提到延迟仅增加 0.3%）。
3. 兼容性强：它不要求大厨改变切菜习惯（不需要修改底层的 GPU 代码），可以直接用现有的高性能显卡。
4. 防作弊：论文中的攻击实验显示，即使黑客试图利用微小的误差来欺骗系统，TAO 的“经验尺”也能把成功率降到0%。

📝 总结比喻

想象你在玩一个多人在线的“你画我猜”游戏：

• 以前：要求每个人画出来的线条必须像素级重合，否则就判输。但这很难，因为大家的手抖程度不一样。
• TAO：大家约定一个"容差圈"。只要画出来的东西在圈里，就算对。
• 如果有人作弊（画了个完全不同的东西）：裁判不会把整张画撕了，而是像切西瓜一样，一块一块切，直到找到那个画歪了的“小块”。
• 最后：只针对那个“小块”进行裁决。如果那个小块确实歪了，就罚那个玩家；如果只是在圈里晃悠，就放过他。

TAO 的核心价值：它让 AI 服务在不牺牲速度、不依赖完全信任的前提下，变得透明且可验证。用户终于可以安心地让云端的 AI 帮自己干活，而不用担心被偷偷“降级”或“换模型”了。

技术摘要

1. 研究背景与问题 (Problem)

随着机器学习即服务（MLaaS）的兴起，用户越来越多地将训练和推理任务外包给第三方基础设施（如云 GPU、推理市场、边缘加速器）。然而，这种外包模式带来了严重的信任与验证问题：

• 服务降级风险：服务提供商可能在不告知用户的情况下进行模型替换、量化、图重写或提前退出（early exit），导致输出质量下降或广告嵌入被篡改。
• 浮点运算的非确定性：现代异构加速器（GPU/TPU）上的浮点运算（IEEE-754）本质上是非确定性的。由于浮点加法/乘法的非结合性、内核融合（kernel fusion）、线程调度差异以及原子操作，相同的模型在不同硬件（甚至同一硬件多次运行）上产生的输出在比特级（bitwise）上往往不完全一致。
• 现有方案的局限性：
  • zkML（零知识证明）：将浮点运算转换为有限域算术或定点电路极其昂贵，证明速度慢且内存占用大，难以扩展到大型模型。
  • 确定性重放：强制使用确定性库或禁用优化会牺牲性能，且无法兼容现代异构硬件的固有特性。
  • 可信执行环境（TEE）：将信任转移给单一硬件厂商，存在侧信道攻击风险且性能受限。
  • 复制与多数投票：成本过高，缺乏可扩展性。

核心挑战：如何在不牺牲生产级性能和不依赖特定硬件信任的前提下，为异构硬件上的浮点神经网络提供可验证且经济高效的验证方案？

---

2. 方法论 (Methodology)

论文提出了 TAO，一种容差感知（Tolerance-Aware）的乐观验证协议。其核心思想是放弃“比特级相等”的苛刻要求，转而验证输出是否落在基于算子（operator-level）的合理误差容限区域内。

2.1 核心架构：乐观验证与争议游戏

TAO 采用乐观执行模式：

1. 提交（Commitment）：提议者（Proposer）在异构硬件上运行模型，提交包含输入、输出和模型承诺的哈希。
2. 挑战窗口：如果在一定时间内无人挑战，结果即被确认（Finality）。
3. 争议定位（Dispute Localization）：如果发生争议，启动基于 Merkle 树 的交互式争议游戏。
   • 游戏将争议从整个计算图递归地缩小到单个算子（Single Operator）。
   • 利用阈值引导的分割策略，快速定位第一个超出误差阈值的子图。
4. 叶子节点裁决（Leaf Adjudication）：当争议缩小到单个算子时，进行低成本裁决：
   • 理论边界检查：基于 IEEE-754 的最坏情况舍入误差理论界。
   • 委员会投票：如果理论界过于宽松，由一个小规模的诚实多数委员会根据经验误差百分位阈值进行投票裁决。

2.2 双重误差模型 (Two Complementary Error Models)

TAO 结合了两种误差模型以实现平衡：

1. 理论 IEEE-754 边界 (Theoretical Bounds)：
   • 为每个算子计算最坏情况的逐元素舍入误差。
   • 特点：数学上可靠（Sound），硬件无关，但通常过于保守（Loose），可能导致误报。
   • 用途：作为叶子节点的快速、低成本检查，用于拦截明显的恶意篡改（如模型替换）。
2. 经验误差百分位阈值 (Empirical Percentile Thresholds)：
   • 在离线阶段，跨多种硬件（如 A100, H100, RTX4090）和输入数据，校准每个算子的误差分布。
   • 特点：非常紧密（Tight），能精确反映真实硬件的非确定性范围，比理论界紧 100-1000 倍。
   • 用途：用于争议定位过程中的引导，以及在叶子节点进行更严格的裁决（通过委员会投票）。

2.3 实现细节

• 运行时：基于 PyTorch 的运行时，使用 FX 图追踪技术，实时计算理论边界并记录中间结果。
• 协调层：原型实现为以太坊智能合约（Holesky 测试网），负责管理承诺、挑战窗口、保证金（Bond）和惩罚机制。
• 无需修改内核：直接运行未修改的厂商 FP32 内核，仅增加极小的运行时开销。

---

3. 主要贡献 (Key Contributions)

1. 可经济验证的浮点 ML 语义：形式化了“容差感知正确性”的概念，设计了无需确定性即可实现经济最终性的乐观挑战 - 响应协议。
2. 算子粒度的误差分析与攻击研究：
   • 提出了便携的理论边界和紧密的经验阈值双重模型。
   • 设计了针对边界感知的自适应梯度攻击（PGD），量化了攻击者在保持误差在容限内的能力。
3. 高效且鲁棒的争议解决机制：
   • 设计了基于 Merkle 树锚定、阈值引导的争议游戏，将争议递归定位到单个算子。
   • 实现了低成本的叶子节点裁决（理论检查或委员会投票），在尊重非确定性的同时确保问责。
4. 可部署的系统实现：构建了兼容 PyTorch 的运行时和完整的端到端系统，在开放模型设置下展示了其实用性。

---

4. 实验结果 (Results)

实验涵盖了 CNN (ResNet-152)、Transformer (BERT-large)、LLM (Qwen3-8B) 和扩散模型 (Stable Diffusion)，并在多种 GPU (A100, H100, RTX6000, RTX4090) 上进行了测试。

• 误差紧密度：经验误差百分位阈值比理论最坏情况边界紧 10²–10³ 倍（例如在 Transformer 中）。
• 攻击成功率 (ASR)：
  • 在精心设计的自适应攻击下，使用经验阈值的验证方案在所有模型上的攻击成功率为 0%。
  • 仅使用理论边界时，LLM (Qwen3-8B) 存在约 2.4% 的攻击成功率，表明理论边界对大型模型过于宽松。
  • 误报率 (False Positives)：在诚实执行下，基于经验阈值的争议系统从未触发误报（0% 误报）。
• 性能开销：
  • 运行时开销：在 Qwen3-8B 上，乐观执行阶段的额外延迟仅为 0.3%。
  • 争议成本：争议定位过程平均需要约 11 轮（N=2 分割），链上 Gas 消耗约为 2M（在 Holesky 测试网）。
  • 计算成本：争议解决所需的计算量（DCR）约为模型前向传播的 0.39–1.24 倍。
• 对比 zkML：TAO 在延迟和内存占用上比 zkML 方案低几个数量级，且无需量化或牺牲原生 GPU 性能。

---

5. 意义与结论 (Significance)

• 解决非确定性与验证的矛盾：TAO 首次提出了一种实用方案，在不消除浮点非确定性（即不牺牲硬件性能和异构性）的前提下，实现了神经网络的验证。
• 经济可行性：通过“乐观执行 + 争议定位”模式，将验证成本从“全量重算”降低为“仅在争议发生时局部重算”，使得在区块链或去中心化网络上验证大型 LLM 成为可能。
• 安全性保障：研究表明，虽然单个算子的微小扰动是允许的，但恶意攻击者很难在不触发争议的情况下累积足够的误差来改变最终输出（如分类标签或生成的 Token）。
• 应用前景：TAO 为 MLaaS 市场、去中心化推理网络（Decentralized Inference Markets）以及需要审计的 AI 应用提供了关键的信任基础设施，确保用户能够验证他们购买的服务是否按承诺执行。

总结：TAO 通过接受“合理的误差”而非追求“绝对的比特级一致”，成功地在可扩展性、性能和可验证性之间取得了平衡，是迈向可信、去中心化 AI 基础设施的重要一步。