💻 computer science

Hawkeye: Reproducing GPU-Level Non-Determinism

本文提出了 Hawkeye 系统，通过系统性地分析 NVIDIA GPU 上的舍入方向、次正规数处理及非结合累加顺序等算术细节，实现了在 CPU 上无损复现 GPU 矩阵乘法运算，从而为机器学习模型的训练与推理提供了高效且可信的第三方审计方案。

原作者： Erez Badash, Dan Boneh, Ilan Komargodski, Megha Srivastava

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Erez Badash, Dan Boneh, Ilan Komargodski, Megha Srivastava

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Hawkeye（鹰眼） 的新系统。为了让你轻松理解，我们可以把机器学习（AI）的运算过程想象成在厨房里用不同的厨具做一道极其复杂的菜。

1. 背景：为什么我们需要“鹰眼”？

想象一下，你（客户）想尝一口大厨（云服务提供商）做的菜，但你自己没有厨房，只能把食材寄给大厨，让他做完后把成品寄回来。

问题：你如何确定大厨真的按照你的食谱做了？他有没有偷懒（比如少炒了几分钟）？有没有偷偷加了不该加的调料（后门）？或者，他是不是用了不同的锅（不同的显卡），导致味道（计算结果）有一点点细微的差别？
现状：以前的方法要么太慢（让你自己重新做一遍，但你的锅不够好），要么不够准（只能大概猜，不能保证 100% 一样）。
核心难点：现在的 AI 运算（特别是矩阵乘法）非常依赖硬件。就像不同的厨师用不同的刀切菜，哪怕切的是同一块肉，切出来的形状和大小也可能有肉眼看不见的微小差异。这种差异被称为**“非确定性”**。

2. Hawkeye 是什么？

Hawkeye 就像一个拥有“透视眼”的超级美食评论家。

它的核心能力是：即使大厨用的是昂贵的 NVIDIA 专业显卡（GPU），Hawkeye 也能在你的普通电脑（CPU）上，完美地、分毫不差地“复刻”出大厨刚才做的每一道菜。

以前：如果你在大厨的锅里尝了一口，发现味道是咸的；你在自己锅里复刻，发现是微咸的。你会怀疑：“是大厨做错了，还是因为我的锅不一样？”
现在（Hawkeye）：Hawkeye 能精确模拟大厨那口锅的每一个化学反应。如果你复刻出来的味道和大厨的一模一样（比特级一致），那就证明大厨没作弊。如果不一样，那肯定是大厨做错了。

3. 它是如何做到的？（核心秘密）

Hawkeye 之所以能做到这一点，是因为它像侦探一样，对 NVIDIA 显卡的“黑盒”进行了彻底的逆向工程。它通过一系列精心设计的“测试题”，搞清楚了显卡内部那些不为人知的“小习惯”。

我们可以用几个生动的比喻来解释这些技术细节：

A. 算账的顺序（累加顺序）

比喻：想象你要把 16 个硬币加起来。
- 方法 A：先加前 8 个，再加后 8 个，最后把两堆加起来。
- 方法 B：一个一个按顺序加。
发现：Hawkeye 发现，不同的显卡（比如 Ampere 架构和 Hopper 架构）有不同的“算账习惯”。Ampere 喜欢先把硬币分成两堆加，而 Hopper 喜欢一次性全加。Hawkeye 在 CPU 上模拟时，会完全照搬显卡的分组习惯，而不是用数学上更简单的顺序。

B. 舍入的“小脾气”（舍入模式）

比喻：当你把 1.5 元变成整数时，是变成 1 元还是 2 元？或者如果是 1.500001 呢？
发现：显卡在处理极小的数字时，有一种特殊的“截断”习惯（向零舍入），而不是我们通常认为的“四舍五入”。Hawkeye 捕捉到了这个细节，确保在 CPU 上也执行同样的“截断”操作，哪怕这意味着丢掉一点点精度。

C. 处理“隐形”的小数（次正规数）

比喻：有些硬币太小了，小到几乎看不见（次正规数）。有些锅（显卡）会把这种小硬币直接扔掉，有些锅则会把它放大再处理。
发现：Hawkeye 发现显卡在处理这些“隐形硬币”时，不会先放大它们，而是直接带着它们原本微小的精度进入下一步计算。Hawkeye 在 CPU 上也模仿了这个“不放大”的行为。

D. 内部精度的“秘密仓库”

比喻：虽然你给显卡的食材是“半杯面粉”（FP16 精度），但显卡内部其实有一个“大仓库”（FP32 甚至更高精度）在暂存中间结果，最后才倒回“半杯”里。
发现：Hawkeye 搞清楚了显卡内部这个“大仓库”到底有多大（比如是 24 位还是 25 位精度），并在 CPU 上重建了这个大仓库，确保中间过程不丢失任何信息。

4. 实验结果：完美复刻

研究人员在多种最新的显卡（Ampere, Hopper, Lovelace）和多种数据格式（FP16, BF16, FP8）上进行了测试。

结果：Hawkeye 在 CPU 上生成的计算结果，与在真实显卡上运行的结果100% 完全一致（比特级匹配）。
意义：这意味着，只要知道对方用了什么型号的显卡，审计员就可以在自己的电脑上运行 Hawkeye，生成一个“标准答案”。如果服务提供者给的结果和这个“标准答案”不一样，那就铁证如山：他们要么算错了，要么在作弊。

5. 总结与未来

Hawkeye 就像是为 AI 世界建立了一套“通用翻译器”和“验真仪”。

以前：大家互相猜疑，因为硬件不同导致结果不同，很难证明谁对谁错。
现在：有了 Hawkeye，我们可以把复杂的 GPU 运算“翻译”成 CPU 能完美理解的步骤。

未来的挑战：
虽然 Hawkeye 已经能完美复刻“切菜和炒菜”（矩阵乘法）的过程，但完整的 AI 训练还包含很多其他步骤（比如卷积、注意力机制）。Hawkeye 目前专注于最核心的部分，未来需要把这套技术扩展到整个 AI 流水线，并让它跑得更快，以便在大规模分布式系统中实时审计。

一句话总结：
Hawkeye 让任何人都能像“上帝视角”一样，在普通电脑上完美重现顶级显卡的运算过程，从而彻底消除 AI 服务中的“信任黑箱”，让每一次计算都透明、可验证。

论文技术总结：HAWKEYE - 复现 GPU 级别的非确定性

1. 研究背景与问题 (Problem)

随着机器学习（ML）模型（特别是大型语言模型）的规模扩大，训练和推理任务日益依赖高性能 GPU 集群（如 NVIDIA GPU）。为了降低成本，许多用户选择使用“机器学习即服务”（MLaaS）平台。然而，这引入了可验证性（Verifiability）问题：客户如何确信服务提供商没有引入后门、缩短训练步数或进行其他恶意修改？

现有的可验证计算方案（如零知识证明）通常假设计算是确定性的。然而，现代 ML 工作流在 GPU 上运行时具有显著的非确定性（Non-determinism），主要原因包括：

硬件特性：NVIDIA Tensor Cores 等专用硬件单元在执行矩阵乘法时，其内部实现细节（如舍入策略、次正规数处理、累加顺序）并未完全公开。
浮点运算的非结合性：由于浮点数精度有限，不同的累加顺序会导致不同的舍入误差，从而产生不同的最终结果。
后果：即使输入、随机种子和模型完全相同，在不同的 GPU 架构（如 Ampere, Hopper, Lovelace）或不同的执行调度下，也可能产生位级（bit-level）不同的输出。

核心挑战：审计员无法简单地通过“重新执行”来验证 GPU 的计算结果，因为由于硬件非确定性，CPU 上的标准复现结果可能与 GPU 结果存在微小差异，导致误判。现有的解决方案要么引入巨大的计算开销，要么通过牺牲精度（如强制舍入）来消除差异，要么依赖缺乏形式化保证的启发式方法。

2. 方法论 (Methodology)

本文提出了 Hawkeye，一个旨在在 CPU 上精确位级复现（Bit-exact reproduction）NVIDIA GPU Tensor Core 矩阵乘法运算的系统。其核心思想是通过系统化的实验逆向工程，完全理解并模拟 Tensor Core 的内部数值行为，而无需修改原始 GPU 内核。

2.1 核心工作流程

定制化 CUDA 内核：编写自定义 CUDA 内核，通过内联 PTX 汇编直接调用硬件的 mma（矩阵乘法累加）指令，以隔离并测试 Tensor Core 的具体行为。
目标测试套件（Targeted Tests）：设计了一系列精心构造的测试用例，针对矩阵乘法累加（MMA）过程中的关键数值特性进行探测。主要测试包括：
- 求和依赖与顺序测试：确定部分积的累加顺序（例如，是两阶段累加还是单阶段累加）。
- 内部精度检测：探测累加过程中使用的内部尾数（Significand）精度（例如，FP16 输入是否使用 FP32 或更高精度的内部累加器）。
- 舍入模式检测：确定移位对齐（Alignment）和最终结果转换时的舍入模式（如向零舍入、向最近偶数舍入等）。
- 归一化阶段检测：确定中间乘积是在累加前归一化，还是延迟到累加后归一化。
- 次正规数（Subnormal）：测试硬件如何处理次正规数输入及其对精度的影响。
构建模拟器：将上述测试得出的数值行为规则编码为一个软件模拟器，该模拟器在 CPU 上严格遵循这些规则执行矩阵乘法。

3. 关键发现与贡献 (Key Contributions)

Hawkeye 的主要技术贡献在于揭示了不同 GPU 架构下 Tensor Core 的具体数值行为，并成功构建了复现模型：

**Ampere 架构 **(FP16)：
- 累加结构：采用两阶段累加结构。初始累加器与第一个 8 个乘积先求和，然后再与最后 8 个乘积求和（金字塔结构）。
- 内部精度：使用 24 位 有效数字（Significand）进行累加（相当于 FP32 精度）。
- 舍入模式：在移位对齐和最终结果转换时，均采用向零舍入（Round-towards-zero/Truncation），而非 IEEE 754 标准的向最近偶数舍入。
- 归一化：中间乘积在累加前不进行归一化，原始乘积的有效数字直接传递到累加器。
- 次正规数：次正规数输入产生的乘积不重新归一化，直接以低精度有效数字参与累加。
**Hopper 架构 **(FP16)：
- 累加结构：采用单阶段累加，所有 16 个乘积与初始累加器一次性求和。
- 内部精度：使用 25 位 有效数字。
- 其他特性：同样采用向零舍入和延迟归一化策略。
BF16 与 FP8 支持：
- 验证了 Ampere 架构上 BF16 的累加策略与 FP16 一致。
- 揭示了 BF16 在累加过程中允许中间值暂时超出 FP32 范围（Extended-range accumulation），但最终结果仍会被截断或饱和到 FP32 范围（溢出转为无穷大）。
- 确定了 BF16 累加中能影响最终结果的最小有效贡献指数（约为 $2^{-156}$ ）。
通用性：证明了即使架构不同（Ampere vs. Hopper），通过针对性的测试也能提取出精确的数值模型，并在 CPU 上实现 100% 的位级复现。

4. 实验结果 (Results)

复现成功率：在多种 GPU 架构（Ampere, Hopper, Lovelace）和精度类型（FP16, BF16, FP8）上进行了测试。对于随机生成的 $16 \times 16$ 矩阵乘法，Hawkeye 实现了 100% 的位级精确复现（Bit-exact replication）。
性能：虽然 CPU 模拟器的执行速度远慢于 GPU（这是预期的，因为它是用于审计而非实时推理），但对于“一次性审计”场景，这种延迟是可以接受的。
验证能力：该系统能够区分“由于硬件非确定性导致的微小差异”和“由于恶意行为（如使用错误模型或截断训练）导致的显著差异”。

5. 意义与影响 (Significance)

推动可验证机器学习（Verifiable ML）：Hawkeye 解决了 ML 审计中的核心障碍——硬件非确定性。它使得第三方审计员能够在 CPU 上生成一个“黄金标准”参考结果，用于验证任意 GPU 执行的正确性，而无需依赖昂贵的密码学证明或牺牲精度。
硬件透明性：通过逆向工程揭示了 NVIDIA Tensor Core 的黑盒行为，为理解现代 AI 硬件的数值稳定性提供了宝贵资料。
信任机制：为云端的 ML 服务（如 AWS SageMaker, Google Vertex AI）提供了一种技术保障，确保服务提供商按承诺执行任务，防止“偷工减料”或恶意篡改。
未来方向：虽然目前专注于矩阵乘法，但该方法论为复现更复杂的 ML 算子（如卷积、注意力机制）以及构建端到端的可验证 ML 管道奠定了基础。

总结：Hawkeye 通过精细的数值行为逆向工程，成功消除了 GPU 矩阵乘法中的非确定性障碍，实现了 CPU 对 GPU 计算的完美复现，为构建可信、可审计的机器学习生态系统提供了关键的技术支撑。