论文技术总结：面向 AI 治理的 GPU 定时与内存遥测

1. 研究背景与问题定义 (Problem)

随着 GPU 加速计算在大型人工智能（AI）模型（如大语言模型 LLM）训练和推理中的广泛应用，如何有效治理这些算力资源成为关键挑战。现有的治理方案面临以下核心痛点：

• 缺乏可信遥测：当前商业 GPU（如 NVIDIA H100）缺乏防篡改的硬件级使用监控机制。固件栈通常由厂商封闭，设备计数器可被特权主机重置、伪造或抑制。
• 信任环境缺失：在去中心化或分布式计算基础设施中，主机（Host）和 GPU 设备本身可能都是不可信的。传统的可信执行环境（TEE，如 Intel SGX、AMD SEV）已多次被微架构攻击（如 Foreshadow、Plundervolt）攻破，且 NVIDIA 的机密计算（CC）模式也被证明存在漏洞。
• 治理盲区：在缺乏可信硬件锚点（Hardware Trust Anchors）的情况下，难以检测 GPU 是否被静默地重新用于恶意目的（如训练未授权的模型、自动化漏洞利用），同时也难以在不泄露用户隐私（如模型架构、训练数据）的前提下进行合规性审计。

核心问题：在主机和 GPU 均不可信（Untrusted）的对抗性环境中，能否仅通过可测量的计算努力和内存行为（即定时和内存特征），推断出 GPU 的实际利用情况，从而为 AI 治理提供可操作的信号？

2. 方法论 (Methodology)

作者提出了一种基于计算（Compute-based）的测量框架，不依赖硬件信任根，而是利用现代 GPU 的架构特性（如高带宽内存 HBM、张量核心 Tensor Cores、大规模并行性）来生成与真实计算活动相关的可观测信号。该框架包含四个互补的测量原语（Primitives）：

2.1 四种测量原语

1. 基于工作量证明（PoW）的并行负载测量：

   • 原理：利用内存密集型哈希函数（如 Argon2），要求 GPU 执行大规模并行搜索。
   • 目的：暴露并行计算努力，通过调整难度控制资源占用率。
   • 特点：高功耗，但能有效抵抗外包（Outsourcing），因为 ASIC/CPU 难以在内存带宽上竞争。

2. 基于可验证延迟函数（VDF）的串行压力测量：

   • 原理：利用需要严格串行执行的密码学操作（如大整数模平方），在 GPU 上并行运行多个 VDF 实例。
   • 目的：表征标量执行压力，检测是否进行了预计算或并行外包。
   • 特点：提供比 PoW 更精确的时间延迟模型，反映 CUDA 核心（Scalar Cores）的负载。

3. 基于 GEMM 的张量核心测量：

   • 原理：利用通用矩阵乘法（GEMM）内核，专门针对 GPU 的张量核心（Tensor Cores）进行密集线性代数运算。
   • 目的：反映现代 AI 工作负载（如 Transformer）的主要计算路径。
   • 特点：能够区分张量核心执行与标量模拟，直接关联 AI 推理/训练的实际吞吐量。

4. VRAM 驻留性测试（Memory Residency Test）：

   • 原理：利用 HBM（显存）与系统内存（通过 PCIe 访问）之间的巨大带宽和延迟差异。将挑战数据块（Challenge Data）预置在 GPU 显存中，通过哈希函数进行随机访问。
   • 目的：区分数据是在本地显存（Hot）还是被换出到主机内存（Cold）。
   • 特点：基于架构特性的非计算密集型测量。如果数据被换出，访问延迟会显著增加（冷访问惩罚），从而检测内存外包或资源争用。

2.2 挑战 - 响应机制

系统采用挑战者（Challenger）与工作者（Worker/GPU）的交互模式：

• 挑战生成：挑战者生成随机盐值（Salt）和时间戳，构造谜题（PoW/VDF/GEMM）或内存挑战。
• 随机调度：采用随机时间间隔发送挑战，防止攻击者预测并规避。
• 验证：验证者检查返回结果的正确性和时间延迟。如果延迟超出预期阈值（表明资源被争用或数据被换出），则判定为违规。

3. 主要贡献 (Key Contributions)

1. 理论到实践的转化：将经典的 PoW、VDF 和内存硬函数（MHF）理论适配到 GPU 特定的架构行为（如 HBM 负载、张量核心饱和），创造了新的架构依赖型可观测指标。
2. 多原语框架设计：设计了四种互补的测量原语，分别覆盖并行计算、串行延迟、张量核心吞吐和内存驻留性，形成了多维度的遥测体系。
3. 对抗环境下的可行性验证：在不可信主机和虚拟化的极端条件下，证明了这些测量方法能有效检测资源争用（Contention）和内存换出（Eviction）。
4. 量化分析：系统评估了这些原语在时间延迟、功耗、内存占用和调度干扰方面的表现，量化了它们与真实 AI 工作负载（如 LLM 推理）共存时的信号响应。

4. 实验结果 (Results)

作者在 NVIDIA Turing (T4) 和 Hopper (H100) 架构上进行了广泛实验，对比了不同 LLM 模型（TinyLlama, Qwen 系列）与测量原语的并发运行情况：

• PoW 响应时间：
  • 解决时间呈指数分布，符合理论模型。
  • 资源争用敏感：当并发运行大模型（如 Qwen2.5-7B，占用 9GB VRAM）时，PoW 的解决时间显著增加（从约 19s 增加到 51s），证明了其对 GPU 计算和内存带宽争用的敏感性。
• VDF 延迟分析：
  • 相比 PoW，VDF 的解决时间分布更紧密、更可预测。
  • 标量核心争用：VDF 主要受 CUDA 标量核心压力影响。当并发运行依赖标量核心的模型时，VDF 延迟明显增加，能够捕捉到细粒度的利用波动。
• GEMM 张量核心测量：
  • 在 H100 上，GEMM-PoW 主要受张量核心压力影响。
  • AI 路径隔离：大型模型（如 Qwen2.5-72B）对张量核心的占用导致 GEMM 解决时间显著延长，成功隔离并测量了深度学习执行路径的活动。
• VRAM 驻留性检测：
  • 显著的延迟差异：当挑战数据位于 HBM（Hot）时，响应时间极短；当数据被换出到主机内存（Cold）时，延迟增加超过 350ms，极易区分。
  • 内存压力检测：当大模型（如 Qwen2.5-72B）占用过多显存导致挑战数据被换出时，系统能立即检测到“冷访问”惩罚，从而推断出显存压力过大。
• 开销分析：
  • 功耗：连续测量（PoW, VDF, GEMM）带来显著的功耗增加，而 VRAM 驻留测试仅在随机挑战时触发，功耗开销可忽略不计。
  • 性能影响：连续测量会降低 LLM 的 Token 吞吐量（因争用资源），而 VRAM 驻留测试对吞吐量影响极小。

5. 意义与展望 (Significance)

• 补充硬件信任：该研究提供了一种不依赖厂商封闭固件或易受攻击的 TEE 的替代方案，通过“计算即证据”（Computation as Evidence）来增强 AI 治理。
• 治理应用：这些测量原语可作为未来 AI 治理协议的基础信号，用于：
  • 位置估计：通过延迟放大检测地理位置欺诈。
  • 租户歧视检测：识别隐蔽的 GPU 共享或共居工作负载。
  • 公平性审计：检测资源饥饿或过度使用。
  • 资源绑定：确保工作负载在特定类型的加速器上运行。
• 隐私保护：该方法仅测量时间延迟和内存行为，不泄露模型参数、训练数据或具体算法逻辑，符合隐私保护要求。
• 未来方向：虽然目前未提供密码学级别的执行证明，但这些统计和行为信号为未来的自动化合规检查、异常检测和动态资源调度提供了强有力的技术支撑。

总结：本文提出了一种创新的、基于架构特性的 GPU 遥测框架，通过巧妙利用定时和内存行为，在缺乏硬件信任根的情况下实现了对 GPU 利用率的推断，为大规模 AI 基础设施的治理、安全和合规性提供了新的技术路径。