Hunting CUDA Bugs at Scale with cuFuzz

这是一篇关于 cuFuzz 的论文详细技术总结，该工具旨在解决 CUDA 程序在大规模测试中的漏洞挖掘难题。

1. 研究背景与问题 (Problem)

随着 GPU 在现代软件（从医疗影像到大语言模型）中扮演核心角色，其编程复杂度和错误率也在增加。尽管 CPU 上的模糊测试（Fuzzing）已非常成熟，但在 GPU（特别是 CUDA）上的应用却面临三大主要障碍，导致现有方法效果不佳：

1. 模糊测试粒度问题 (Kernel-level vs. Whole-program)：
   • 以往工作倾向于单独模糊测试设备端（Device-side）的 Kernel。
   • 缺陷：这种方法会产生大量误报（False Positives）。因为单独测试 Kernel 时，会生成主机端（Host-side）逻辑中永远不会出现的无效输入组合（例如，主机端代码会先检查指针是否为空或数组大小是否合法，但单独测试 Kernel 时这些检查被绕过）。同时，它也会漏掉由主机 - 设备交互引起的真实 Bug。
2. 缺乏设备端覆盖率反馈 (Lack of Device-side Coverage)：
   • 现代模糊测试引擎（如 AFL++）依赖覆盖率引导（Coverage-guided）来生成更有意义的输入。
   • 缺陷：仅收集主机端覆盖率不足以指导 GPU 测试，因为主机端无法感知设备端 Kernel 内部的具体执行路径。此外，由于闭源库（如 NVIDIA 的 cuDNN、cuBLAS）无法重新编译以插入覆盖率探针，且主机和设备的编译工具链不同，难以统一收集覆盖率。
3. 工具不兼容性 (Tool Incompatibility)：
   • 有效的模糊测试需要结合 Sanitizer（如 AddressSanitizer 或 Compute Sanitizer）来检测运行时错误（如内存越界、数据竞争）。
   • 缺陷：NVIDIA 的 Compute Sanitizer 与覆盖率收集工具（如 NVBit）依赖相同的 GPU 运行时 API，导致它们无法在同一进程中同时运行。这迫使研究者要么放弃 Sanitizer，要么放弃覆盖率引导，严重限制了测试效果。

2. 方法论：cuFuzz (Methodology)

cuFuzz 是首个面向 CUDA 的端到端模糊测试工具，它通过以下创新设计解决了上述挑战：

A. 全程序模糊测试 (Whole Program Fuzzing)

• 策略：cuFuzz 不再单独模糊测试 Kernel，而是针对整个 CUDA 程序（包括主机代码和设备代码）进行测试。
• 实现：对于开源程序，直接以 main 函数为入口；对于闭源库，使用官方提供的示例程序作为“模糊测试 harness"。
• 优势：保留了主机与设备之间的依赖关系和不变量（Invariants），从而消除了因输入组合非法而产生的误报，并能捕捉到由主机端逻辑错误引发的设备端 Bug。

B. 混合覆盖率收集 (Hybrid Coverage Collection)

• 主机端：使用标准的 AFL++ 编译器插桩技术。
• 设备端：利用 NVBit（NVIDIA 的动态二进制插桩工具）在运行时收集设备端指令的覆盖率。
  • 技术细节：NVBit 在 Kernel 加载时动态插入代码，将设备端的边（Edge）信息写入共享的覆盖率位图（Bitmap）。
  • 优化：解决了多线程并发更新位图的问题（使用 Warp 级别的原子操作），并划分了主机和设备在位图中的不同区域以避免冲突。
• 融合：将主机和设备端的覆盖率合并，作为模糊测试引擎的反馈信号，引导生成能触发更多设备端路径的输入。

C. 解耦 Sanitization 与覆盖率收集 (Decoupling Sanitization)

• 策略：为了解决工具冲突，cuFuzz 将 Sanitizer 的执行与覆盖率收集解耦。
• 实现：在模糊测试循环中，主进程负责收集覆盖率并生成新输入。对于选定的输入（例如触发新覆盖率的输入），cuFuzz 会启动独立的子进程，在这些子进程中运行 Sanitizer（如 Compute Sanitizer 的 memcheck, racecheck, initcheck）。
• 优势：允许同时使用多种 Sanitizer 和覆盖率工具，而无需担心运行时冲突。

D. 持久化模式支持 (Persistent Mode)

• 背景：CUDA 运行时初始化开销巨大，每次测试新输入都重启进程会导致吞吐量极低。
• 实现：cuFuzz 实现了 AFL++ 的持久化模式，允许单个进程循环执行多个测试用例。
• 关键技术：通过注入一个空的“通知 Kernel"来标记循环的开始和结束，NVBit 据此在每次迭代开始时重置设备端覆盖率位图，并在结束时合并数据。

3. 关键贡献 (Key Contributions)

1. 首个实用的 CUDA 模糊测试框架：cuFuzz 是第一个能够同时处理闭源库、提供设备端覆盖率引导并支持多种 Sanitizer 的端到端工具。
2. 解决三大核心障碍：
   • 通过全程序测试消除误报。
   • 通过 NVBit 实现设备端覆盖率收集。
   • 通过多进程架构解决工具兼容性冲突。
3. 高效的架构设计：提出了“解耦 Sanitizer"和“持久化模式”等优化策略，显著提升了在 GPU 上的测试吞吐量。
4. 开源工具：cuFuzz 已开源（GitHub: NVlabs/cuFuzz），并提供了完整的复现脚本。

4. 实验结果 (Results)

作者在 14 个多样化的 CUDA 程序（包括开源项目和 NVIDIA 商业闭源库如 nvJPEG, cuDNN, cuBLAS 等）上进行了评估：

• 漏洞发现能力：
  • 发现了 43 个 以前未知的 Bug。
  • 其中 19 个 位于商业生产库中。
  • Bug 类型包括：非法内存访问、未初始化读取、数据竞争、堆/栈缓冲区溢出等。
  • 目前已有 40 个 Bug 被库维护者修复。
• 覆盖率对比：
  • 在闭源库测试中，cuFuzz 比仅使用主机端覆盖率的基线（AFL++）发现了显著更多的设备端代码边（Edges）和唯一输入。
  • 对于闭源库，设备端覆盖率带来的提升幅度在 9% 到 289% 之间。
• 性能开销：
  • 设备端覆盖率收集（NVBit）使吞吐量降低了约 67%。
  • 设备端 Sanitizer 的开销因工具而异（memcheck 降低 39%，racecheck 降低 66%）。
  • 持久化模式：在 50% 的工作负载中提升了性能，并发现了 35 个 Bug（占总数的 81%），其中 16 个 Bug 的发现速度快于其他配置。
• 与 Kernel 级模糊测试的对比：
  • 在 9 个开源基准测试中，传统的 Kernel 级模糊测试仅发现了 6/14 的设备端 Bug（漏报率高），并产生了 16 个误报。
  • cuFuzz 的全程序方法发现了所有 14 个设备端 Bug 以及 10 个额外的主机端 Bug，且零误报。

5. 意义与结论 (Significance)

• 填补空白：cuFuzz 证明了在 GPU 上进行大规模、自动化的模糊测试是可行且高效的，填补了 GPU 安全测试领域的空白。
• 生产级价值：在 NVIDIA 的商业闭源库中发现大量严重 Bug，表明现有的测试流程存在巨大漏洞，cuFuzz 是构建更健壮 GPU 软件生态的关键工具。
• 方法论启示：该工作表明，对于异构系统（CPU+GPU），必须采用全程序视角的测试方法，并需要专门设计工具链来协调覆盖率收集与错误检测，而不能简单地将 CPU 测试方法移植到 GPU。

总的来说，cuFuzz 通过创新的架构设计，成功克服了 GPU 模糊测试的长期瓶颈，为检测现代 GPU 应用中的内存安全和并发错误提供了强有力的解决方案。