技术摘要：受限于内存而非带宽：Batch-1 LLM 解码中的物理 AI 推理差距

问题陈述

物理 AI 系统（机器人、自动驾驶汽车、边缘副驾驶）通常运行在单流、Batch-1 自回归解码的工作负载下。与通过大 Batch 优化吞吐量的云端服务不同，物理 AI 在等待下一个 Token 来服务单个用户或智能体。主流的行业假设是这类工作负载严格受限于 HBM 带宽，即延迟与峰值内存带宽 ($B_{peak}$) 成反比。因此，部署阶梯被认为是 $L4 \to L40S \to A100 \to H100$，即更高的带宽直接带来更低的延迟和更低的单 Token 成本。

本文挑战了这一假设，认为对于快速硅片（如 H100）上的 Batch-1 解码，瓶颈从内存带宽转向了单核 CPU 启动开销（per-kernel CPU launch overhead）。作者指出，更快的内存并不会转化为比例性的延迟收益，因为在高带宽 GPU 上，启动内核的固定成本成为了步进时间（step time）中的主要部分，而较慢的 GPU 则仍然是真正的带宽受限型。

方法论

本研究是一项受控测量实验，而非理论模型，是在 Modal 云端主机上使用四种 NVIDIA GPU 进行的：H100 SXM5、A100-80GB SXM4、L40S 和 L4。

• 工作负载： 三种 7–8B 参数的 GQA Transformer 模型（Qwen-2.5-7B, Mistral-7B-v0.3, Llama-3.1-8B），采用 bf16 权重和 SDPA 注意力机制。
• 范围： 涵盖 4 个上下文长度（2048 到 16384）和 4 种 GPU 的 44 个有效单元。
• 指标：
  • $R_{floor}$： 分析内存底线（$t_{floor} = (W+K)/B_{peak}$）与观测到的步进时间（$t_{obs}$）之比。数值为 1.0 表示完美的带宽利用率。
  • CUDA Graphs A/B 测试： 通过对比“急切执行”（eager execution）与“图执行”（graphed execution，即捕获的 DAG 重放）的证伪实验，以隔离启动开销。
  • 软件栈矩阵： 对比不同的注意力后端（SDPA, FlashAttention-2/3, FlashInfer）以及量化路径（bf16, bnb-nf4, AutoAWQ+Marlin, GPTQ+ExLlamaV2）。

核心结果

1. 倒置的每 Token 成本阶梯

研究揭示了带宽利用率的剧烈分歧：

• L4 (300 GB/s)： 实现了 ~81% 的峰值 HBM 带宽（$R_{floor} \approx 0.81$）。该工作负载是真正的内存受限型。
• H100 (3350 GB/s)： 仅实现了 ~27% 的峰值 HBM 带宽（$R_{floor} \approx 0.27$）。
• 启示： H100 相比 L4 拥有 11 倍的带宽优势，但并未带来 11 倍的加速。相反，H100 被启动开销所困，而 L4 则被内存流量所困。

2. CUDA Graphs 证伪测试

作者通过使用 CUDA Graphs 消除 CPU 启动开销来隔离该机制：

• 在 H100 (ctx=2048) 上： CUDA Graphs 将延迟降低了 1.259×（95% 置信区间 [1.253, 1.267]）。这证实了启动开销约占步进时间的 20%。
• 在 L4 (ctx=2048) 上： 同样的干预仅带来了 1.028× 的提升。
• 结论： 对于 Batch-1 解码，对于 H100 而言，“启动税”是主要的约束条件，而对于 L4 而言，带宽才是约束条件。

3. 注意力内核选择

与 FlashAttention 变体总是更优的普遍观点相反：

• 在 H100 Batch-1 场景下，PyTorch 默认的 SDPA 分发器（36.05 µs/layer）的表现优于显式的 FlashAttention-3（79.25 µs）、FlashInfer（48.20 µs），甚至优于 FlashAttention-2 上下文（44.35 µs）。
• 约束因素在于内核启动的序列，而非注意力内核本身的吞吐量。

4. L4 上的量化与内核实现

在带宽受限的 L4 上，仅靠量化是不够的；内核实现同样至关重要：

• bf16： 62.32 ms/step。
• bnb-nf4： 59.36 ms/step（由于反量化开销，收益微乎其微）。
• AutoAWQ + Marlin： 45.24 ms/step (1.38× 加速)。Marlin 是针对 Ampere (SM80) 调优的，而非 Ada (SM89)。
• GPTQ + ExLlamaV2： 17.36 ms/step (3.59× 加速)。ExLlamaV2 的内核针对 Ada (SM89) 进行了调优，成功实现了理论上的带宽节省。
• 结果： 使用 ExLlamaV2 的 L4（17.36 ms）明显快于使用标准急切执行的 H100（14.83 ms），并且足以与使用 CUDA Graphs 的 H100（11.78 ms）相媲美，尽管 H100 拥有 11 倍的峰值带宽。

意义与主张

本文声称已证明对于物理 AI 工作负载，标准的部署阶梯（$L4 \to H100$）发生了倒置：

1. 启动开销占主导： 在短上下文的快速 GPU（H100）上，每个内核的 CPU 启动开销主导了步进时间，使得峰值内存带宽变得无关紧要。
2. 内核实现 > 硬件升级： 对于 Batch-1 流式解码，优化内核实现（例如在 L4 上使用 ExLlamaV2）带来的延迟降低效果优于升级到更高带宽的 GPU。
3. 成本效率： 根据 Modal 公布的价格（2026 年 5 月），使用优化内核的 L4 服务 Token 的成本大约比使用 CUDA Graphs 的 H100 低 6 倍，尽管 H100 拥有更强的原始规格。
4. 范围限制： 作者明确指出，这些发现适用于 7–8B GQA Transformer、Batch-1、bf16 以及单流解码。他们并不声称这些结果可以推广到大 Batch（此时启动税会减小）、不同的架构（MHA/MQA）或其他硬件（AMD, Blackwell）。

文章总结道，对于物理 AI 推理，“内存受限”这一标签是不完整的；系统在高性能硅片上往往是启动受限（launch-bound），而在边缘硅片上则是带宽受限（bandwidth-bound），这需要不同的优化手段（如 CUDA Graphs vs. 特化内核），而非简单的硬件升级路径。