🤖 machine learning

Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode

本文介绍了 cflow，一种与流水线原生 Transformer 架构协同设计的以 CPU 为核心的流式引擎，旨在克服单 Token 自回归解码中的内存带宽瓶颈，通过利用 L2 级权重分块、top-k 专家选择以及异步 I/O 重叠，在 32-vCPU 服务器上实现了高达 2.00 倍的关键路径权重带宽减少和 5.94 tokens/s 的性能。

原作者： Tom Poperszky

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tom Poperszky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能的世界里，最强大的计算机程序通常被描述为拥有由数十亿个微小开关组成的“大脑”。这些开关，或者说权重，被存储在计算机的主存储器中，就像浩如烟海的图书馆书架上的书籍一样。为了做出预测或生成单个文本词汇，计算机必须从书架上取回正确的书，阅读它们，并进行计算。多年来，工程师们一直假设这些计算的速度是限制因素，认为如果他们能让处理器思考得更快，程序就会运行得更快。然而，一项新的研究表明，对于这些程序最常用的模式——逐个生成单词——这一假设是错误的。在这种特定的模式下，处理器并不是在等待它的“大脑”进行思考，而是在等待内存向它传递数据。处理器的速度如此之快，以至于它大部分时间都在闲置，盯着空荡荡的书架，等待下一本书的到来。这造成了一个瓶颈，即整个系统的速度并不取决于计算机计算的速度有多快，而是取决于它从内存书架移动数据到处理器的速度有多快。

一位名叫汤姆·波普斯基（Tom Popersky）的研究人员通过意识到这些“书籍”在书架上的标准组织方式是为另一种完全不同的计算机设计的，从而解决了这个问题。大多数现代人工智能模型都是为了在专门的图形芯片上运行而构建的，这类芯片擅长同时阅读许多本书。当这些模型在标准计算机处理器上运行时，旧的组织方式会导致处理器在书架上跳来跳去，以一种硬件无法预测的混乱顺序获取数据，从而浪费时间。波普斯基的工作提出了一个激进的解决方案：与其试图让旧模型在新的硬件上运行得更好，不如从底层开始重新设计模型和运行它的软件，使它们协同工作。他创建了一种新的方式来存储模型的数据，将其变为能够完美契合处理器即时工作空间的、整齐的小块。他还重写了模型的内部指令，使其能够以平滑、连续的线条读取这些数据块，而无需停下来等待。

这种新方法的核心是一个名为 cflow 的系统，它充当了计算机的高效图书管理员。在标准设置中，当计算机需要生成一个单词时，它通常必须加载特定部分模型的整套指令，即使它只需要其中极小的一部分。这就像是为了寻找一个事实而打开了一整部百科全书。波普斯基的系统通过将数据组织成大约只有一页大小的小型“瓦片”（tiles），并按照计算机所需的精确顺序进行存储，从而改变了这一点。当计算机请求下一块信息时，系统会立即将下一个瓦片推入到位，使处理器保持忙碌。此外，对于使用“专家混合”（mixture of experts）技术的模型——这是一种模型为每个任务选择几个专门子程序的技术——新系统仅加载该时刻所需的特定子程序，而将其余部分留在书架上。这消除了为生成的每一个单词都加载数千个未使用指令的浪费。

为了使这个系统发挥作用，研究人员不得不改变模型本身的架构。标准模型构建得像一条严格的流水线，其中一个步骤必须完全完成后，下一个步骤才能开始。这种结构迫使计算机在开始读取下一组指令之前，必须等待整个流水线完成。波普斯基重新设计了模型，允许实现“垂直流水线”，即计算机可以在完成当前步骤的同时，开始读取下一步的指令。这之所以可行，是因为模型经过了训练，可以接受来自前一步骤的略微延迟的版本的信息，这种变化在标准模型中会导致错误，但在这种新设计中却能完美运行。通过对五种不同版本的这些重新设计的模型进行训练，研究人员发现，其中一种特定的配置可以将计算机需要移动的数据量减少一半。这种数据移动量的减少直接转化为速度的提升，因为计算机等待的时间更少了，工作的时间更多了。

这种协同设计的成果在真实硬件上进行了测量，揭示了其相对于现有软件的明显优势。在标准服务器计算机上，新系统生成文本的速度接近每秒六个单词，优于在同一台机器上仅能达到约每秒四个半单词的最佳可用替代方案。这种改进不仅仅是一个理论计算；它是通过减少计算机访问内存的次数而实现的真实世界的加速。研究还测试了其他几种想法，例如使用显式指令来告诉计算机下一步该去哪里寻找数据。令人惊讶的是，测试显示这些指令并没有帮助，有时甚至减慢了系统速度，因为计算机自身的硬件已经在更好地猜测下一步需要什么。这一发现至关重要，因为它排除了一种常见的优化技术，并证实了真正的增益来自于数据的根本性重组和模型的重新设计。

研究还探讨了这些变化在模型规模扩大时如何保持效力。分析表明，虽然对于所测试的模型而言提速效果显著，但具体的收益取决于模型的规模和使用的计算机类型。对于非常大的模型，瓶颈可能会再次转移，但原则仍然不变：通过将模型的结构与计算机读取内存的方式相对齐，实现此前被认为在标准处理器上不可能实现的运行速度是可能的。这项工作证明，当前人工智能在日常计算机上的局限性并非固有的物理定律，而是可以改变的设计选择。通过将模型及其运行时视为一个统一的整体，而非两个独立的部件，我们可以创建一个能够以高效图书馆式的效率移动数据的系统，让计算机以其硬件的速度进行思考。这种方法为在没有专门芯片的设备上运行强大的人工智能提供了一条清晰的路径，使先进的智能在现实世界中变得更加普及且响应迅速。

技术摘要：流水线原生 Transformer (Pipeline-Native Transformers)

1. 问题：CPU 推理中的带宽瓶颈

本文指出，在 CPU 上进行单 Token 自回归解码受限于内存带宽，而非算术计算能力。虽然现代 CPU 可维持约 1 TFLOP/s 的计算能力，但其主存带宽通常仅为 ~50 GB/s。

对于单 Token 解码步骤，其算术强度约为 4 FLOP/byte（假设采用 Q4 量化），这比 20 FLOP/byte 的机器平衡值低了五倍。因此，CPU 大部分时间都在等待权重字节从 RAM 流式传输到计算单元，而非执行实际计算。

现有的 CPU 推理运行时（如 llama.cpp、ExLlama2）在很大程度上继承了以 GPU 为先的设计决策。这些设计包括：

行优先（Row-major）权重布局： 针对批处理访问进行了优化，但对于单 Token 流式传输效率低下，会导致 L1 缓存缺失率与权重矩阵大小成正比。
标准混合专家模型（MoE）加载方式： 即使只有部分专家（top-k）处于激活状态，也会加载该层的所有专家权重，这在像 Gemma 4 这样的模型中会浪费高达 15 倍的带宽。
严格的层依赖关系： 标准 Transformer 要求第 $\ell$ 层完全输出后才能开始第 $\ell+1$ 层，这阻碍了不同层的阶段可以并发处理的垂直流水线化。

本文认为，将模型架构与推理运行时视为独立实体是一种负担。相反，需要一种**协同设计（co-design）**方法来减少每个 Token 移动的总字节数。

2. 方法论：架构与运行时的协同设计

提出的解决方案由两个紧密耦合的部分组成：cflow 运行时和一系列流水线原生 Transformer 架构。

2.1 cflow 运行时

cflow 是一个用 Rust 编写的、以 CPU 为核心的推理引擎，其设计围绕 CPU 内存层次结构展开。

基于 Tile 的权重格式： 权重以 L2 大小的 Tile（128×256 矩阵，Q4 量化下约为 18 KB）存储，并按计算消耗顺序排列。这确保了在处理一个 Tile 时，激活向量（驻留在 L1 中）可以在该 Tile 的所有行中被复用，从而最大限度地减少 L1-d 缓存缺失。
文件格式：
- .cflow：用于标准流式传输的逐层格式。
- .vflow：一种阶段优先（stage-major）格式，其中 Tile 按跨层的执行阶段进行分组，从而实现垂直流水线化。
条件专家加载： 运行时使用专家偏移表（expert offset table）仅加载选中的 top-k 专家 Tile，跳过其余部分。
融合算子（Fused Kernels）： 它融合了 QKV 投影以及 Gate+Up 投影，以减少激活值的重复加载。
分阶段直接 I/O（Staged Direct-I/O）： 对于驻留在磁盘中的专家层级，它使用异步直接 I/O 来实现专家获取与中间层计算之间的重叠。

2.2 流水线原生架构

本文对标准 Pre-norm Transformer 中的层依赖有向无环图（DAG）进行了形式化分析。研究表明，标准的依赖关系阻止了垂直流水线化。为了实现这一点，作者通过两种延迟变换提出了 DAG 重写：

密集延迟 ( $\delta_d$ )： 第 $\ell$ 层的密集 FFN 消耗的是来自第 $\ell - \delta_d$ 层的残差流，而非当前层的输出。
专家延迟 ( $\delta_e$ )： 在第 $\ell$ 层计算出的专家输出被注入到第 $\ell + \delta_e$ 层的残差流中。

这些变换打破了严格的顺序链，允许运行时在处理第 $\ell$ 层时，预先获取第 $\ell+1$ 层的权重，只要满足延迟缓冲区的依赖关系即可。

论文训练了五个候选架构，基于 TinyStories 数据集来探索带宽与质量之间的权衡：

Arch1 & Arch3： 无延迟的基准模型（1.00× 带宽缩减）。
Arch2_4_combined： 结合了 $\delta_d=1$ 和 $\delta_e=2$ 。这实现了最大的带宽缩减。
Arch4 (AsyncExperts)： 使用 $\delta_e=2$ 配合预密集路由（在密集 FFN 之前进行路由）。这实现了最佳的困惑度（Perplexity），但没有实现带宽缩减。
Arch5： 通过在迭代中共享权重来实现参数效率。

3. 核心贡献

cflow 运行时： 一个完整的、生产级的 Rust 实现，具有 Tile 原生格式、融合算子和条件专家加载功能。它在数值上与 PyTorch 参考实现保持一致。
流水线原生分类法： 对依赖放宽变换（密集延迟和专家延迟）进行了形式化定义，并提出了五个证明了这些结构性变化能够实现稳定训练和收敛的训练架构。
延迟感知调度器： 该运行时调度器构建了一个环形缓冲区残差历史记录，以管理延迟输入和专家注入，从而实现垂直流水线调度。
实证验证： 通过涵盖八个特定设计主张的全面评估（包括对被证伪假设的负面结果报告）进行了验证。

4. 结果

4.1 带宽与缓存效率

关键路径缩减： arch2_4_combined 架构相比于顺序调度，实现了2.00× 的关键路径权重带宽缩减（从 9.00 MB/token 降至 4.50 MB/token）。
缓存局部性： 在 Xeon E5-2650 上，Tile 流式布局相比于行优先基准模型，将 L1-d 读缺失率降低了 7.29×（通过硬件性能计数器测量）。
条件加载： 结构性保证确保仅读取 top-k 专家 Tile，对于大型 MoE 模型，可实现高达 16 倍的专家权重带宽缩减。

4.2 端到端性能

吞吐量： 在配备 AWS r6i.8xlarge（Ice Lake, 32 vCPUs）的硬件上运行 30.9B 参数的流水线原生 MoE 模型时，cflow 达到了 5.94 tokens/second。
对比： 在相同硬件上，其表现优于 llama.cpp（在同类 32B 稠密模型上为 4.75 tok/s）和 vLLM 的 CPU 后端（1.65 tok/s）。
专家重叠： 在使用 NVMe 存储的服务器硬件上，专家延迟窗口允许异步 I/O 重叠，从而获得高达 1.68× 的净加速，优于同步阻塞方法。

4.3 负面结果与反驳

论文明确报告了被证伪的主张，以提供完整的视角：

主张 6 (PREFETCHT0)： 当瓶颈在于存储到 RAM 的带宽时，显式预取指令没有任何收益，有时甚至是有害的（变慢 4%）。硬件预取器已经饱和了线性 RAM 访问，显式提示只会增加缓存压力而无法实现重叠。
主张 8 (阶段优先预读)： 在测试规模下，.vflow 布局的理论预读收益是不确定的。其收益需要异步 I/O 重叠，而单 Token 调度器尚未完全实现针对非专家权重的异步 I/O；观察到的偏差归因于 SSD 缓存状态。

5. 意义与主张

本文的核心论点是：协同设计模型架构与推理运行时是克服 CPU 推理中内存带宽瓶颈的必要手段。

可行性： 本研究证明，重写 Transformer 的层间依赖图并不会阻碍有效学习；训练后的架构在具有竞争力的困惑度下实现了收敛。
机制： 带宽缩减并非近似值，而是延迟参数和模型几何结构的解析性结果。
实用性： 结果表明，当运行时针对特定架构进行优化时，流水线原生 MoE 在标准 CPU 硬件上的表现可以超越最先进的稠密模型。

作者总结道，虽然“流水线原生”方法需要在训练阶段进行架构更改（使其无法追溯应用到现有检查点），但条件专家加载和 Tile 流式权重布局的原则可以直接应用于现有运行时，以减少带宽并提高缓存局部性。这项工作确立了 Transformer 的依赖图是一个设计选择，而非固定约束，并且结合运行时优化来利用这一选择，可以获得两者单独优化都无法达到的提升。