🤖 AI

SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions

本文介绍了 SMEPilot，这是一种通过在仅 CPU、仅 SME 或协作执行策略之间进行动态选择，并利用分块级划分和布局复用来优化具有可扩展矩阵扩展（SME）的 CPU 上性能的 LLM 推理引擎，在多种模型和平台上实现了高达 3.94 倍的加速。

原作者： Feiyang Chen, Haibo Chen

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Feiyang Chen, Haibo Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：为旧机器打造的新工具

想象一下，你有一个非常繁忙的厨房（现代计算机 CPU）。多年来，这个厨房一直依靠一群全能厨师（标准 CPU 核心）来切菜、搅拌锅里的食物以及摆盘。他们什么都会做，但在处理一项特定任务时并不是超级快：那就是将大量的蔬菜切成完美的方块（这就是大语言模型，即 LLM，进行“思考”时所需要的操作）。

最近，厨房得到了一件新设备：一台高速工业蔬菜切片机（被称为 SME，即可扩展矩阵扩展）。这台机器切菜的速度极快。然而，论文的作者发现了一个问题：仅仅拥有切片机并不意味着你应该把所有任务都交给它。

问题所在： 如果你试图用切片机处理所有事情，你可能会堵塞传送带（内存带宽），或者在处理小任务时浪费时间进行设置。有时候，全能厨师在处理那些细碎、棘手的任务时反而更快。
解决方案： 团队构建了 SMEPilot。把 SMEPilot 想象成一位极其聪明的厨房经理。它不会把所有活儿都丢给切片机；它会精确地决定哪个厨师负责哪项工作，何时使用机器，以及如何保持整个厨房高效运转而不让任何人闲着等待。

SMEPilot 是如何工作的：三大魔术招式

论文指出了 SMEPilot 让厨房运行得更快的三个主要方式。以下是对应的比喻：

1. “团队分工”（块级工作划分）

问题： 想象你要切一个巨大的披萨（一个巨大的数学问题）。

如果你把整个披萨都交给工业切片机，厨师们就会无事可做。
如果你把披萨交给厨师，切片机就会闲置。
如果你只是把披萨对半切开，一半给切片机，另一半给厨师，切片机可能 1 秒钟就切完了，而厨师却要花 10 秒钟。这时切片机就在那儿干等着，浪费了时间。

SMEPilot 的解决方法： SMEPilot 将披萨切成一个个小块（tiles）。它给切片机分配一些小块，同时也给厨师分配一些小块。至关重要的是，它会精确计算出每方应该分到多少块，使得双方都能在完全相同的时间内完成任务。这保证了机器和厨师在 100% 的时间内都在忙碌。

2. “流水线作业”（感知阶段的流水线执行）

问题： 做三明治涉及两个步骤：

步骤 A： 切面包（需要工业切片机）。
步骤 B： 抹芥末酱（需要人工操作）。

在一个糟糕的厨房里，你会等整条面包被切完之后，才开始抹芥末酱。人类在机器工作时坐着不动；然后机器在人类抹芥末酱时又闲置下来。这被称为“时间空隙”（temporal bubble，即没有任何工作进行的停顿时间）。

SMEPilot 的解决方法： SMEPilot 创建了一条流水线。一旦切片机切好一片面包，它就会立即将面包传给人类去抹芥末酱，同时切片机立即开始处理下一片面包。机器和人类在处理三明治的不同部分时同时工作。这消除了等待时间。

3. “预包装午餐”（感知布局的运行时）

问题： 工业切片机只有在蔬菜被排列成非常特定的、紧密的网格（“打包”布局）时才能工作。但厨房里的其他食材通常储存在松散的标准袋子里。

糟糕的做法： 每次你想用切片机时，你都要停下来，把蔬菜从袋子里拿出来，把它们完美地排列成网格，切片，然后再把它们装回袋子。这种“重新排列”所花费的时间几乎和切片本身一样长，从而抵消了速度上的优势。

SMEPilot 的解决方法： SMEPilot 非常聪明，知道何时进行重新排列。

对于静态食材（如模型权重）： 它在厨房开门时就将它们排列成完美的网格，以便每次订单到来时都能立即使用。
对于新鲜食材（如新数据）： 它在食材被创建时立即将其排列成网格，以便后续无需任何额外步骤即可直接用于切片机。这避免了“重新排列”带来的惩罚。

结果：有多快？

研究人员在手机、笔记本电脑和服务器上，使用流行的 AI 模型（如 Llama 和 Qwen）对 SMEPilot 进行了测试。

速度： 与在 CPU 上运行这些模型的标准方式相比，SMEPilot 使 AI 的速度提升了高达 3.94 倍。
能耗： 因为它完成任务的速度更快，所以与标准方法相比，它的能耗不到一半。
对比： 在某些测试中，运行 SMEPilot 的 CPU 几乎达到了专用显卡（GPU）的速度，而 GPU 通常是处理 AI 的“主力军”。

核心总结

论文认为，SME（这个新机器）并不是一个可以取代旧厨师的“魔法棒”。相反，最佳的性能来自于一位聪明的管理者（SMEPilot），它知道：

何时使用机器，何时使用厨师。
如何分配工作以确保每个人都保持忙碌。
如何组织工作空间以避免浪费设置时间。

通过这样做，普通的计算机可以比以前更快、更高效地运行强大的 AI。

技术摘要：SMEPilot

问题陈述

现代 CPU 正越来越多地集成矩阵扩展技术，例如 Arm Scalable Matrix Extension (SME)，旨在为 CPU 封装内提供高吞吐量的矩阵执行能力。虽然这些扩展在 GPU 加速器和传统向量核心之间提供了一个折中方案，但它们并不能作为 LLM 推理中 CPU 核心的通用替代品。

识别出的核心挑战是 LLM 算子异构需求与 SME 单元静态能力之间的不匹配：

多样化的算子特征： LLM 推理涉及不同的阶段（预填充 Prefill 与解码 Decode）以及具有不同算术强度、向量行为和布局要求的算子（注意力机制 Attention、前馈网络 FFN、混合专家模型 MoE）。
资源竞争： SME 单元和 CPU 核心共享内存带宽和缓存层级。将 SME 视为 CPU 内核的简单“掉入式（drop-in）”替代品会导致次优性能，因为：
1. 空间利用率不足： 大型矩阵密集型算子（如预填充阶段的 GEMM）可以同时利用 SME 和 CPU 核心，但将整个算子分配给其中一个后端会导致另一个后端处于闲置状态。
2. 时间气泡（Temporal Bubbles）： 诸如注意力机制之类的算子会交替进行矩阵密集型阶段（受益于 SME）和向量密集型阶段（更适合 CPU 核心）。顺序执行这些阶段会在一个硬件单元工作时为另一个硬件单元创造闲置时间（即“气泡”）。
3. 布局开销： SME 内核需要紧凑的、利于分块（tile-friendly）的布局，而标准的 LLM 流水线使用常规张量布局。在每次调用 SME 前进行朴素的转换会增加内存流量并破坏数据局部性，从而抵消吞吐量增益。

方法论

本文介绍了 SMEPilot，这是一个旨在基于统一性能模型系统地调度 SME 和 CPU 核心的 LLM 推理引擎。

1. 统一 Roofline 特征分析

作者开发了一个多顶峰（multi-ceiling）Roofline 模型，该模型捕捉了 SME 和 CPU 资源的耦合特性：

加性计算与共享带宽： SME 和 CPU 核心提供近乎加性的矩阵吞吐量，但共享单一的内存带宽顶峰。
区间分类： 该模型根据算术强度 ( $I$ $I$ ) 将算子分为三个区间：
- 内存受限型（Memory-bound）： 位于 CPU 岭点（ridge point）以下的算子。由于带宽是瓶颈，SME 不提供任何收益。
- 后端非对称跨越型（Backend-asymmetric Ridge-crossing）： 位于 CPU 岭点和 SME 岭点之间的算子。这些算子在 CPU 上是计算受限的，但在 SME 上是内存受限的。SME 将性能提升至共享内存限制。
- 计算受限型（Compute-bound）： 位于 SME 岭点以上的算子。CPU 和 SME 核心都可以做出贡献，且混合执行是最优的。
动态调度： 模型规定后端选择（仅 CPU、仅 SME 或混合模式）必须是动态的，随请求形状（如序列长度、Batch Size）和算子类型而变化。

2. SMEPilot 运行时设计

为了弥合 Roofline 指导的计划与实际执行之间的差距，SMEPilot 采用了三种关键技术：

分块级任务划分（解决空间利用率问题）：
- SMEPilot 不再将整个算子分配给一个后端，而是在分块（tile）粒度上对矩阵工作进行划分。
- 对于 GEMM 操作，它根据算子形状和测得的吞吐量，在 SME 工作者和 CPU 核心之间拆分输出维度（ $M$ 或 $N$ ）。
- 这使得两个后端能够为同一个算子做出贡献，而不会产生跨工作者的同步开销。
- 在 MoE 层中，专家权重较少（薄矩阵）的专家保留在 CPU 上，而拥有较多 Token 的专家则利用混合执行。
相位感知流水线执行（解决时间气泡问题）：
- 主要应用于包含矩阵阶段（ $QK^\top$ , $PV$）和向量阶段（Softmax, Masking）的注意力机制。
- SMEPilot 对这些阶段进行流水线化处理：当 SME 工作者为特定分块计算矩阵阶段时，CPU 核心同时处理前一个分块的向量阶段（例如 Softmax）。
- 通过这种方式重叠硬件特定的工作，消除了由粗粒度算子边界引起的闲置时间。
布局感知运行时（解决布局兼容性问题）：
- 运行时将张量布局作为状态进行跟踪，以最小化转换开销。
- 离线打包（Offline Packing）： 静态模型权重在加载时即被打包成 SME 友好的布局，从而将此成本从请求的关键路径中移除。
- 生产者侧打包（Producer-Side Packing）： 动态激活值（如 KV-cache 条目）在下游消费者为 SME 内核时，由生产者侧进行打包。这避免了在关键路径上进行重复的解包和重打包。

3. 执行计划生成

SMEPilot 使用**离线分析器（Offline Profiler）测量硬件指标（吞吐量、带宽）以及在线规划器（Online Planner）**来生成执行计划。规划器根据当前请求形状评估 Roofline 模型，以确定：

后端选择（CPU、SME 或混合）。
线程分配和划分比例。
用于平衡内核效率与流水线重叠的块大小（Tile size）。

关键结果

SMEPilot 在 Apple M4 Pro、MediaTek Dimensity 9500 和 KunPeng 920 服务器平台上针对 Llama-3.2-3B、Qwen3-4B 和 Qwen3-30B-A3B 进行了评估。

端到端性能： 在各种设备-模型-工作负载配置下，SMEPilot 比 llama.cpp 基准实现了高达 3.94× 的加速。
预填充阶段（Prefill Phase）：
- FFN GEMM：比高度优化的 Apple Accelerate（仅 SME）快 1.42–1.67×，比 GGML（仅 CPU）快 6.06–7.43×。
- 注意力机制（Attention）：比 FlashAttention CPU 快 1.56–3.50×。
- 这些增益是由能够同时利用 SME 和 CPU 核心处理大型矩阵算子的能力驱动的。
解码阶段（Decode Phase）：
- 比仅 CPU 推理实现高达 3.48× 的加速。
- 当算子进入“跨越岭点”区间时，随着 Batch Size 的增大，改进尤为显著，此时 SME 能够缓解内存受限问题。
能效： 在 Apple M4 Pro 上，由于完成时间缩短，SMEPilot 将端到端能耗降低至 llama.cpp 基准的 0.485×。
GPU 对比： 在 Apple M4 Pro 上，SMEPilot 达到了 GPU 推理性能的 0.72–0.96×，证明其在 GPU 不可用或被占用时是一个可行的替代方案。

重要性与主张

本文主张 SME 并不是 CPU 向量核心的通用替代品，而是一种需要精心编排的专门资源。SMEPilot 的重要性在于其从静态内核替换向动态、形状感知调度的转变：

系统化特征分析： 它提供了首个针对 LLM 推理中支持 SME 的 CPU 的全面 Roofline 特征分析，揭示了算子放置必须是动态且依赖于形状的。
协作执行： 它证明了最高性能并非通过在 SME 或 CPU 之间做选择来实现，而是通过在单个算子内（通过分块划分）以及跨算子阶段（通过流水线化）协作执行两者来实现。
运行时开销管理： 它强调了矩阵扩展带来的原始吞吐量增益可能会被布局转换成本抵消，因此需要布局感知的运行时策略，将打包操作移出关键路径。

作者得出结论：CPU 矩阵扩展只有在将其吞吐量有选择性地应用于合适的推理区间，而非均匀应用于所有操作时，才是最有效的。