🤖 AI

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

该论文介绍了 BaseRT，这是一个针对 Apple Silicon 的原生 Metal 推理运行时，它利用芯片特定的优化技术来实现大语言模型的突破性吞吐量，其性能超越了 llama.cpp 和 MLX 等现有框架，最高可达 1.56 倍。

原作者： Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：打造一辆定制赛车

想象一下，你想在一场特定的赛道（如 Apple Silicon 芯片，如 M3 或 M4）上驾驶一辆赛车（大语言模型，即 LLM）。

目前，大多数人使用“通用适配器”或“租赁车套件”（现有的软件，如 llama.cpp 或 MLX）来驾驶这些赛车。这些套件很棒，因为它们可以在许多不同的赛道上运行，但它们并非专门为这条特定的 Apple 赛道而调优。它们带有额外的重量、不必要的步骤，且配备了一位并不了解捷径的驾驶员。

BaseRT 是一辆全新的、专为 Apple 赛道量身定制的赛车。Base Compute 的团队剥离了沉重的适配器，从零开始构建了一辆能够完美匹配该赛道独特曲线与规则的赛车。结果是？它的行驶速度显著提升。

问题所在：为什么现有软件“慢”？

论文指出，在 Mac 上运行 AI 的现有软件就像是一辆停靠站过多的送货卡车。

“中间人”问题： 大多数软件使用一个“框架”（类似于中间人）来与计算机的图形芯片（GPU）进行通信。这个中间人增加了额外的步骤，就像每项任务开始前都要先检查一遍剪贴板的经理一样。
“内存”问题： Apple 电脑有一个特殊功能叫做“统一内存”（Unified Memory），即 CPU 和 GPU 共享同一个巨大的 RAM 池。现有的软件通常将它们视为处于不同房间的个体，迫使数据进行不必要的往返奔波。

解决方案：BaseRT 如何运作

BaseRT 砍掉了中间人，在“大脑”与“肌肉”之间建立了一条直达高速公路。以下是他们使用的四个主要技巧：

“数据驱动”蓝图：
BaseRT 并没有为每种不同的 AI 模型（如 Qwen、Llama 或 Gemma）编写一套新的指令，而是使用了一个单一且灵活的蓝图。这就像是一个万能遥控器，它能自动检测你正对着哪台电视并瞬间切换按键，而不是为每个品牌都需要一个不同的遥控器。这保证了引擎在无需停下来重新配置的情况下持续平稳运行。
“零停顿”循环：
当你要求 AI 写一个句子时，它会逐个生成单词。在旧软件中，计算机必须为生成的每一个新单词寻找一个“停车位”（内存分配）。BaseRT 则会在比赛开始前预先停好所有的位置。一旦 AI 开始说话，它就永远不会停下来找停车位；它只会一直向前疾驰。这消除了由内存管理引起的“交通拥堵”。
“融合”厨房：
通常情况下，AI 需要在不同的锅里烹饪食材（矩阵乘法、注意力机制、归一化），并在这些锅之间移动食物。BaseRT 将这些步骤融合进了一个巨大的锅中。它在一个动作中完成所有食材的烹饪，节省了移动食物的时间。
“定制驾驶员”：
该软件完全了解自己运行在哪个 Apple 芯片上（M1、M2、M3 等）。它会根据具体的引擎大小调整驾驶风格，确保从每一滴燃料中榨取最大的动力。

结果：谁赢得了比赛？

团队将 BaseRT 与两个最大的竞争对手进行了测试：llama.cpp（最流行的开源运行器）和 MLX（Apple 官方框架）。

速度： BaseRT 在几乎所有的测试中都是最快的。
- 在小型模型上，它比 llama.cpp 快了高达 1.56 倍。
- 在大型“混合专家”（Mixture-of-Experts）模型（复杂的 AI 大脑）上，它处理初始提示词的速度快了高达 1.78 倍。
“小模型”甜点区： 最大的提升发生在较小的模型上。这是因为在小型模型上，“开销”（用于行政管理任务的时间）占了总时间的很大一部分。通过削减这些浪费，BaseRT 带来了巨大的改变。
“大模型”现实： 在非常大的模型上，速度主要受限于数据通过内存的速度（带宽）。即使拥有完美的引擎，你也无法超过道路的限速。然而，BaseRT 仍然设法在这里挤出了额外的速度，证明了之前的软件并没有高效地利用这条路。

为什么这很重要？（“边缘”的转移）

论文表明，我们正在向 AI 在你的设备上（你的笔记本电脑或手机）而非远程云端服务器上运行的未来迈进。

隐私： 你的数据永远不会离开你的电脑。
速度： 无需等待互联网将你的请求传回。
成本： 你不需要按字数支付月费；你只需为硬件支付一次费用。

BaseRT 证明了，如果使用专门为此构建的软件，Apple Silicon 在运行本地 AI 方面的能力远比我们想象的要强大。

BaseRT 目前还做不到什么（局限性）

论文坦诚地说明了该工具目前的局限：

仅限单用户： 它是为同时使用 AI 的单人设计的。它无法处理数百人同时提问的情况（服务器负载）。
仅限 Apple： 它目前仅适用于 Mac 和 iPad。它还不能在 Windows、Android 或 NVIDIA 显卡上运行。
暂无“视觉”功能： 它目前处理的是文本模型，而非能够“看”图像的模型。

总结

作者构建了一个定制引擎（BaseRT），它移除了在 Apple 电脑上运行 AI 时所有不必要的负担。通过这样做，他们释放了硬件的全部速度潜力，使本地 AI 比以往任何时候都更快、更私密、更高效。你可以通过 GitHub 亲自尝试。

技术摘要：BaseRT —— 通过原生 Metal 实现 Apple Silicon 上顶尖性能的 LLM 推理

问题陈述

本文指出 Apple Silicon 在大语言模型（LLM）推理方面存在性能差距。虽然 Apple 的统一内存架构（UMA）提供了适合本地 LLM 部署的高带宽和高容量，但现有的运行时未能充分利用这一硬件特性。

框架开销： 主流运行时如 llama.cpp（最初以 CPU 为主，带有 Metal 后端）和 MLX（一个通用的数组框架，具有延迟计算特性）引入了架构约束。这些约束包括不必要的抽象层、框架级调度以及与 Metal 执行模型不匹配的调度开销。
资源利用率不足： 这些框架往往会让性能“白白流失”，特别是在内核启动开销、内存布局效率以及针对芯片特定内核进行融合的能力方面。
边缘推理背景： 随着行业向由隐私、延迟、连接性和成本驱动的边缘推理转型，现有运行时无法在消费级硬件上最大化吞吐量，这限制了端侧 AI 的可行性。

方法论

BaseRT 是一个直接构建在 Apple Metal GPU API 之上的原生 C++ 推理运行时，消除了对 MLX、PyTorch 或 CoreML 等中间框架的依赖。其设计遵循四个核心原则以最小化开销：

数据驱动的架构描述符： BaseRT 并非通过条件分支将架构差异（如注意力机制、归一化）硬编码到推理循环中，而是将这些差异捕获为数据。一个紧凑的描述符驱动引擎，确保“热路径”（hot path）在不同模型家族（如 LLaMA、Qwen3、Gemma 等）之间保持一致，从而减少分支并提高统一性。
零分配解码循环： 为了消除内存管理竞争，所有中间缓冲区（残差、注意力暂存空间、Logits、KV Cache）均在加载时预先分配。解码循环在运行期间分配零字节，完全依赖于 GPU 命令调度和轻量级的 CPU 端补丁（patching）。
内核融合与特化：
- 融合： BaseRT 融合了算子序列（例如在注意力路径和前馈块内），这些序列在其他运行时中通常作为独立的内核进行调度。这减少了全局内存的回访次数和内核启动开销，这在解码阶段（单个内核运行时间极短）至关重要。
- 特化： 该运行时包含了一个手写的 Metal 着色器库，针对每种量化格式（Q2–FP16）拥有专门的 GEMV（用于解码）和 GEMM（用于预填充）变体。反量化被直接集成到内层循环中，以避免在全局内存中实例化权重。
- 硬件适应性： 内核选择、线程组大小（threadgroup sizes）和融合决策会根据具体的芯片（M1–M5）和 GPU 核心数量进行动态配置。
预填充优化： 预填充操作利用带有 simdgroup 矩阵指令的分块 GEMM 内核。FlashAttention 实现通过在线 Softmax 以分块方式计算注意力，从而实现 $O(n)$ 的内存复杂度，避免了生成完整的 $O(n^2)$ 注意力矩阵。

核心贡献

原生 Metal 运行时： 首个不依赖于 MLX 或其他中间框架，直接基于 Metal 构建的 Apple Silicon LLM 推理运行时。
芯片特定优化： 实现了专门针对 Apple Silicon 拓扑结构的内核融合策略和统一内存感知的数据布局。
自定义调度逻辑： 实现了一种低开销的命令调度机制，消除了基于框架的运行时中存在的逐算子调度和图计算工作。
全面基准测试： 在 M3 和 M4 Pro 设备上，针对多种模型家族（Qwen3、Llama 3.2、Gemma 4）和量化级别（Q4、Q8）进行了严格评估，建立了新的吞吐量基准。

结果

论文报告称，BaseRT 实现了目前 Apple Silicon 上最高的推理吞吐量，性能超越了 llama.cpp、MLX 以及原生 Metal 运行时 uzu (Mirai)。

解码吞吐量（Token 生成）：
- 在测试的模型中，BaseRT 的吞吐量比 llama.cpp 高出 1.04× 至 1.56×。在较小的密集模型（如 Qwen3-0.6B）上提升最为显著，因为在这种情况下，固定的单 Token 开销占总延迟的比例较大。
- 在大多数模型上，BaseRT 比 MLX 的吞吐量高出 1.01× 至 1.35×。
- 在 M3 基础设备上，BaseRT 分别领先 llama.cpp 1.13× 至 1.34×，领先 MLX 1.01× 至 1.22×。
预填充吞吐量（提示词处理）：
- 密集模型： 各运行时之间的性能非常接近，因为预填充是计算密集型的，会饱和 GPU 的矩阵乘法单元。BaseRT 在短提示词下表现领先，但在某些密集模型长提示词场景下略微落后。
- 混合专家模型 (MoE)： BaseRT 展示了显著的领先优势，在短提示词长度下，其吞吐量比 MLX 高达 1.78×，比 llama.cpp 高达 1.81×（例如 Qwen3-30B-A3B）。
与 uzu 的比较： 在大多数配置下，BaseRT 在解码吞吐量上优于 uzu（在 Qwen3-0.6B 上高达 1.19×）。然而，uzu 在密集模型的预填充吞吐量上处于领先地位，这可能是因为它利用了通过 MPSGraph 调用 Apple Neural Engine (ANE) 的能力，而 BaseRT（仅 GPU 路径）目前尚未利用该能力。

意义与主张

论文声称 BaseRT 建立了 Apple Silicon 上端侧 LLM 推理的新性能基准，证明了通过框架抽象层，硬件的潜力被系统性地低估了。

重新定义硬件能力： 结果表明，当移除框架抽象开销时，Apple Silicon 是一个比此前报道的更强大的推理平台。
赋能边缘推理： 通过提供从 1B 到 30B 参数模型的一致且顶尖的吞吐量，BaseRT 为向端侧部署的转型提供了关键的支撑层。这支持了由隐私需求、延迟约束和云端成本压力驱动的新兴边缘推理范式。
开源可用： 该运行时已公开，允许社区利用这些原生优化。

作者对局限性保持了谦逊的态度，指出 BaseRT 目前仅支持单设备推理，缺乏连续批处理（continuous batching）或张量并行（tensor parallelism），且仅限于 Apple Metal（尚未支持 CUDA/Vulkan 后端）。未来的工作旨在扩展架构覆盖范围并增加后端支持，以实现更广泛的平台兼容性。