ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs

ArcLight 是一种专为多核 CPU 设计的轻量级大语言模型推理架构，通过集成高效的内存管理、线程调度及细粒度张量并行技术，有效解决了跨 NUMA 节点内存访问开销问题，从而显著提升了推理吞吐量。

要点

这篇论文介绍了一个名为 ARCLIGHT 的新系统，它的目标是让大型语言模型（LLM，比如现在的各种 AI 聊天机器人）在普通的多核 CPU 电脑上跑得更快、更聪明。

为了让你更容易理解，我们可以把“运行 AI 模型”想象成一家超级繁忙的餐厅在准备一顿大餐。

1. 现状：为什么现在的“餐厅”效率不高？

• 现有的框架（如 llama.cpp）： 就像一家管理得还算不错的餐厅，厨师（CPU 核心）很多，食材（数据）也充足。但是，这家餐厅的布局有个大问题。
• NUMA 架构（多核 CPU 的真相）： 现在的顶级服务器 CPU 就像是一个由**4 个独立厨房区域（NUMA 节点）**组成的大餐厅。每个区域有自己的厨师和专属冰箱（内存）。
  • 问题所在： 如果厨师 A 在“区域 1"，但他需要去“区域 3"的冰箱拿食材，他得跑很远，路上还要穿过嘈杂的走廊（跨节点内存访问）。这比直接去自己旁边的冰箱拿要慢得多，而且容易堵车。
  • 旧系统的做法： 以前的系统（如 llama.cpp）虽然知道有 4 个区域，但它把厨师和食材随机分配，不管他们是不是在同一个区域。结果就是，厨师们经常要为了拿个调料跑断腿，导致整个餐厅虽然人多，但出菜速度（推理吞吐量）上不去。

2. ARCLIGHT 的解决方案：重新设计厨房

ARCLIGHT 就像是一个从零开始重新设计的“超级厨房”，专门为这种多区域的大餐厅打造。它做了三件大事：

A. 本地化采购（NUMA 感知的内存管理）

• 比喻： ARCLIGHT 规定，“谁做饭，谁就在自己区域的冰箱拿食材”。
• 做法： 它在启动时，就把食材（模型权重和激活数据）严格地存放在对应厨师所在的“区域冰箱”里。
• 效果： 厨师再也不用跑远路了，90% 的食材都在手边，拿取速度飞快。

B. 流水线分工（跨 NUMA 张量并行）

• 比喻： 以前，所有厨师一起切同一块巨大的肉（串行计算），大家挤在一起，互相碍手碍脚。
• 做法： ARCLIGHT 引入了**“切分并行”**。它把巨大的任务（比如矩阵乘法）像切蛋糕一样，切成 4 块，分别分给 4 个区域的厨师。
  • 区域 1 的厨师只切蛋糕的左上角，区域 2 的切右上角，以此类推。
  • 因为每个人只处理自己区域内的数据，大家互不干扰，也不需要跨区搬运。
• 效果： 4 个区域同时开工，效率直接翻倍。

C. 灵活的调度员（线程管理与异步同步）

• 比喻： 以前的餐厅经理（调度器）很死板，必须等所有厨师都切完第一刀，才能喊大家开始切第二刀（全局同步）。
• 做法： ARCLIGHT 的经理很灵活。如果区域 1 的厨师切得快，区域 2 的慢，经理允许区域 1 直接开始切第二刀，不用等区域 2。
• 效果： 消除了“等待时间”，让每个厨师都能满负荷工作，不再 idle（闲置）。

3. 成果如何？

• 速度提升： 在拥有 192 个核心的超级电脑上测试，ARCLIGHT 比目前最流行的 llama.cpp 快了 46%。
• 轻量级： 整个系统非常精简，代码量很少（就像一把锋利的瑞士军刀，而不是笨重的工具箱），方便研究人员随时修改和扩展。
• 兼容性： 虽然这次主要是在华为鲲鹏（ARM 架构）上测试，但它的架构设计是通用的，未来也能轻松适配其他类型的 CPU。

总结

简单来说，ARCLIGHT 就是发现现在的 AI 跑在 CPU 上太慢是因为“厨师跑太远拿食材”和“大家排队等指令”。于是，它通过把食材放在厨师手边、把大任务分块给不同区域、以及允许大家灵活干活，成功让 CPU 跑 AI 的速度达到了一个新的高度。

这就好比把一家混乱的、大家乱跑乱撞的餐厅，改造成了井井有条、分区明确、流水线作业的现代化中央厨房。

技术摘要

ARCLIGHT 论文技术总结

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）的普及，对高效推理框架的需求激增。虽然现有的基于 CPU 的推理框架（如 llama.cpp）已经相对成熟，但在多核 CPU 平台（Many-Core CPUs）上存在显著的性能瓶颈，主要体现在以下方面：

• NUMA 架构的内存访问墙：现代高性能服务器和网络设备通常采用非统一内存访问（NUMA）架构，将 CPU 核心和内存划分为多个节点。跨节点访问远程内存的延迟远高于访问本地内存（实验显示差距可达 4 倍）。
• 现有框架的局限性：主流框架（如 llama.cpp）往往忽略了跨 NUMA 节点的内存访问开销。它们通常使用统一的内存缓冲区（UMA 策略），导致计算线程与数据内存位置不匹配，产生大量的非本地内存访问，严重限制了推理的可扩展性。
• 架构改造困难：现有的成熟框架代码库庞大且复杂，进行"手术式"重构以支持 NUMA 感知优化极其困难，且阻碍了研究人员进行细粒度的优化或快速适配新模型。

2. 方法论与系统设计 (Methodology)

为了解决上述问题，作者提出了 ARCLIGHT，一个专为多核 CPU 从头构建的轻量级 LLM 推理架构。其核心设计理念是极简主义和模块化，主要包含以下关键设计：

2.1 整体架构

ARCLIGHT 采用解耦架构，包含高层解码前端和底层推理后端。后端由五个核心模块组成：

1. 内存管理器 (Memory Manager)
2. 线程管理器 (Thread Manager)
3. 张量库 (Tensor Library)
4. 前向图构建器 (Forward Graph Builder)
5. 图计算调度器 (Graph Computation Scheduler)

2.2 关键技术创新

A. NUMA 感知的内存管理

• 本地化分配：与 llama.cpp 的全局统一缓冲区不同，ARCLIGHT 在程序启动时，为每个 NUMA 节点预分配独立的本地内存池（Local Buffers）。
• 显式绑定：通过显式将张量绑定到特定的 NUMA 节点，消除了跨节点内存访问。
• 双层缓冲机制 (Double-Buffering)：针对层间推理中的激活值（Activation），采用双层缓冲机制，根据层奇偶性交替使用，显著降低了运行时的内存占用。

B. 多视图线程管理

• 线程组抽象：引入了“线程组”的逻辑抽象。线程池不仅可以作为一个整体运行，还可以动态分割为多个组（Thread Groups）。
• 同步机制：设计了全局屏障 (Global Barrier) 和 局部屏障 (Local Barrier)。
  • 局部屏障用于组内同步。
  • 全局屏障用于跨所有逻辑组的同步。
  • 这种机制支持灵活切换单图执行和多子图并行执行。

C. 跨 NUMA 张量并行 (Cross-NUMA Tensor Parallelism, TP)

这是 ARCLIGHT 突破性能瓶颈的核心策略：

• 权重分区：将模型权重（如 MLP 中的 $W_{gate}, W_{up}$ 等）按行或列切分，并分别存储在不同的 NUMA 节点上。
• 算子设计：引入 Scatter（分散）和 Gather（聚合）算子。
  • Scatter：将输入张量分散到不同节点，将线程池分割为多个组，每个组在本地节点上并行执行独立的子图计算（如 GEMM）。
  • Gather：收集各子图结果并求和，恢复为单线程组模式。
• 异步执行：在 TP 模式下，不同线程组（子图）之间没有数据依赖，采用异步执行策略（Sync B），仅在关键节点进行全局同步，大幅减少了线程空闲时间。

3. 主要贡献 (Key Contributions)

1. 轻量级推理架构：开源了一个模块化的框架，将 LLM 推理提炼为核心要素（约 10 个 C++ 头/源文件），为研究人员提供了一个透明、可定制（"Hackable"）的 CPU 部署基础，避免了传统框架的臃肿。
2. 多核 CPU 优化蓝图：提供了一套针对多核 CPU 的多维度优化方案。通过解决线程调度、内存访问墙以及引入细粒度控制的张量并行，显著突破了 CPU 推理的性能边界。

4. 实验结果 (Results)

• 实验环境：使用 192 核（4 个 NUMA 节点，每节点 48 个华为鲲鹏 920 ARM 核心）的测试机器，运行 Ubuntu 22.04，测试模型为 Q4_0 量化的 Qwen3-4B。
• 性能提升：
  • 在单 NUMA 节点场景下，ARCLIGHT 凭借本地内存分配策略，吞吐量略高于 llama.cpp。
  • 在多 NUMA 节点场景下（跨节点分配线程），ARCLIGHT 结合跨 NUMA 张量并行（TP）技术，推理吞吐量比 llama.cpp 高出高达 46%。
  • 异步子图执行策略额外带来了约 5 tokens/s 的性能增益。
• 兼容性：ARCLIGHT 能够兼容任意 CPU 设备，且目前主要基于 ARM 架构验证，但设计支持 x86 等架构。

5. 意义与局限性 (Significance & Limitations)

意义

• 释放多核 CPU 潜力：证明了通过精细的内存管理和张量并行，多核 CPU 平台（尤其是 NUMA 架构）能够成为 LLM 推理的高效载体，而不仅仅是 GPU 的替代品。
• 填补空白：解决了现有主流框架在跨 NUMA 内存访问上的盲区，为在 Web 服务器和高性能网络设备中部署 LLM 提供了可行的技术路径。
• 教育与开发价值：其极简的代码结构使其成为研究 CPU 推理优化、学习底层系统设计的理想平台。

局限性

• 架构支持：目前仅在 ARM 平台上进行了评估，对 x86 等其他架构的支持是未来的工作。
• 算子优化：Scatter 和 Gather 算子的实现尚处于初步阶段，未来需进一步优化以减少内存开销并提高并行效率。

---

总结：ARCLIGHT 通过重新设计内存分配策略、引入多视图线程调度以及实施跨 NUMA 张量并行，成功打破了多核 CPU 推理中的“内存访问墙”，实现了显著的吞吐量提升，为大规模 CPU 推理部署提供了新的架构范式。