🤖 AI

TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

本文介绍了 TileFuse，这是一个针对 AMD XDNA2 NPU 的近底层混合精度算子库，它通过融合解包、反量化和矩阵运算，实现了对流行的 AWQ 式量化 LLM 推理的高效原生支持，在客户端边缘设备上相比现有基准方案取得了显著的性能和能效提升。

原作者： Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你的车库里停着一辆全新的、超高速的送货卡车（NPU），但你手里唯一的地图（软件）却是在教你如何骑一辆慢悠悠的老旧自行车。你无法使用这辆卡车的速度，因为地图并不知道如何引导它行驶在专属车道上。

这就是目前在新型笔记本电脑芯片上运行现代人工智能聊天机器人（LLM）时面临的问题。这些芯片拥有强大的“AI引擎”（NPU），旨在节省电池并提高速度，但目前的软件通常会迫使 AI 改变自己的形状来适应引擎，而不是让引擎去适应 AI。

TileFuse 是一套旨在解决这一问题的全新工具。它就像是为这辆卡车专门建造了一条定制的高速公路，让它能够运载沉重的压缩数据，而无需中途停下来重新打包。

以下是论文如何使用简单的类比来解释这一解决方案的：

1. 问题所在：“重新打包”的瓶颈

通常，为了在这些新芯片上运行 AI，你必须将 AI 的“压缩”权重（就像是将书紧凑地装进一个小手提箱）拆解成一种笨重的格式（比如把书拿出来平铺在桌子上），以便芯片能够读取。

旧方法： 芯片读取手提箱，把书拆出来，再把它们放进另一个不同的手提箱，然后才开始阅读。这既浪费时间又浪费能量。
TileFuse 的方式： 芯片读取手提箱，在打开箱子的同时进行拆解，并在拆解的过程中直接进行阅读。它在一个流畅的动作中完成了所有工作。

2. 解决方案：“融合”算子（Fused Kernels）

作者创建了一个名为 TileFuse 的库。你可以把一个“算子”（Kernel）理解为给芯片的一份特定的说明书。

融合（Fusion）： 与其使用三个独立的工人（一个负责拆包，一个负责转换，一个负责计算），TileFuse 将它们合并为一个“超级工人”。这个工人一边抓取压缩数据，一边即时进行转换，并同时完成数学运算。
结果： 这就像一位厨师不仅是在切菜，而是在切菜、调味和烹饪的过程中一气呵成。论文声称，对于某些任务，这种方式比旧方法快了多达 2.8 倍。

3. “交错式”布局：组织仓库

大型 AI 模型拥有海量的数字列表（权重）。芯片的内存系统有一个限制，即它能触及数据的距离。如果数据存储方式杂乱无章，芯片就必须进行长距离且缓慢的移动才能获取下一块数据。

类比： 想象一个仓库，里面的箱子堆放得乱七八糟。叉车必须行驶 50 英尺才能拿到下一个箱子。
TileFuse 的修复方案： 他们重新排列了仓库（称为“交错式预分块/Interleaved Pre-tiling”），使得叉车接下来需要的箱子紧挨在一起。这使得芯片可以一次性平滑地抓取巨大的数据块，从而支持此前无法容纳的更大规模 AI 模型（高达 32,000 项宽度）。

4. “GEMV”问题：交通拥堵

AI 聊天机器人的工作分为两个阶段：

预填充（Prefilling）： 一次性阅读长提示词（就像读完一整本书）。这对卡车来说很快也很容易。
Token 生成（Token Generation）： 一个词一个词地编写（就像写句子）。这很慢且很棘手。

问题： 在编写单词的过程中，芯片的“卡车”经常处于闲置状态，因为它设计的初衷是运载大件货物，而非小件。这就像是用半挂卡车去递送一封信；引擎在运转，但卡车却是空的。
修复方案： TileFuse 重新设计了这一阶段的交通流。它不再将数据发送到单一的车道，而是同时将工作分配到芯片的所有 32 条车道上。这确保了即使在“负载”很小时，整个引擎也能保持忙碌状态。

5. 现实世界的测试结果

团队在真实的 AMD 笔记本电脑（Ryzen AI）上进行了测试，并将结果与使用其标准图形卡（iGPU）的情况进行了对比。

速度： 对于阅读长提示词（预填充阶段），带有 TileFuse 的 NPU 比图形卡快了多达 2 倍。
电池： 由于 NPU 效率更高，完成同样的工作所消耗的能量减少了 64%。
代价： 在逐个生成单词（Token 生成）时，NPU 有时比图形卡慢。这是因为对于如此微小且快速的任务，配置 NPU 的“准备时间”过长。
混合方案： 论文建议采用“两全其美”的方法：利用 NPU 进行重型作业（阅读长提示词），并利用图形卡处理快速任务（生成单词）。这种组合能提供最佳的速度和电池续航表现。

总结

TileFuse 是一座桥梁。它采用了开发者已经广泛使用的流行压缩 AI 格式（如 AWQ），并让这些格式能够在无需更改 AI 模型本身的情况下，原生运行在 AMD 的新型 AI 芯片上。通过将拆解步骤与数学运算融合，优化数据组织，并充分利用芯片的全通道能力，它让在笔记本电脑上运行 AI 变得更加快速且更具能效。

技术摘要：TileFuse

问题陈述

在边缘设备上部署大语言模型（LLM）正日益依赖神经网络处理器（NPU），以满足严格的功耗和热量预算。然而，在客户端 NPU（特别是 AMD XDNA2 架构）上进行实际的 LLM 推理面临着显著障碍。主要障碍在于软件栈的碎片化以及缺乏底层可编程性。大多数 NPU 框架（例如 Apple Core ML、Intel OpenVINO、Qualcomm QNN）仅提供高层接口或专有的部署路径，无法原生支持广泛使用的现成量化格式，如 AWQ（激活-权重量化）。

因此，开发者往往被迫重塑模型以适配 NPU 特有的量化方案，或者依赖效率较低的全精度执行。虽然此前已有研究探索了针对特定平台的硬件感知量化（例如 Qualcomm 的 ScalingLLM），但它们通常无法支持像 $W4A16$ 这样的标准格式，或者无法处理现代 LLM 中常见的超大矩阵维度（例如 >8K）。此外，现有的 NPU 优化往往缺乏将解包（unpacking）和去量化（dequantization）直接融合进计算内核的能力，从而导致不必要的内存流量和低效的数据移动。

方法论

TileFuse 是一个针对 AMD XDNA2 NPU 设计的近底层（close-to-metal）混合精度内核库，主要针对主导 LLM 推理的线性层（GEMM 和 GEMV）。该系统利用开放的 MLIR-AIE (IRON) 编程流，对权重布局、元数据放置、微内核以及阵列级数据流进行协同设计。

1. 融合混合精度微内核

TileFuse 将三个不同的操作融合进单个内核流中：

解包（Unpacking）： 提取打包的 INT4/INT8 权重。
去量化（Dequantization）： 使用逐组（per-group）或逐通道（per-channel）的缩放因子（scales）和零点（zero-points）将低比特整数转换为 BF16。
执行（Execution）： 执行矩阵乘法（GEMM）或矩阵-向量乘法（GEMV）。

通过在到达计算核心之前保持权重的压缩格式，TileFuse 避免了为了实现全精度（BF16）权重而进行的全局内存往返。微内核旨在对每个权重分块（tile）进行一次解包和去量化，将其结果存储在本地计算核心内存中，并为后续的矩阵操作复用这些值，从而保持了对提升分块 GEMM 性能至关重要的复用模式。

2. 交错预分块（Interleaved Pre-Tiling）

为了解决运行时 DMA 流传输限制（通常将支持的维度限制在 8K 以下）的问题，TileFuse 采用了离线交错预分块策略。

元数据打包： 量化元数据（缩放因子和零点）被直接打包进内存中的权重分块内，确保去量化所需的所有数据都是连续可用的。
布局重组： 权重矩阵被重组为交错的列优先布局。这确保了分配给同一 AIE 列的权重分块在内存中是连续的，消除了会导致单个 GEMM 操作被迫拆分为多个内核调用的巨大内存跨度。这种方法支持高达 32K 的 GEMM 维度。

3. GEMV 数据流协同设计

边缘 LLM 的 Token 生成通常是批大小为 1 的 GEMV 操作，这类操作在全精度下通常是内存受限的，但在引入量化和去量化后则变为计算受限。

基准局限性： 标准的 GEMV 映射通常仅利用 4×8 AIE 计算阵列中的单行，导致大部分硬件处于闲置状态。
优化方案： TileFuse 重新设计了数据流，将权重分布到整个 4×8 阵列中。它利用存储核心（memory cores）作为中间分布层，将权重分块束从 Shim 核心流式传输到存储核心，随后由存储核心分发到所有四个计算行。这最大化了空间利用率和算术吞吐量，从而提升了 Token 生成性能。

4. 可重构性感知优化

系统显式利用了 XDNA2 架构的可重构性，为特定工作负载定制计算核心微内核和 DMA 访问模式。然而，作者也承认这种灵活性会引入运行时调度和织构（fabric）重构的开销。TileFuse 旨在通过大规模预填充（prefilling）GEMM 来摊销这一开销，但也意识到了其在延迟敏感的小规模 GEMV 操作中的局限性。

核心贡献

用于实用量化的融合内核： 实现的融合 AIE 内核可直接消费 AWQ 式的 $W4A16$ 和 $W8A16$ 权重，消除了模型重塑或使用专有量化方案的需求。
交错预分块： 一种支持高达 32K GEMM 维度的布局策略，并通过使内存访问与 DMA 缓冲区描述符约束对齐，实现了高效的运行时流传输。
GEMV 数据流重构： 一种新的数据流，将权重分布到整个 4×8 AIE 阵列，显著提高了 Token 生成的吞으로써。
端到端边缘效率： 将这些内核集成到混合运行时（NPU 处理线性层，iGPU 处理注意力机制/非线性层）中，展示了在延迟和能量效率方面的显著收益。

结果

评估是在搭载 Ryzen AI 7 350 和 Ryzen AI 9 HX 370 的 Ryzen AI 笔记本电脑上进行的，使用了 Llama3-8B、Gemma-2B 和 Qwen2.5-3B 等模型。

内核性能：
- GEMM： TileFuse 比全精度基准性能提升高达 121.6%。
- GEMV： TileFuse 比全精度基准性能提升高达 281%。
- 对比： 在 GEMM 方面，TileFuse 提供的性能和能效比强力的 iGPU 基准（llama.cpp 融合内核）提升了 2 倍以上。
端到端 LLM 推理：
- 预填充（Prefilling）： 在 Ryzen AI 7 350 上，与 iGPU 基准相比，TileFuse 的预填充延迟降低了高达 2.0×（例如，Llama3-8B 在 2048 个 token 时实现 2.00× 加速）。
- 能量： NPU 路径在 Ryzen AI 7 350 上减少了超过 64.6% 的能耗，在 Ryzen AI 9 HX 370 上减少了 52.8%。
- Token 生成： 由于相对于微秒级执行的 GEMV 算子，存在毫秒级的内核调度和重构开销，NPU 在 Token 生成方面的表现逊于 iGPU。
与前人工作的对比： 在预填充吞吐量方面，TileFuse 优于近期的 NPU 驱动框架，如 FastFlowLM 和 Scaling NPU（例如，在 Llama3-8B 和 Qwen2.5-3B 上分别实现 1.45× 和 1.61× 的加速）。

意义与主张

论文声称，TileFuse 证明了 AMD XDNA2 NPU 是高效、现成的量化 LLM 推理的理想目标。通过通过近底层优化将 AWQ 等标准格式直接引入硬件，这项工作弥合了原始 NPU 潜力与现实客户端部署之间的差距。

作者强调，TileFuse 的成功依赖于一种混合部署策略：利用 NPU 的可重构空间阵列处理大规模上下文预填充（在此场景下开销被摊销），同时依靠 iGPU 处理延迟敏感的 Token 生成。这种方法验证了，如果能让硬件适配用户依赖的量化格式，而非强迫模型符合专有约束，那么 NPU 可以显著提升边缘 LLM 的可用性。这项工作表明，通过适当的内核和数据流协同设计，即使在存在软件栈碎片化的情况下，NPU 也能提供显著的性能和能量收益。