🤖 machine learning

FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels

FairyFuse 提出了一种针对 CPU 的乘法-free 大语言模型推理系统，通过利用三值权重将线性层融合为单个 AVX-512 循环，在单颗 Intel Xeon 处理器上实现了比 llama.cpp 快 1.24 倍且精度接近无损的生成速度。

原作者： Fei Zuo, Xiaoyan Xi, Quanyi Zeng, Feiyu Wang, Ho Fai Leung

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Fei Zuo, Xiaoyan Xi, Quanyi Zeng, Feiyu Wang, Ho Fai Leung

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 FairyFuse 的新系统，它能让大型语言模型（LLM）在普通的电脑 CPU 上跑得飞快，而且完全不需要做乘法运算。

为了让你轻松理解，我们可以把大模型推理想象成在一家巨大的图书馆里找书并写读后感。

1. 背景：为什么现在的 CPU 跑不动？

现状：现在的 AI 模型（比如 LLaMA）非常庞大，就像一座拥有几十亿本书的图书馆。
瓶颈：当你问 AI 一个问题时，它需要从内存（书架）里把书（权重数据）取出来，在 CPU（大脑）里进行计算。
问题：对于普通电脑 CPU 来说，“取书”的速度（内存带宽）太慢了，而“读书”的速度（计算能力）其实很快。就像你有一个超级快的厨师，但他每次只能从很远的仓库里拿一点点食材，大部分时间厨师都在空等。
现有的方案：为了减少取书的次数，人们把书的内容“压缩”了（量化），比如把 32 位的数据压缩成 4 位。但这有个缺点：虽然书变薄了，但厨师拿到书后，还是得先把它“展开”成原来的样子，然后再做复杂的乘法计算。这就像把压缩饼干泡开再吃，虽然省了空间，但做饭的步骤没变少。

2. 核心创新：FairyFuse 是怎么做的？

FairyFuse 提出了一种更激进的想法：既然书的内容只有三种状态（+1, 0, -1），我们为什么还要做乘法呢？

比喻一：三原色积木 vs. 复杂的乐高

传统做法：就像用乐高积木搭房子，每一块积木都要精确计算怎么拼接（乘法），非常耗时。
FairyFuse 的做法：它把模型压缩成只有三种颜色的积木：
- 红色 (+1)：直接加一块积木。
- 蓝色 (-1)：直接减（拿走）一块积木。
- 白色 (0)：什么都不做。
结果：厨师（CPU）不再需要计算“红色积木乘以 5"这种复杂的乘法，只需要根据颜色直接加或减。这就像从“做数学题”变成了“简单的加减法”，速度快得惊人。

比喻二：八个人一起干活 vs. 一个人干八次活

这篇论文还解决了一个复杂的数学问题（复数线性层）。

以前的做法：要把一个复杂的任务拆成 8 个小任务，让 8 个人（或 8 个步骤）分别去干。每个人都要跑一趟仓库取材料，取 8 次，还要互相等，效率很低。
FairyFuse 的做法（融合内核）：它把这 8 个小任务合并成一个大任务。
- 大家只去仓库取一次材料（共享数据）。
- 大家拿着同一批材料，各自在手里同时处理不同的部分（并行计算）。
- 最后一次性把结果汇总。
- 效果：就像把 8 次往返跑变成了 1 次，效率直接翻倍。

3. 惊人的效果：CPU 赢了 GPU？

通常我们认为，AI 跑得快要靠昂贵的显卡（GPU），因为显卡带宽大（仓库离得近，取书快）。但 FairyFuse 发现了一个有趣的现象：

在 GPU 上：因为 GPU 本身取书就很快，把书压缩得再小（从 4 位变 2 位），对速度的提升也不明显。而且，GPU 缺乏处理这种“直接加减”的特殊指令，反而因为要解码变得慢了。
在 CPU 上：CPU 本来取书就慢（瓶颈在内存），现在把书压缩了 16 倍（从 32 位变 2 位），相当于把仓库搬到了厨师手边。再加上“只做加减法”的指令，速度直接提升了近 30 倍！

数据说话：
在普通的 Intel 服务器 CPU 上，FairyFuse 每秒能生成 32.4 个单词，比目前流行的 llama.cpp（使用 4 位量化）快 1.24 倍，而且回答的质量几乎没有损失（几乎和原版一样聪明）。

4. 总结：这意味着什么？

隐私与离线：你不再需要昂贵的显卡或联网的云端服务器，就能在自己的笔记本电脑甚至边缘设备上流畅运行强大的 AI 助手。
省钱：普通 CPU 就能干以前只有高端显卡才能干的活。
核心逻辑：
1. 极致压缩：把模型变成只有 +1, 0, -1 的“三值”模型。
2. 去乘法化：用“加”和“减”代替复杂的“乘”。
3. 融合优化：把 8 个步骤合并成 1 个，减少重复劳动。

一句话总结：
FairyFuse 就像给 AI 换了一双“轻功鞋”，让它不再需要背着沉重的“乘法包袱”，在普通的 CPU 上也能像风一样快，让每个人都能在自己的设备上拥有强大的 AI 助手。

FairyFuse：基于融合三元核的无乘法 CPU 大模型推理技术总结

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）从数据中心向端侧设备（如笔记本电脑、边缘服务器）和隐私敏感场景扩展，仅依赖 CPU 进行推理的需求日益增长。然而，在 CPU 平台上，自回归 token 生成的主要瓶颈是内存带宽，而非计算能力。

现有的推理系统面临以下挑战：

量化未充分利用：虽然将权重量化到 4 位或更低可以显著减少内存压力，但现有系统（如 llama.cpp）通常会将压缩权重反量化（dequantize）回浮点数，然后执行浮点乘法。这导致大部分位宽节省带来的性能潜力未被释放。
三元权重的硬件未适配：三元权重（取值 $\{-1, 0, +1\}$ ）理论上可以将权重 - 激活值的乘积转化为条件加法、减法或空操作，从而完全消除乘法。虽然 Fairy2i 等算法已证明三元 LLM 的质量可媲美 FP16，但其参考实现仍通过标准浮点例程调度量化权重，未能在硬件指令层面利用三元结构。
现有替代方案的局限：基于查找表（LUT）的方法（如 T-MAC）虽然消除了乘法，但引入了间接内存访问和片上 LUT 压力，限制了 SIMD 单元的持续吞吐量。

2. 方法论 (Methodology)

FairyFuse 是一个专为 Fairy2i 设计的配套推理系统，旨在在商用 CPU 上首次实现真正的无乘法三元推理。其核心设计包括：

2.1 三元算术与指令级优化

数据打包：将 16 个三元权重（每个 2 位）打包进一个 32 位整数中。
无乘法解码：利用 x86 的 BMI2 指令集（_pext_u32）在单周期内并行提取正负掩码（Mask），无需查找表。
掩码累加：利用 AVX-512 指令集的掩码加法/减法（_mm512_mask_add_ps, _mm512_mask_sub_ps）直接对激活值进行累加。
结果：内核循环内部零浮点乘法指令，零查找表开销。

2.2 融合广泛线性核 (Fused Widely-Linear Kernel)

Fairy2i 的模型采用复数域量化，每个线性层被分解为 8 个耦合的实值子 GEMV（广义线性变换）。 naive 的实现会分别运行 8 个内核，导致重复加载激活值、同步开销和中间缓冲区溢出。FairyFuse 提出了一种融合策略，将 8 个子 GEMV 合并为一个行并行的 AVX-512 循环：

掩码复用 (O1)：解码一次掩码对，同时服务于实部和虚部的累加路径。
输入向量复用 (O2)：激活值向量（ $x_{re}, x_{im}$ ）仅加载一次，并在所有 8 个子 GEMV 中共享，减少内存流量。
符号交换别名 (O3)：通过预计算 $-x_{im}$ 并将共轭操作转化为指针切换，消除逐通道的取反操作。
寄存器驻留累加 (O4)：所有 8 组部分和保持在 AVX-512 寄存器中，直到最后进行水平归约，消除了中间结果写入 DRAM 的开销。

3. 关键贡献 (Key Contributions)

首个无乘法三元 GEMV 内核：在 x86 CPU 上实现了仅使用掩码 AVX-512 加减法和 BMI2 位提取的三元权重 GEMV 内核，彻底消除了浮点乘法和查找表。
复数广泛线性层的融合优化：通过掩码复用、输入共享、符号交换和寄存器累加，将 8 个子 GEMV 融合为单个 SIMD 循环，相比非融合执行提升了 1.55 倍 速度。
全栈评估与架构洞察：在 70 亿参数模型上验证了系统性能，证明了CPU 是极端量化（2-bit）的自然目标，而 GPU 由于极高的内存带宽和缺乏高效的位提取指令，反而无法从三元压缩中获益。

4. 实验结果 (Results)

在单路 Intel Xeon 8558P (48 核，~200 GB/s 带宽) 上的评估结果如下：

吞吐量 (Throughput)：
- FairyFuse 达到 32.4 tokens/秒。
- 比 llama.cpp 的 Q4_K_M (4-bit) 快 1.24 倍。
- 比 llama.cpp 的 Q2_K (2-bit) 快 1.61 倍（尽管 Q2_K 内存占用更小，但 FairyFuse 消除了乘法延迟）。
模型质量 (Quality)：
- WikiText-2 困惑度 (Perplexity)：5.52（FP16 为 5.47，Q4_K_M 为 5.68）。
- 下游任务平均准确率：66.0%（FP16 为 67.3%，Q4_K_M 为 65.1%）。
- 质量几乎无损，优于 4-bit 量化基线。
内核加速比：
- 在 48 线程下，相比 FP32 实现了 29.6 倍 的加速。
- 相比 1 线程 FP32，三元内核加速比高达 54.4 倍（在特定矩阵尺寸下）。
Roofline 分析：
- 三元打包将算术强度（AI）从 0.25 提升至 8.0 OP/byte。
- 在带宽受限的 CPU 上，这使计算从深内存受限区移向计算脊线（Compute Ridge），带来巨大收益。
- 在带宽丰富的 GPU 上，由于缺乏高效的位提取指令（如 _pext_u32）且带宽未饱和，三元推理反而比 FP16 慢 130 倍。

5. 意义与影响 (Significance)

重新定义 CPU 推理潜力：证明了在带宽受限的 CPU 上，通过极端的量化（2-bit）和定制化的无乘法指令路径，可以超越传统的 4-bit 量化方案，实现更高的吞吐量和更低的延迟。
隐私与离线推理：为在笔记本电脑、边缘服务器等无 GPU 设备上高效、隐私安全地运行十亿级参数 LLM 提供了切实可行的技术方案。
硬件 - 算法协同设计：展示了针对特定硬件指令集（AVX-512 + BMI2）设计专用内核的重要性，特别是对于复数域量化和三元算术这种特殊计算模式。
开源与可复现性：所有测量结果变异系数低于 2%，代码和实现细节公开，为后续研究提供了基准。

总结：FairyFuse 通过消除浮点乘法并融合复数线性层，成功将三元 LLM 从算法理论转化为 CPU 上的高性能现实，确立了 CPU 作为极端量化大模型推理的首选平台。