🤖 machine learning

EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture

本文介绍了EVA，这是一种软硬件协同优化的架构，通过将内存受限的向量量化查找转换为高效且无冲突的GEMM计算来加速大语言模型解码，与最先进的方法相比实现了高达11.17倍的加速比和7.17倍的能效提升。

原作者： Bowen Duan, Cong Guo, Chiyue Wei, Haoxuan Shan, Yuzhe Fu, Xinhua Chen, Yifan Xu, Ziyue Zhang, Changchun Zhou, Hai Li, Yiran Chen

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bowen Duan, Cong Guo, Chiyue Wei, Haoxuan Shan, Yuzhe Fu, Xinhua Chen, Yifan Xu, Ziyue Zhang, Changchun Zhou, Hai Li, Yiran Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大的知识库（即大型语言模型，或 LLM），它能写故事、解数学题，还能与你聊天。为了让这座知识库运转起来，计算机必须完成两项主要任务：一次性读取一大段文本（“预填充”阶段），以及逐字生成，反复进行（“解码”阶段）。

这篇论文指出，虽然读取速度很快，但在当前计算机上，逐字生成极其缓慢且浪费资源。来自杜克大学的一个研究团队构建了一个名为EVA的新系统来解决这一问题。

以下是 EVA 的工作原理，通过简单的类比进行解释：

问题所在：“逐字生成”造成的交通拥堵

将计算机的大脑（处理器）想象成一座拥有数千名工人（处理单元）的巨型工厂，他们随时准备进行数学运算。

预填充阶段（读取）： 想象工厂收到了一大批 1,000 个箱子的货物。所有工人都可以同时抓取一个箱子并开展工作。这既快速又高效。
解码阶段（生成）： 现在，想象工厂必须生产仅仅一个微小的物品，然后等待，接着再生产一个，再等待。尽管工厂拥有数千名工人，但只有一两名工人始终处于忙碌状态。其余的人则无所事事地站着。这就是论文中提到的"GEMV"问题：计算机受限于内存（等待数据），而非受限于计算（进行数学运算），从而导致巨大的交通拥堵。

旧方案：“字典查找”瓶颈

为了让工厂运转得更快，工程师们尝试使用一种称为**向量量化（VQ）**的技术来缩小“操作手册”（模型权重）。

类比： 他们不再为每一个单词编写完整的指令，而是用短代码（如"A1"、"B2"）替换冗长的指令，这些代码指向一个共享的字典（代码本）。
新问题： 虽然这缩小了手册，但却制造了新的交通拥堵。每当工厂需要生成一个单词时，它都必须跑去字典，查找代码，并获取指令。
冲突： 想象 100 名工人在同一时刻冲向字典中的同一个货架。他们互相碰撞，造成内存冲突。他们不得不排队等待，拖慢了整体进度。论文将这种现象称为“内存低效”。

EVA 解决方案：改变工作流程

EVA 的作者们意识到，他们不需要改变字典，只需要改变工人使用字典的方式。他们引入了一个两步魔术：

第一步：在查找代码之前先进行数学运算

EVA 颠倒了顺序，不再先查找代码再进行数学运算。

类比： 想象工人们不再等待字典。相反，他们直接将输入（问题）与整个字典同时进行运算。
结果： 这将“逐个”的数学问题转变为“大批量”的数学问题。在计算机术语中，他们将缓慢的GEMV（矩阵 - 向量）运算转变为快速的GEMM（矩阵 - 矩阵）运算。现在，所有工厂工人再次忙碌起来，并行地进行数学运算。

第二步：“无冲突”查找

一旦数学运算完成，工人们就得到了一份“中间结果”列表（输出代码本）。

类比： 在旧系统中，所有人都跑向同一个货架。而在 EVA 中，结果被预先分类到不同的、独立的隔间中。当工人需要特定结果时，他们会前往自己专属的隔间。没有人会互相碰撞。
结果： “内存冲突”完全消失。查找变得瞬间完成且并行化。

硬件：智能工厂车间

论文还描述了运行该系统的物理机器（芯片）：

可重构的工人： 工厂工人是智能的，可以切换模式。当计算机处于“读取”（预填充）状态时，他们使用简单、快速的 8 位数字工作。当处于“生成”（解码）状态时，他们切换到更精确的 16 位数字，以保持高质量。
专用加法器： 生成单词的最后一步仅涉及数字相加。EVA 在流水线末端添加了一个特殊的“加法器”站点，它速度极快且不需要复杂的数学工具，使流水线保持顺畅运行。

结果：速度与效率

论文使用流行的 AI 模型（如 LLaMA）将 EVA 与现有的最佳系统（如 FIGLUT 和标准 GPU）进行了测试。

速度： 与现有的最佳基于查找的系统相比，EVA 生成文本的速度快达11 倍。
能耗： 完成相同任务所需的能量减少了7 倍。
质量： 尽管模型被如此重度压缩（降至 2 位精度，这就像将高分辨率照片压缩成一个小图标），文本质量依然出色，准确率几乎没有损失。

总结

EVA 就像重新设计了一座工厂，让工人不再排队逐个领取指令，而是以大规模、有组织的批次处理指令，每个人都有自己的专用通道。这消除了交通拥堵，让所有工人保持忙碌，并使 AI 生成文本的速度和效率显著提高。

技术摘要：EVA——通过高效向量量化架构加速大语言模型解码

1. 问题陈述

大语言模型（LLM）在自回归解码阶段存在显著的推理效率低下问题。与利用计算密集型通用矩阵乘法（GEMM）操作的预填充（prefill）阶段不同，解码是逐个生成 token 的，导致一系列小规模的通用矩阵 - 向量乘法（GEMV）操作。这种转变在现代硬件加速器上引发了两个主要瓶颈：

计算低效：GEMV 操作未能充分利用针对大型 GEMM 工作负载优化的加速器中的处理单元（PE），导致大部分计算通道处于空闲状态。
内存低效：虽然仅权重量化（Weight-Only Vector Quantization, VQ）能有效压缩模型权重（低至 2 位）以减少内存带宽，但标准解码过程需要码本查找。这些查找涉及不规则、非合并的内存访问模式，导致频繁的内存库冲突、串行化以及缓存效率降低。因此，传统的 VQ 实现往往无法超越标准 FP16 推理，甚至可能更慢。

2. 方法论：EVA 架构

本文提出了EVA，这是一种软硬件协同设计的架构，通过重构 VQ 解码过程以消除计算和内存瓶颈。其核心洞察是将解码工作流从易发生冲突的内存受限型 GEMV 转变为计算高效且无冲突的 GEMM。

A. 算法重构：从 GEMV 到 GEMM

EVA 引入了解码计算的两步重构：

输入 - 码本点积（GEMV $\to$ GEMM）：EVA 不再从索引重建完整权重矩阵然后执行 GEMV，而是直接计算输入激活向量与**权重码本（WC）**之间的点积。
- 输入被重塑为大小为 $d$ 的向量。
- 这些向量与包含 $2^n$ 个质心的权重码本（WC）相乘，生成中间输出码本（OC）。
- 这将操作从 $M=1$ 的 GEMV 转换为紧凑的 GEMM（ $O = X \times B$ ），显著提高了算术强度和并行度。
无冲突查找：最终输出是通过使用权重索引（WI）矩阵在 OC 中查找值得到的。
- 与标准 VQ 中查找 WC 会导致库冲突不同，OC 的结构设计使得不同行（源自不同输入向量）映射到不同的内存库。
- 这确保了同时索引访问（例如索引 5 和 3）映射到不同的库，从而完全消除了内存冲突。

B. 硬件架构

EVA 在专用加速器上实现了这一重构：

可重构混合精度 GEMM 单元：核心采用支持INT8（用于预填充阶段）和FP16（用于 VQ 解码）的脉动阵列。它通过将 $32 \times 32$ 的 INT8 阵列重新配置为 $32 \times 8$ 的 FP16 阵列来实现这一点，将 FP16 乘法分解为四个 INT8 操作。这允许在预填充和解码模式之间无缝切换，而无需复制硬件。
尾声单元（Epilogue Unit, EU）：一个专用的轻量级单元处理 GEMM 后的操作。它在 OC 上执行无冲突查找，并使用加法树累加结果。EU 设计为可扩展，并与 GEMM 流水线并行运行以隐藏延迟。
分块策略：该架构采用权重驻留（weight-stationary）方法，权重码本和输出码本保留在片上，而输入和索引张量以分块形式流式传输。这最大限度地减少了片外内存流量。

3. 主要贡献

码本驱动的 GEMM 公式：本文提出了一种新颖的数学重构，用直接的输入 - 码本点积替代权重解码。这将解码范式从内存受限的 GEMV 转变为计算高效的 GEMM。
无冲突输出码本查找：开发了一种机制，通过重组内存访问来消除库冲突，这是现有基于查找的量化方法的主要限制。
软硬件协同优化架构：EVA 专为 LLM 解码设计，同时保持与常规预填充执行的兼容性。它具备可重构脉动阵列和专用尾声单元，以最大化不同量化精度下的利用率。

4. 实验结果

作者在 TSMC 28nm 工艺、500MHz 频率下，使用 LLaMA-1、LLaMA-2、LLaMA-3、Mixtral-8x7B 和 Qwen3-30B-A3B 模型，针对最先进基线（脉动阵列、ANT、FIGNA 和 FIGLUT）评估了 EVA。

加速比：与最先进的基于查找的架构（FIGLUT）相比，EVA 在解码延迟上实现了高达11.17 倍的加速。
能效：与 FIGLUT 相比，EVA 展示了7.17 倍的更高能效。
精度：EVA 在向量量化后保留了算术精度。在 2 位精度下，EVA（使用 AQLM）保持了具有竞争力的精度，显著优于非分析基线（如 GPTQ）（例如，在 2 位下，下游基准测试平均高出约 19 个百分点）。
端到端性能：在解码密集型数据集（如 Dolly）上，EVA 实现了相对于基线平均8.20 倍至 24.49 倍的端到端加速。

5. 意义与主张

本文声称，EVA 代表了在硬件上执行向量量化 LLM 推理方式的根本性转变。通过解决低效的根本原因——特别是基于查找的量化中固有的 GEMV 利用率不足和内存库冲突——EVA 使得高度压缩（2 位）模型的实用部署成为可能，而不会牺牲推理速度。

作者强调，他们的方法在特定量化方法（如 AQLM、GPTVQ）方面是算法无关的，但依赖于向量量化的结构特性。他们断言，EVA 是首个专门为解决向量量化 LLM 推理的内存系统瓶颈而设计的架构级加速器，提供了一种可扩展的解决方案，弥合了激进模型压缩与高性能硬件执行之间的差距。