AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

本文介绍了激活感知权重量化（AWQ），这是一种硬件友好的方法，它基于激活统计信息识别并保护大语言模型中最关键的 1% 权重，以实现高效的 4 位端侧推理，同时提出了 TinyChat 框架，该框架实现了超过 3 倍的加速，并使得在移动 GPU 上部署 Llama-2 70B 等大规模模型成为可能。

要点

以下是用通俗语言和日常类比对论文《AWQ：面向设备端大语言模型压缩与加速的激活感知权重量化》的解释。

核心难题：巨型行李箱

想象你有一位才华横溢、世界级的厨师（即大语言模型或 LLM），他能写故事、解数学题，还能与你聊天。这位厨师才华横溢，以至于他的食谱书（即模型）极其庞大——大约相当于一个350GB 的硬盘大小。

如果你想带着这位厨师去偏远的小木屋（你的手机、笔记本电脑或汽车）做饭，且没有互联网连接，你就会面临一个问题：小木屋太小，装不下这本食谱书。 即使是最大的行李箱（现代计算机内存）也装不下它。此外，携带如此沉重的书会让厨师行动非常缓慢。

为了解决这个问题，人们尝试通过用更小的字体书写食谱（量化）来缩小食谱书。但如果你只是均匀地缩小所有内容，厨师就会忘记最重要的食材，导致食物味道极差。

解决方案：AWQ（“显著权重”的洞察）

这篇论文的作者，Ji Lin 和 Song Han 的团队，发现了一个秘密：食谱书中的并非所有字词都同等重要。

把食谱书想象成一个图书馆。

• 99% 的书籍只是参考手册或填充内容。你可以将这些书缩小成微小的 4 位笔记，而不会损失太多风味。
• 1% 的书籍是“大师级食谱”。这些包含了让菜肴美味绝伦的关键秘诀。如果缩小这些，厨师就会失败。

这一发现： 作者发现，如果你只保护这**1%**的“大师级食谱”，并将它们保持原有的高质量格式，厨师的表现几乎完美。

技巧：如何找到“大师级食谱”？

这里是巧妙之处。你怎么知道哪 1% 的书籍是“大师级食谱”？

• 旧方法： 你查看书籍，仅根据它们的厚度（权重的数值大小）来猜测哪些重要。这就像仅因为一本书封面厚重就猜测它很重要。这种方法效果不佳。
• AWQ 方法： 你观察厨师烹饪的过程。你看到厨师在制作菜肴时实际打开并最常使用的是哪些书（即激活）。
  • 如果厨师为了做蛋糕而抓取某本特定的书 100 次，那本书就是“显著的”（重要的）。
  • AWQ 说：“让我们保护厨师实际使用的那些书。”

魔法操作：“放大”

一旦他们识别出重要的书籍，他们并不会将其保留为巨大厚重的卷册（这会拖慢一切）。相反，他们使用一种称为**缩放（Scaling）**的数学技巧。

想象那些重要的书籍是写在一张极小的纸上的。为了让它们更容易阅读（减少错误），他们在缩小整本书之前，先放大特定页面上的文字。

• 他们让“重要”的数字稍微变大一点。
• 这使得在缩小整本书时产生的“噪声”（误差）对这些关键数字来说不那么明显。
• 这就像在管弦乐队中调大最重要乐器的音量，这样当整个乐队音量变小时，它们就不会被淹没。

为什么这很棒？

1. 无需重新训练： 他们不需要重新教导厨师（无需反向传播）。他们只需查看几道样本菜肴（一个小的“校准集”），看看厨师使用了什么。
2. 无过拟合： 因为他们没有死记硬背样本菜肴，所以厨师仍然可以为任何菜系（编程、数学、不同语言）烹制出美味的菜肴，而不会感到困惑。
3. 硬件友好： 他们不需要特殊的“混合”行李箱（一些大，一些小）。他们缩小整本书，但那些“被放大”的重要部分在缩小过程中完美幸存。

引擎：TinyChat

知道如何缩小书籍是一回事；实际上在小型设备上快速运行它是另一回事。作者构建了一个名为TinyChat的新引擎。

把 TinyChat 想象成一辆专为这些缩小版书籍设计的超级高效送货卡车。

• 旧卡车： 每次移动时，都必须停下来 unpack（解包）书籍，阅读它们，缩小它们，然后再重新打包。非常慢。
• TinyChat： 在行驶过程中解包书籍。它将解包和烹饪融合为一个流畅的动作。
• 结果： 在标准笔记本电脑或小型移动芯片（如 Jetson 或手机）上，TinyChat 运行缩小后的模型比标准的未优化版本快 3 到 4 倍。

现实世界的胜利

论文表明，结合 AWQ 和 TinyChat：

• 你可以在拥有 64GB 内存的单个移动设备上运行巨大的700 亿参数模型（如 Llama-2-70B），这在以前是不可能的。
• 你可以在仅有 8GB 内存的笔记本电脑上运行130 亿参数模型，速度达到每秒 30 个单词（足以进行实时对话）。
• 它不仅适用于文本，还适用于多模态模型（既能看图又能读文的模型），如 OpenFlamingo 和 LLaVA，且不会损失其理解图片的能力。

总结

AWQ 是一种方法，它主张：“不要均匀地缩小整个大脑。找出那 1% 最活跃的神经元，给它们一点提升，然后再缩小其余部分。”
TinyChat 是确保这个缩小后的大脑能在你的手机或笔记本电脑上快速运行的软件。

两者结合，使我们能够将世界上最智能的 AI 模型从云端移出，直接放入我们的口袋中，从而节省资金、保护隐私，并在断网时也能工作。

技术摘要

以下是论文《AWQ：面向设备端大语言模型压缩与加速的激活感知权重量化》的详细技术总结。

1. 问题陈述

由于大语言模型（LLM）体积庞大（例如，GPT-3 在 FP16 精度下需要 350GB 存储空间）且边缘设备的硬件资源（内存和计算能力）有限，其在边缘设备上的部署面临巨大挑战。虽然**量化感知训练（QAT）**行之有效，但其计算成本高昂且难以扩展。**训练后量化（PTQ）**是更受青睐的替代方案，但现有的低比特方法（如 GPTQ）存在以下缺陷：

• 精度下降：量化至极低比特宽度（例如 4 比特或 3 比特）时，性能显著下降。
• 过拟合：依赖重构或反向传播的方法往往对校准集过拟合，无法泛化到分布外领域或不同模态（例如多模态模型）。
• 硬件低效：此前试图通过将一小部分权重保留为高精度（混合精度）来保持精度的尝试，导致了硬件效率低下，抵消了加速带来的收益。

2. 方法论：激活感知权重量化（AWQ）

AWQ 是一种硬件友好、仅针对权重的量化方法，无需反向传播或重构。它基于三个核心洞察构建：

A. 显著权重由激活而非权重幅值识别

作者观察到，并非所有权重都同等重要。极小一部分（0.1%–1%）的“显著”权重对模型性能至关重要。

• 关键洞察：权重通道的重要性由其激活的幅值决定，而非权重本身的幅值。具有较大激活幅值的通道处理的是更重要的特征。
• 观察：仅将 1% 的这些显著通道保留在 FP16 精度（同时量化其余部分），即可大幅降低困惑度（例如，在 OPT-6.7B 中从 43.2 降至 13.0）。然而，混合精度在硬件上是低效的。

B. 通过逐通道缩放实现的等价变换

为了避免混合精度带来的硬件成本，AWQ 从数学上推导出：在量化之前放大显著权重通道可以减少其相对量化误差。

• 机制：如果权重 $w$ 乘以缩放因子 $s > 1$，且对应的输入激活 $x$ 除以 $s$，则输出在数学上保持等价（$y = wx$）。
• 误差减少：量化误差与量化步长（$\Delta$）成正比。通过放大显著权重，其数值相对于 $\Delta$ 变得更大，从而有效降低了这些关键通道的舍入误差。
• 优化：系统自动搜索最佳缩放因子 $\alpha$（其中 $s = s_X^\alpha$，$s_X$ 为平均激活幅值），以最小化原始模型与量化模型之间的输出差异。该搜索是通过对小型校准集进行快速网格搜索完成的。

C. 数据效率与泛化能力

• 无需反向传播：AWQ 不需要梯度下降或重构，使其对过拟合具有鲁棒性。
• 小型校准集：它仅需测量每个通道的平均激活幅值，因此无需针对特定领域进行微调，即可很好地泛化到指令微调模型和多模态模型。

3. 系统实现：TinyChat

为了将 4 比特量化带来的理论内存节省转化为实际的推理加速，作者开发了TinyChat，这是一个高效的推理框架。

• 即时反量化：TinyChat 将反量化逻辑直接融合到矩阵乘法内核中，而不是将反量化后的权重存储在 DRAM 中（这会浪费带宽）。
• SIMD 感知的权重打包：为了针对 CPU/GPU 的 SIMD 架构（如 ARM NEON、CUDA）进行优化，权重在离线阶段被重新排序和打包。这使得运行时可以使用最少的按位操作（AND、移位）进行解包，显著降低了指令开销。
• 内核融合：该框架融合了层归一化、QKV 投影和位置编码计算，以最小化内核启动开销和中间内存访问。

4. 关键结果

AWQ 和 TinyChat 在多种模型（LLaMA、OPT、Mistral、Mixtral、Vicuna、OpenFlamingo）和任务上进行了评估。

• 量化精度：
  • AWQ 在 7B 到 70B 的模型上，始终优于最近舍入（RTN）和 GPTQ（无论是否重排序）。
  • 指令微调模型：与 FP16 基线相比，在 Vicuna（7B/13B）上实现了近乎无损的性能。
  • 多模态模型：成功量化了 OpenFlamingo 和 VILA 模型，在 11 个视觉 - 语言基准测试中实现了无损性能（这是低比特 VLM 量化的首次突破）。
  • 复杂任务：在代码（MBPP）和数学（GSM8K）任务上优于基线，在某些 4 比特配置下达到了与 FP16 相当的性能。
• 泛化能力：
  • AWQ 对校准集分布偏移具有鲁棒性。当在不同数据集上测试时（例如，在 PubMed 上校准，在 Enron 上评估），AWQ 的困惑度下降极小（0.5–0.6），而 GPTQ 则为 2.3–4.9。
  • 它所需的校准集大小仅为 GPTQ 的十分之一即可达到相当的性能。
• 推理速度（TinyChat）：
  • 加速比：在桌面端（RTX 4090）和移动 GPU（Jetson Orin）上，相比 HuggingFace 的 FP16 实现，实现了3.2 倍至 3.9 倍的加速。
  • 部署：使得在单台 Jetson Orin（64GB 内存）上部署Llama-2-70B，以及在仅配备 8GB 内存的笔记本电脑上部署Llama-2-13B（33 tokens/秒）成为可能，而使用 FP16 则无法实现。
  • 边缘设备：在 Raspberry Pi 4B 上以 0.7 tokens/秒的速度运行 7B 模型。

5. 意义与影响

• LLM 的民主化：AWQ 和 TinyChat 使得在消费级硬件、移动设备和 IoT 边缘节点上运行最先进的大语言模型（包括 70B 参数模型）成为可能，减少了对云基础设施的依赖。
• 隐私与成本：通过实现本地执行，增强了用户隐私，并消除了云延迟和成本。
• 泛化性：与以往难以处理指令微调或多模态模型的方法不同，AWQ 保留了大语言模型的“通才”特性，使其成为多样化 AI 应用的通用解决方案。
• 采用情况：该方法已被主要行业参与者和开源项目广泛采用，包括 HuggingFace Transformers、NVIDIA TensorRT-LLM、Microsoft DirectML 和 vLLM。

总之，AWQ 为低比特大语言模型量化提供了一种数学基础扎实且硬件高效的解决方案，而 TinyChat 则确保了这些理论收益能够在边缘设备上转化为实际的高速推理。