Quasar: Quantized Self-Speculative Acceleration for Rapid Inference via Memory-Efficient Verification

本文提出了 Quasar，一种无需训练的量化自推测加速框架，它通过在验证阶段采用低比特量化来有效降低显存带宽压力，在保持与全精度方法相当的接受长度的同时，将端到端吞吐量提升了 1.28 倍。

要点

这篇文章介绍了一种名为 Quasar 的新技术，它的目标是让大型人工智能模型（LLM，比如写小说、写代码的 AI）说话和思考的速度变得更快，而且不需要牺牲回答的质量。

为了让你更容易理解，我们可以把 AI 生成文字的过程想象成**“一位严谨的编辑（目标模型）在审核一位速记员（草稿模型）写下的草稿”**。

1. 以前的困境：编辑太慢，瓶颈在“审核”

在传统的“推测性解码”（Speculative Decoding）技术中，流程是这样的：

• 速记员（Draft Model）：动作很快，能一口气猜出接下来要写的 5 个词。
• 编辑（Target Model）：动作很慢，但非常严谨。他必须把速记员猜的这 5 个词，一个一个地拿过来，用“全精度”（就像用显微镜看一样，极其精细）的方式去核对，看看对不对。

问题出在哪里？
虽然速记员猜得很快，但编辑核对得太慢了。因为编辑核对时，需要把庞大的“记忆库”（模型权重）从内存里搬运到处理器里。这就好比编辑每次核对一个词，都要把整个图书馆搬过来看一眼。
这就导致了**“内存墙”**问题：不管速记员多快，只要编辑还在忙着搬运图书馆，整体速度就快不起来。

2. Quasar 的妙招：给编辑戴上一副“快速眼镜”

Quasar 的核心思想非常巧妙：既然编辑核对时不需要每次都看“显微镜”级别的细节，那能不能给他换一副“快速眼镜”呢？

• 以前的做法：编辑用“全精度”（BF16，像 16 位的高清图）去核对。数据量很大，搬运很慢。
• Quasar 的做法：给编辑换上一副**“低比特量化眼镜”（W8A8，像 8 位的压缩图）**。
  • 这副眼镜把模型权重的数据量直接减半了（从 16 位变成 8 位）。
  • 因为数据量变小了，从内存搬运到处理器的速度就快了一倍。
  • 关键点：这副眼镜虽然简化了细节，但保留了核心的逻辑和判断力。就像你戴了墨镜看东西，虽然颜色淡了点，但你依然能认出那是“苹果”还是“香蕉”，不会把苹果看成香蕉。

3. 为什么这招这么厉害？（生活中的类比）

想象一下，你要在一堆杂乱的物品中找出特定的东西：

• 旧方法：你拿着放大镜（全精度），把每个物品都拿起来，仔细研究它的纹理、重量、成分。这太慢了，而且你的手臂（内存带宽）很快就累了。
• Quasar 方法：你戴上了一副特制的护目镜（量化）。这副眼镜让你能一眼扫过去，虽然看不清纹理，但能瞬间分辨出形状和轮廓。
  • 结果：你找东西的速度快了一倍，而且找对的东西并没有变少。

4. 实验结果：快，而且准

作者做了很多测试（比如在数学题、写代码、写故事等任务上）：

• 速度快了：整体速度提升了 1.28 倍。在那些特别吃内存的任务（比如复杂的数学推理）上，甚至提升了 1.6 倍。
• 质量没降：AI 回答问题的准确率几乎和原来一模一样。
• 不需要重新训练：这是一个“即插即用”的插件，不需要花几个月去重新训练 AI 模型，直接给现有的模型装上这个“快速眼镜”就能用。

5. 为什么不用“砍掉编辑的胳膊”？（对比剪枝）

有人可能会想：既然编辑太慢，能不能直接砍掉他的一部分功能（比如只让他用 50% 的大脑）？

• 剪枝（Pruning）的失败：作者发现，如果强行砍掉模型的一部分层（就像把编辑的胳膊砍掉），虽然单次核对变快了，但编辑脑子糊涂了，经常把对的词判成错的，导致速记员猜的都没用，整体反而更慢。
• Quasar 的胜利：Quasar 没有砍掉任何功能，只是简化了数据的精度。编辑还是那个完整的编辑，只是换了一种更高效的“阅读方式”。

总结

Quasar 就像是为 AI 模型发明了一种**“智能压缩传输协议”**。它解决了 AI 推理中“搬运数据太慢”的瓶颈，让 AI 在保持高智商的同时，说话和反应的速度像开了倍速一样快。

一句话总结：以前 AI 说话慢是因为“搬运资料”太累，Quasar 给 AI 配了个“压缩包”，让搬运变轻快，但判断力一点没丢。

技术摘要

Quasar 论文技术总结

论文标题：Quasar: Quantized Self-Speculative Acceleration for Rapid Inference via Memory-Efficient Verification
核心主题：通过量化验证（Quantized Verification）解决自投机解码（Self-Speculative Decoding）中的内存带宽瓶颈，实现大语言模型（LLM）的高效推理。

---

1. 研究背景与问题 (Problem)

• 投机解码的瓶颈转移：投机解码（Speculative Decoding, SD）通过将 token 生成解耦为“草稿（Drafting）”和“并行验证（Verification）”两个阶段，显著加速了 LLM 推理。然而，随着自投机解码（Self-Speculative Decoding）技术的发展，草稿阶段的开销已大幅降低，验证阶段（Verification Phase）成为了新的性能瓶颈。
• 内存墙（Memory Wall）限制：验证阶段需要对目标模型进行完整的前向传播（Full Forward Pass）以并行验证候选 token 序列。由于 LLM 推理主要受限于内存带宽而非计算能力，加载全精度（如 BF16）权重进行验证会耗尽内存带宽，导致验证延迟过高，抵消了投机带来的加速收益。
• 现有方案的局限：
  • 传统的结构剪枝（Structural Pruning）虽然能减少计算量，但会严重破坏模型的分布对齐，导致接受率（Acceptance Rate）大幅下降，甚至无法加速。
  • 现有的量化投机方法通常仅将量化模型用作“草稿模型”，而验证器仍保持全精度，未能解决验证阶段的带宽压力。

2. 方法论 (Methodology)

Quasar 提出了一种训练无关（Training-free）的框架，核心思想是使用低比特量化模型作为验证器，而非草稿器。

• 核心洞察：验证器的主要任务是判断草稿 token 的分布是否匹配，而非生成 token。只要量化后的模型能保持与全精度模型相似的 Logit 分布（即相对排名），就能保证验证的准确性，同时大幅减少内存访问。
• 技术实现细节：
  1. W8A8 量化验证：将目标模型的权重（Weights）和激活值（Activations）量化为 8 位整数（INT8），即 W8A8 方案。这使得权重加载量减半，直接降低内存带宽压力。
  2. 增强型 SmoothQuant (m2 算法)：
     • 针对 LLM 中激活值存在异常值（Outliers）导致量化困难的问题，Quasar 采用了改进的 SmoothQuant 算法。
     • 通过离线校准平滑因子（Smoothing Factor, $s$），将激活值的量化难度迁移到权重上（$Y = (W \cdot diag(s)^{-1}) \cdot (diag(s) \cdot X)$）。
     • 在线推理时，动态对输入激活进行平滑处理，然后进行 INT8 矩阵乘法，最后反量化回高精度（BF16）以进行后续的非线性层计算和 Softmax。
  3. 执行流水线：
     • 离线准备：权重平滑并量化为 INT8 存储。
     • 在线验证：输入激活动态量化，利用 INT8 Tensor Core 进行计算，输出反量化。
     • 无损拒绝采样：由于最终 Logits 被反量化回高精度，拒绝采样（Rejection Sampling）的数学保证（Lossless Guarantee）依然成立，确保生成质量与全精度模型一致。

3. 关键贡献 (Key Contributions)

1. 识别瓶颈：首次明确指出在自投机解码系统中，验证阶段的内存带宽约束是限制加速比提升的主要瓶颈。
2. 提出 Quasar 框架：首创将量化技术应用于验证器（而非草稿器），利用 W8A8 量化模型进行并行验证，有效减半内存流量。
3. 理论与实验验证：
   • 证明了量化验证在保持分布对齐（Logit 分布）方面的高保真度。
   • 通过实验表明，该方法与现有的草稿策略（如 Ngram、EAGLE 等）正交，可通用集成。
   • 在多个 SOTA 模型（OpenPangu, Qwen3）和任务上实现了显著的端到端吞吐提升。

4. 实验结果 (Results)

实验在 OpenPangu-7B 和 Qwen3-8B 模型上，针对 MT-bench, HumanEval, GSM8k 等任务进行了评估：

• 端到端加速比：
  • 在 Qwen3 上，Quasar 实现了 1.28x 的端到端吞吐提升，优于基于 BF16 验证的 Ngram 基线（1.18x）。
  • 在内存密集型任务（如 GSM8k 数学推理）上，加速比最高达到 1.64x。
• 接受长度（Acceptance Length）：
  • Quasar 的量化验证并未降低接受长度。在 Qwen3 (T=0) 上，平均接受长度达到 1.40，甚至优于全精度 Ngram 基线的 1.33。
  • 这表明 W8A8 量化保留了足够的精度来准确区分正确 token。
• 鲁棒性：
  • 在不同采样温度（T=0 到 T=1）下，Quasar 均表现出稳定的加速效果。即使在随机性较高的 T=1 设置下，仍能保持 1.23x 的加速比。
• 精度保持：
  • 在 MMLU-pro, CEval, GPQA 等下游任务评测中，Quasar 与全精度基线的性能差异极小（平均差异约 2.9% - 3.1%），实现了近乎无损的压缩。
• 对比结构剪枝：
  • 实验对比发现，无训练的结构剪枝（如保留 50% 层）会导致接受率崩溃（L≈1.03），无法加速；而 Quasar 通过保持网络拓扑完整性，成功实现了加速。

5. 意义与未来展望 (Significance & Future Work)

• 打破内存墙：Quasar 提供了一种无需重新训练或蒸馏的通用方案，直接攻击投机解码中验证阶段的内存带宽瓶颈，为 LLM 推理加速开辟了新路径。
• “免费午餐”：在几乎不损失模型智能和任务精度的前提下，显著降低了推理延迟。
• 未来方向：
  • 超低比特验证：探索 4-bit 或 2-bit 量化在验证阶段的应用。
  • 动态精度缩放：根据草稿置信度动态调整验证精度。
  • 硬件感知优化：针对特定 NPU/GPU 的 INT8/INT4 核心进行深度优化。
  • 复杂架构集成：探索与树状投机（Tree-based Speculation）等更复杂草稿机制的结合。

总结：Quasar 通过巧妙的量化策略，将验证器从“计算密集型/带宽受限”转变为“计算高效/带宽友好”，在保持生成质量的同时，显著提升了 LLM 的推理吞吐量，是解决当前大模型推理延迟问题的有力工具。