Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization

本文提出了 Quant Experts (QE) 方法，通过结合针对全局误差的共享专家与针对特定 Token 局部误差的路由专家，实现了大视觉语言模型在无需重训练情况下的自适应误差补偿与高效量化。

要点

这篇论文介绍了一种名为 Quant Experts (QE) 的新方法，旨在解决大型“视觉 - 语言模型”（VLMs，比如能看图说话的 AI）在压缩（量化）过程中遇到的难题。

为了让你更容易理解，我们可以把整个过程想象成一家超级繁忙的“全能翻译事务所”。

1. 背景：为什么要压缩？（事务所的困境）

现在的 AI 模型（如 Qwen2VL）非常强大，但它们太“重”了，就像一家拥有成千上万名顶级翻译员的超级事务所。

• 问题：这些翻译员（模型参数）太占地方（内存大），工作太慢（计算慢），普通电脑根本跑不动。
• 常规做法（量化）：为了省钱省地，老板决定给所有翻译员“降级”。比如，把原本用“精确到小数点后 10 位”的词汇，改成只记“大概意思”（低比特量化）。
• 副作用：虽然省了资源，但翻译质量下降了。有些翻译员因为记性不好，把关键信息（比如“红色”说成“蓝色”）搞错了，导致整个翻译（AI 回答）变得很烂。

2. 现有方法的缺陷：死板的“一刀切”

以前的压缩方法（如 SmoothQuant, MBQ）就像是一个死板的工头。

• 工头的逻辑：他发现某些翻译员（通道）特别容易出错（异常值），于是给这些特定的翻译员发“特殊备忘录”（静态补偿），告诉所有人：“不管谁来翻译，只要遇到这个词，就按这个备忘录改。”
• 缺点：这个备忘录是固定不变的。
  • 但在实际工作中，不同的客户（输入数据），甚至同一个客户说的不同句子（不同的 Token），需要的重点完全不同。
  • 有时候“红色”很重要，有时候“蓝色”才关键。死板的备忘录无法应对这种千变万化的情况，导致翻译还是经常出错。

3. 核心发现：重要的人，随情况而变

作者通过观察发现了一个有趣的现象：

• 重要翻译员的位置是流动的：在处理“图片”时，可能 A 翻译员最重要；在处理“文字”时，B 翻译员最重要；甚至在同一张图片里，描述“猫”时 C 重要，描述“车”时 D 重要。
• 频率不同：有些翻译员（通道）几乎每次都在场且很重要（全局重要）；而有些翻译员只在特定情况下才出场且至关重要（局部重要）。

4. 解决方案：Quant Experts (QE) —— 智能的“专家团”

作者提出了一种新的管理策略，叫 Quant Experts (QE)。这就像把死板的工头换成了一个智能的“专家调度系统”，引入了“混合专家模型”（Mixture of Experts, MoE）的概念。

这个系统把“容易出错的翻译员”分成了两类，并配备了两种不同的“纠错专家”：

A. 共享专家 (Shared Expert) —— 处理“老熟人”

• 对象：那些无论谁来、说什么，都经常在场且很重要的翻译员（Token-independent channels）。
• 做法：事务所里常驻一位全能老专家。不管谁进来，这位老专家都负责修正这些“老熟人”带来的通用错误。
• 比喻：就像事务所里有一位资深顾问，专门负责处理那些永远存在的语法错误。

B. 路由专家 (Routed Experts) —— 处理“临时工”

• 对象：那些只有在特定语境下才重要的翻译员（Token-dependent channels）。
• 做法：事务所里还有一组特种专家团（比如：图片专家、文字专家、情感专家等）。
  • 当客户进来时，一个智能调度员（Router） 会迅速分析客户说的话（输入 Token）。
  • 如果客户在聊“风景”，调度员就立刻呼叫“图片专家”来修正错误。
  • 如果客户在聊“代码”，调度员就呼叫“代码专家”。
• 比喻：这就像医院里的分诊台。病人来了，分诊台判断是“感冒”还是“骨折”，然后精准地把病人送到对应的专科医生那里，而不是让所有医生都来瞎忙活。

5. 结果：既快又好

通过这种“固定老专家 + 动态特种专家”的组合：

• 精度恢复：即使在极度压缩（比如把数据压缩到原来的 1/4 甚至更少）的情况下，AI 的翻译质量（准确率）也能恢复到接近未压缩（全精度） 的水平。
• 效率：虽然增加了一点点调度工作，但相对于提升的质量，这点开销微不足道。
• 实测：在 20 亿到 720 亿参数的各种大模型上测试，QE 方法都比以前的方法更聪明，尤其是在处理复杂的看图说话任务时，准确率提升了显著（最高提升 5% 以上）。

总结

Quant Experts (QE) 的核心思想就是：不要试图用一把钥匙开所有的锁。

以前的压缩方法是“一把钥匙（静态规则）开所有锁”，结果很多锁打不开。
QE 的方法是：

1. 准备一把万能钥匙（共享专家）解决大部分通用问题。
2. 再准备一套智能钥匙串（路由专家），根据当前要开的锁（输入内容），自动挑选最合适的那把钥匙。

这样，AI 模型就能在变得“轻便”的同时，依然保持“聪明”和“精准”。

技术摘要

论文技术总结：Quant Experts (QE)

论文标题：Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization
中文译名：Quant Experts：基于混合专家（MoE）的 Token 感知自适应误差重建用于大型视觉语言模型量化

1. 研究背景与问题 (Problem)

背景：
大型视觉语言模型（VLMs）在推理过程中面临巨大的计算和内存开销。后训练量化（Post-Training Quantization, PTQ）作为一种无需重新训练全模型即可压缩权重和激活值的技术，被广泛用于降低资源需求。

现有挑战：
现有的 PTQ 方法（如 SmoothQuant, MBQ, LQER 等）主要存在以下局限性：

1. 静态与全局假设：大多数方法依赖于静态识别敏感通道（Outliers）并进行全局补偿。它们通常假设重要通道的位置和分布是固定的，或者仅在不同模态（如文本 vs 图像）间存在差异。
2. 忽视 Token 级动态变化：作者通过观察发现，即使在同一个模态内，不同 Token 的语义和上下文信息会导致激活分布发生显著变化。重要通道（Important Channels）的位置和出现频率在不同 Token 之间具有高度的动态性（Dynamic）。
3. 补偿不足：现有的全局补偿方法无法捕捉这种细粒度的 Token 级变化，导致在低比特量化（如 W4A6）下，模型性能（尤其是小模型）出现显著下降，无法恢复至全精度水平。

2. 核心观察 (Key Observations)

作者对 VLMs 进行了系统性分析，提出了两个关键观察：

1. 重要通道位置随 Token 变化：在相同的层权重下，重要通道的位置不仅在不同模态间不同，甚至在同一模态内的不同 Token 间也会发生显著迁移。这意味着固定系数的全局缩放无法适应所有情况。
2. 重要通道频率分布不均：
   • Token 无关通道 (Token-independent)：一小部分重要通道在大多数 Token 中都会出现，负责全局的量化误差补偿。
   • Token 相关通道 (Token-dependent)：大部分重要通道仅针对特定 Token 激活，具有强烈的输入依赖性，负责局部的语义保真度。
   • 现有的单一全局补偿策略无法同时兼顾这两类通道的特性。

3. 方法论 (Methodology)

针对上述问题，作者提出了 Quant Experts (QE)，一种基于混合专家（Mixture of Experts, MoE） 的 Token 感知自适应误差重建框架。

3.1 核心架构

QE 将量化误差重建任务分解为两个部分，分别由两种类型的专家（Expert）处理，每个专家均实现为低秩适配器（Low-Rank Adapter）：

1. 共享专家 (Shared Expert, SE)：

   • 目标：处理 Token 无关 的重要通道。
   • 机制：这些通道在大多数输入中频繁出现，代表全局的量化误差模式。SE 使用一个固定的低秩适配器（通过白化 SVD 构建）来补偿这些全局性的误差。
   • 作用：提供稳定的全局误差恢复，确保模型的基础表示能力。

2. 路由专家 (Routed Experts, REs)：

   • 目标：处理 Token 相关 的重要通道。
   • 机制：
     • 聚类：基于校准数据，计算 Token 相关通道的共现（Co-occurrence）关系，利用谱聚类（Spectral Clustering）将具有强关联的通道分组。
     • 专家分配：为每个聚类组分配一个专用的路由专家（低秩适配器），专门负责该组通道对应的局部误差。
     • 动态路由：在推理阶段，引入一个轻量级的路由器（Router）。路由器根据当前输入 Token 的特征，动态预测哪个专家能产生最小的重建误差，并激活该专家进行补偿。

3.2 工作流程

1. 校准与划分：利用校准数据计算每个通道的重要性频率，将其划分为 Token 无关集和 Token 相关集。
2. 专家构建：
   • 对 Token 无关集构建共享专家。
   • 对 Token 相关集进行共现矩阵分析、谱聚类，构建多个路由专家。
3. 推理过程：
   • 输入 Token 经过量化权重。
   • 共享专家始终被激活，补偿全局误差。
   • 路由器根据输入 Token 动态选择最优的路由专家，补偿局部误差。
   • 两者输出相加，完成误差重建。
4. 可选微调：为了进一步提升性能，作者设计了一种轻量级微调策略，仅训练路由专家和路由器参数，保持其他参数冻结。

4. 主要贡献 (Key Contributions)

1. 新发现：首次系统性地揭示了 VLMs 中重要通道的分布和出现频率在不同模态及不同 Token 间存在显著差异，打破了传统 PTQ 方法中“通道重要性静态不变”的假设。
2. 新框架 (QE)：提出了 Token 感知的自适应误差补偿框架。通过结合“共享专家”（处理全局/静态误差）和“路由专家”（处理局部/动态误差），利用 MoE 机制实现了细粒度的量化误差重建。
3. 性能提升：在多种量化设置（W4A6, W4A8, W3A16）和不同规模的模型（2B 到 72B）上，QE 均显著优于现有 SOTA 方法（如 MBQ, LQER, AWQ）。
   • 在极具挑战性的 W4A6 设置下，72B 模型的平均准确率提升了 5.09%，几乎达到全精度模型水平。
   • 小模型（如 2B）在低比特下的性能恢复尤为显著。
4. 效率与兼容性：引入的低秩适配器带来的额外计算和内存开销极小，且在硬件加速（如 NPU）上表现出显著的加速比（3.5x - 4.5x）。

5. 实验结果 (Results)

• 基准测试：在 Qwen2VL 系列（2B, 7B, 72B）和 InternVL2 系列（2B, 8B）上进行了广泛测试。
• 任务覆盖：涵盖了 OCR、文档理解、图表推理、科学问答、多模态推理等多个基准（如 MMMU, OCRBench, ScienceQA, TextVQA 等）。
• 关键数据：
  • Qwen2VL-2B (W4A6)：相比次优方法 MBQ，平均准确率提升 4.01%，仅比全精度低 4.23%。
  • Qwen2VL-72B (W4A6)：平均准确率提升 5.09%，证明了该方法在大规模模型上的有效性。
  • 消融实验：验证了共享专家、路由专家、聚类策略及微调策略各自的有效性。移除任意组件均导致性能下降。
  • 语言任务：在纯语言任务（MMLU）上也保持了稳定的性能，证明该方法不仅适用于视觉任务，也增强了语言模态的鲁棒性。

6. 意义与影响 (Significance)

• 理论突破：将量化误差重建的视角从“模态级”或“通道级”细化到了"Token 级”，为理解大模型量化中的动态特性提供了新视角。
• 技术落地：QE 提供了一种高效、低成本的解决方案，使得在资源受限设备（如移动端、边缘端）上部署高性能的大规模 VLMs 成为可能，特别是在极低比特（4-bit）量化场景下。
• 通用性：该方法不仅适用于 VLMs，其“静态全局补偿 + 动态局部补偿”的 MoE 思想也可推广至其他大型语言模型（LLMs）的量化任务中。

总结：Quant Experts (QE) 通过引入 Token 感知的混合专家机制，成功解决了传统量化方法无法适应 VLMs 内部动态特征分布的问题，显著提升了低比特量化下的模型精度，是视觉语言模型量化领域的一项重要进展。