技术摘要：E-PMQ：基于专家引导的合并后量化与合并权重锚定

1. 问题定义：合并后量化（PMQ）

本文针对一种特定的低资源部署场景：首先将多个任务专用的“专家”模型合并为一个单一模型，随后对该合并后的模型进行量化以实现高效推理。作者将此设定定义为合并后量化（Post-Merge Quantization, PMQ）。

核心挑战在于，标准的训练后量化（PTQ）方法（如 GPTQ）在直接应用于合并模型时不可靠。在标准 PTQ 中，全精度模型被视为可靠的还原目标。然而，在 PMQ 中，全精度合并模型（$W_m$）并非一个独立优化的多任务模型；它是由参数组成的复合体，这些参数可能已经偏离了源专家的行为。

作者认为，朴素的 PMQ（直接量化 $W_m$）耦合了两种不同的偏差：

1. 量化偏差：在低比特空间中重建权重所引入的误差。
2. 相对于专家的合并偏差：合并模型本身固有的误差，代表 $W_m$ 偏离源专家（$W_i$）特定行为的程度。

当朴素的 PTQ 算法仅最小化 $W_m$ 的重建误差时，它将这个可能已发生偏差的模型视为真实值。因此，量化过程无法纠正预先存在的合并偏差，反而将其与量化误差叠加，导致性能显著下降，尤其是在激进的低位设置（例如 4 位）或合并大量任务时。

2. 方法论：E-PMQ 框架

为了缓解这些耦合偏差，作者提出了E-PMQ，这是一个专家引导的框架，在校准阶段整合源专家信息，同时保持单一合并模型的部署效率。

核心组件

E-PMQ 按前向顺序进行逐层量化。对于每一层 $\ell$，它利用：

• 合并权重（$W_m^\ell$）。
• 源专家权重（$\{W_i^\ell\}_{i=1}^K$）。
• 从当前部分量化模型收集的校准激活值。

该方法引入了两个关键机制：

A. 专家引导的输出目标

E-PMQ 不将合并模型的输出（$W_m^\ell X^\ell$）作为唯一的还原目标，而是基于源专家构建输出目标。对于每个专家 $i$，目标为 $Y_i^\ell = W_i^\ell X_i^\ell$，其中 $X_i^\ell$ 是从与该专家相关的校准子集收集的激活值。
该目标最小化量化层输出与这些专家诱导目标之间的差异：
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$$
这迫使量化过程与原始专家的行为保持一致，从而缓解相对于专家的合并偏差。

B. 合并权重锚定

仅依赖专家目标存在过度校正合并层的风险，可能导致量化模型向特定专家漂移，从而丧失合并过程所实现的集成能力。为防止这种情况，E-PMQ 添加了一个正则化项，将量化权重（$Q^\ell$）锚定在全精度合并权重（$W_m^\ell$）上：
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$$
锚定强度 $\lambda^\ell$ 是自适应的，按该层的总激活能量进行缩放，以确保不同层之间的稳定性。

求解器实现

作者调整了 GPTQ 风格的顺序舍入求解器以处理这一新目标。求解器利用修改后的二次统计量：

• 有效曲率：$H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
• 右侧项：$R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
  这使得该方法能够高效实现，无需端到端重新训练，仅需使用校准集。

3. 主要贡献

本文概述了三项主要贡献：

1. 问题定义：作者正式定义了合并后量化（PMQ），并指出了朴素方法的失效模式：量化偏差与相对于专家的合并偏差的耦合。
2. 算法提出：他们提出了 E-PMQ，该算法利用源专家权重在校准期间提供引导性输出目标，并采用合并权重锚定来稳定解并保留合并模型的集成行为。
3. 实证验证：大量实验表明，E-PMQ 在各种合并方法（Task Arithmetic、TIES-Merging、Simple Averaging）、模型架构（CLIP-ViT、FLAN-T5、Llama-3.1）和任务规模（8 到 20 个任务）下，始终优于朴素的 PMQ 基线（RTN、GPTQ、AWQ）。

4. 实验结果

本文在视觉（CLIP）和语言（FLAN-T5、Llama-3.1）模型上评估了 E-PMQ，使用 4 位仅权重量化。

• CLIP-ViT-B/32（8 个任务）：在 Task Arithmetic 下，E-PMQ 将 4 位 GPTQ 的准确率从 65.0% 提升至 73.6%。在 TIES-Merging 下，从 69.1% 提升至 74.8%。
• CLIP-ViT-L/14（20 个任务）：在这个更具干扰性的更困难设定中，E-PMQ 显示出显著增益，在 Task Arithmetic 下将 GPTQ 从 34.8% 提升至 76.7%。
• FLAN-T5-base（GLUE）：在 Task Arithmetic 下，E-PMQ 将平均分从 78.26% 提升至 83.34%；在 TIES-Merging 下，从 79.98% 提升至 83.48%。
• Llama-3.1（3B 和 8B）：E-PMQ 在量化变体中实现了最佳平均性能，优于 GPTQ 和 AWQ 基线。
• 消融研究：移除合并权重锚定（$\alpha=0$）会导致严重的性能崩溃（例如准确率降至约 5%），证实了仅靠专家引导而不对齐合并模型是不足的。E-PMQ 还展示了在不同位宽（3 位到 8 位）以及减少校准预算情况下的鲁棒性。

5. 意义与主张

本文主张 E-PMQ 使得合并模型的有效低位部署成为可能，而这一设定此前因偏差累积而被认为不可靠。

• 效率：该方法仅需在部署前的量化阶段访问源专家。最终部署的模型是单一的低比特合并模型，没有额外的推理时模块或专家权重，保持了与朴素基线相同的参数量和推理速度。
• 泛化性：该方法被证明在不同模态（视觉和文本）、模型规模和合并策略下均有效。
• 局限性：作者谦逊地指出，E-PMQ 在量化过程中需要访问源专家，与朴素 PTQ 相比增加了部署前的计算和内存成本。如果仅提供合并模型，该方法无法构建专家引导的目标。此外，该方法的性能取决于校准集的代表性。

总之，本文认为，要成功量化合并模型，必须超越合并模型本身，利用源专家来引导校准，同时通过将解锚定在合并权重上以保留融合带来的益处。