💻 computer science

ScalePredictor: Instance-aware Scale Learning for Accurate Quantization of Vision Transformers

本文介绍了 ScalePredictor，这是一种针对视觉 Transformer 的动态训练后量化框架，它利用浅层激活范围与深层最优尺度之间的隐藏相关性，从而高效地生成实例感知量化参数，进而以极小的计算开销显著提升精度，优于静态方法。

原作者： Changjun Li, Runqing Jiang, Lian Xu, Ye Zhang, Qingyong Hu, Yulan Guo

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Changjun Li, Runqing Jiang, Lian Xu, Ye Zhang, Qingyong Hu, Yulan Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 ScalePredictor 论文的解释，通过日常类比将其拆解为简单的概念。

核心问题：并非所有尺寸都适用 (One Size Does Not Fit All)

想象你是一名正在为一大群人缝制西装的裁缝。

旧方法（静态量化 - Static Quantization）： 目前大多数 AI 模型（特别是 Vision Transformers）的行为就像一个只做单一尺寸西装的裁缝。他们观察人群的平均身高，然后根据那个尺寸来裁剪布料。
- 结果： 高个子得到的西装太短，矮个子得到的西装太肥大。在 AI 世界中，这会导致误差，因为每张图像（每位“顾客”）都有不同的细节和亮度水平。
“动态”方法（当前的动态量化 - Dynamic Quantization）： 一些更聪明的方法尝试在每位顾客穿上西装之前测量每一个人的尺寸。他们在运行过程中对每个人的每一寸身体进行实时测量。
- 结果： 西装非常合身！但这个过程极其缓慢。想象一下，如果裁缝在剪下一块布料之前，都要先给 1,000 个人逐一量尺寸，那队伍移动得会非常慢，导致这家店在实际应用中变得毫无用处。

解决方案：ScalePredictor

该论文的作者创造了一种名为 ScalePredictor 的新方法。它通过寻找一种“捷径”来解决问题，让你无需缓慢测量就能获得完美的合身度。

1. 隐藏的联系（“浅层”洞察）

研究人员发现了一个隐藏的规则：你不需要测量全身，就能知道一个人需要什么尺寸。

类比： 如果你观察一个人的鞋码（他们进入店铺时穿的第一件东西），你实际上可以非常准确地推测出他们的身高和体型。你不需要分别测量他们的腰围、手臂和脖子。
论文中的体现： 他们发现 AI 模型最开始阶段的“激活范围”（数据的分布情况）（即“Patch Embedding”层，就像是“鞋码”）能够极好地预测深层网络（即剩下的西装部分）的最佳设置。

2. “鲁棒范围”（忽略噪声）

在观察“鞋码”（第一层）时，有时会出现异常值——比如图像中一个巨大的亮点，它并不是图像主体的一部分。如果你根据这个亮点来做预测，你的结果就会出错。

类比： 与其盯着人群中最极端的高个子或矮个子（那可能只是一个站在箱子上的小孩），研究人员观察的是小组的平均值。他们将数据切分成若干块，找出每一块的高点和低点，然后取其平均值。这平滑了奇怪的异常值，并提供了一个“鲁棒”（可靠）的估计。

3. “神奇公式”（由泰勒展开驱动的多项式）

一旦有了这个可靠的“鞋码”（鲁棒范围），他们就不再需要测量任何其他东西。他们使用一个预先学习到的数学公式（多项式）来瞬间计算出 AI 每一层的完美西装尺寸。

类比： 想象一台机器，它只需输入一个数字（鞋码），就能立即为那个人打印出一套量身定制的西装。它不需要停下来测量，只需使用公式即可。
为什么它很快： 计算一个简单的数学公式是瞬间完成的。这比在全身进行测量要快得多。

为什么这很重要（实验结果）

论文在标准基准测试 ImageNet（一个庞大的照片库）上进行了测试。

准确度： 与“一刀切”的旧方法相比，新方法能更好地“裁剪西装”。在某些情况下（极低比特设置下），它将准确度提升了超过 10%。这在 AI 领域是一个巨大的飞跃。
速度： 尽管它为每个人定制西装，但它的速度几乎与旧的“单一尺寸”方法一样快。
- 旧的“测量每个人”的方法使速度降低了 19% 到 154%。
- 新的 ScalePredictor 仅降低了 0.6% 的速度。它几乎是无感的。

总结

ScalePredictor 就像一位天才裁缝，他意识到只要看一眼你的鞋码，就能预测你的全身尺寸。他利用一个快速的数学技巧，瞬间为你裁剪出完美的西装。

旧的静态方法： 配合度差，速度快。
旧的动态方法： 配合度完美，速度极慢。
ScalePredictor： 配合度完美，速度几乎与静态方法一样快。

这使得强大的 AI 模型可以在较小的日常设备（如手机或边缘设备）上运行，而不会损失其锐利度或降低运行速度。

技术摘要：ScalePredictor

问题陈述

视觉 Transformer (ViTs) 已在计算机视觉领域取得了最先进的性能，但由于其计算强度高，在资源受限的边缘设备上部署面临显著挑战。训练后量化 (Post-Training Quantization, PTQ) 提供了一种解决方案，通过将模型压缩为低比特格式（例如 8 位或更低）而无需重新训练。然而，现有的 PTQ 方法主要依赖于静态量化，即对所有输入实例应用统一的一组量化参数（缩放因子/scales）。

这种静态范式对于 ViTs 而言本质上是次优的，因为自然图像具有极大的多样性，导致不同样本之间的激活分布存在显著差异。这种异质性在超低比特设置（如 W3/A3）中尤其有害，因为固定的缩放因子无法捕捉到特定实例的动态特性。相反，动态量化策略虽然可以针对每个样本调整参数，但通常需要在每一层进行运行时全张量归约（计算最小值/最大值）。这些操作会引入严重的同步屏障和内存带宽限制带来的开销，从而严重削弱推理速度，抵消了量化带来的效率优势。

方法论：ScalePredictor

作者提出了 ScalePredictor，这是一个能够在保持极低计算开销的同时，实现实例感知缩放学习的动态量化框架。驱动该方法的核心洞察在于发现了一种相关性：深层网络的最佳量化缩放因子强烈依赖于浅层网络中所观察到的激活幅度。

该框架由三个主要部分组成：

鲁棒范围提取 (Robust Range Extraction)：
ScalePredictor 并不计算全局最小值/最大值（这类值对离群值敏感）或执行昂贵的百分位数排序，而是从 Patch Embedding（最浅层）的输出中提取一个“鲁棒范围” ( $r(x)$ )。
- 将展平后的张量划分为 $K$ 个不重叠的块 (chunks)。
- 计算每个块的局部极值。
- 通过平均这些局部极值来得出全局鲁棒范围。
- 这种方法充当了粗粒度的百分位数近似，在保持 $O(N \cdot C)$ 复杂度的同时，有效地抑制了离群值的影响，并避免了排序操作。
基于泰勒展开的多项式预测器 (Taylor-Motivated Polynomial Predictor)：
一个可学习的多项式模块将提取的鲁棒范围 $r(x)$ 映射到后续所有层的最佳量化缩放因子。
- 基于“浅层统计数据与深层最佳缩放因子之间的关系遵循平滑且非线性趋势”这一观察结果，该方法将第 $l$ 层的缩放因子 $s_l(x)$ 建模为 $r(x)$ 的多项式函数：
  $s_l(x) = \sum_{k=0}^{d} c_{l,k} \cdot (r(x))^k$
- 系数 $c_{l,k}$ 在校准阶段通过块级重构损失进行学习。
- 这使得模型能够通过单次传递预测所有层的实例特定缩放因子，而无需访问深层激活张量。
校准与推理 (Calibration and Inference)：
- 校准： 多项式系数使用小型校准集进行优化。常数项 ( $c_{l,0}$ ) 使用最佳静态缩放因子进行初始化以确保稳定性，而高阶项则通过学习来捕捉实例变化。
- 推理： 对于新输入，首先在 Patch Embedding 层计算鲁棒范围。随后，所有后续层的缩放因子均通过多项式求值（ $O(1)$ FLOPs）生成，从而消除了逐层进行运行时归约的需求。

核心贡献

面向 ViTs 的实例感知 PTQ： ScalePredictor 被认为是首个通过利用动态量化来解决 ViT 实例级分布异质性，且无需重新训练的 PTQ 方法。
高效的缩放学习机制： 将鲁棒范围提取机制（基于块的极值平均）与受泰勒展开启发的多项式投影相结合，实现了精确且即时的缩放预测，且几乎不产生推理开销。
发现浅层-深层相关性： 该工作揭示了一种一致的功能依赖关系，即浅层激活统计数据（特别是来自 Patch Embeddings 的数据）可以有效预测各种架构（ViT, DeiT, Swin）中深层 Transformer 模块的最佳量化缩放因子。

实验结果

研究人员在 ImageNet 数据集上针对七种 ViT 架构（ViT-S/B, DeiT-T/S/B, Swin-S/B）和四种 PTQ 基准方法（BRECQ, QDrop, AdaLog, I&S-ViT）进行了广泛实验。

准确率提升： ScalePredictor 始终优于静态 PTQ 基准，尤其是在低比特场景下。
- 显著的提升包括：在使用 I&S-ViT 进行 W2/A3 量化时，Swin-Small 的准确率从 33.57% 提升至 44.15%，增幅达 10.58%。
- 在 W3/A3 设置下也观察到了显著改进，例如使用 BRECQ 时，ViT-Small 的准确率提升了 8.71%。
- 即使在静态基准方法失效的情况下（例如 BRECQ 在 ViT-Small W2/A3 上的准确率仅为 1.10%），ScalePredictor 也能将其性能恢复至 4.15%。
与 JIT 动态量化的对比： 与破坏了已校准权重-激活关系的即时 (JIT) 动态量化方法（如 JIT Min/Max）不同，ScalePredictor 在实现自适应性的同时保留了校准的一致性。
效率：
- 延迟： 在 NVIDIA RTX 3090 上，与静态 PTQ 相比，ScalePredictor 仅引入了 0.6% 的端到端延迟开销。
- 缩放计算： 该方法计算量化缩放的速度比 JIT Min/Max 快 40–52 倍，比 JIT Percentile 快 507–1025 倍，因为它避免了逐层的张量归约。

意义与主张

本文声称 ScalePredictor 成功弥合了动态量化的准确度与静态量化的效率之间的鸿沟。通过利用浅层分布与深层最佳缩放因子之间的隐藏相关性，该方法避免了传统动态方法所需的昂贵“即时”校准。

作者强调，ScalePredictor 提供了一个优异的准确度-效率权衡，使其成为在边缘设备上部署低比特视觉 Transformer 的可行方案。该方法旨在无缝集成到现有的 PTQ 框架中，仅需添加一个轻量级的预测器模块和一步鲁棒范围提取步骤，无需更改底层网络架构或进行全量重训。