技术摘要：量化 Whisper：设计选择如何影响自动语音识别性能

问题陈述

大规模自动语音识别（ASR）模型，如 OpenAI 的 Whisper 系列，实现了最先进的准确率，但在资源受限环境（例如边缘设备、嵌入式系统）中部署面临重大障碍。这些模型通常包含数亿个参数，对内存和计算资源的需求极高，超出了许多低资源和本地设备环境的预算。虽然训练后量化（PTQ）提供了一条无需重新训练即可压缩这些模型的途径，但特定设计选择（如量化方案、库和位宽）对 ASR 性能的影响仍未得到充分探索，尤其是对于像 Whisper 这样的大规模 Transformer 架构。现有文献往往侧重于计算机视觉或大型语言模型（LLM），导致人们尚不了解激进量化如何在不同硬件后端影响语音识别的鲁棒性。

方法论

作者提出了一个统一的、跨库的 PTQ 评估框架，应用于 Whisper-small（2.44 亿参数），并在 Whisper-base 和 Whisper-tiny 上进行了验证实验。该研究比较了四种广泛使用的 PTQ 库：

1. PyTorch： 原生动态 int8 量化（专注于 CPU）。
2. Optimum-Quanto (Quanto)： 支持跨 CPU、GPU 和 MPS 的整数和低精度浮点格式。
3. HQQ： 基于半二次优化，具有可配置的组大小。
4. bitsandbytes (BNB)： 仅支持 GPU 的归一化格式（如 nf4）实现，支持可选的双重量化。

实验设计：

• 数据集： LibriSpeech 语料库的英语子集：test-clean（简单）和 test-other（声学挑战性强）。
• 变量： 研究系统地变化了量化方案（动态与静态）、方法（对称与非对称）、粒度（每张量与每通道）以及位宽（int8、int4、int3、nf4、fp8）。
• 指标： 从三个维度评估性能：
  • 准确率： 词错误率（WER）和字符错误率（CER）。
  • 效率： CPU 和 GPU 上的实时因子（RTF）。
  • 压缩： 相对于全精度（fp32）基线的模型大小缩减。
• 协议： 所有配置均在统一的测量协议下进行评估，以确保直接可比性。静态量化使用 10% 的校准子集，而动态量化则在运行时计算比例。

主要贡献

1. 统一评估框架： 在受控协议下对 Whisper PTQ 进行系统性的跨库比较，使不同库特有的权衡能够直接对比。
2. 设计选择的比较分析： 实证评估了量化方案、方法、粒度和位宽如何相互作用以影响 ASR 性能。
3. 特定设备的洞察： 在 CPU 和 GPU 上的并行评估揭示了最优配置因硬件后端和声学条件（清晰与具有挑战性）而异。
4. 跨模型验证： 验证了关于动态与静态量化及位宽权衡的主要发现在 Whisper-small、Whisper-base 和 Whisper-tiny 上均成立。

结果

实验得出了关于压缩、速度和准确率之间权衡的几个显著发现：

• 动态与静态量化： 与静态量化能减少运行时开销的理论预期相反，动态量化在 Whisper-small 的准确率和速度方面始终优于静态量化。静态量化（如 Quanto int8/fp8）导致性能大幅下降，这可能是由于缺乏针对 LayerNorm 和 Softmax 等操作的高效低位实现，迫使进行重复的反量化。
• CPU 性能：
  • PyTorch 动态 int8 提供了最佳的速度 - 准确率权衡，实现了最快的推理速度（比基线快 36.4%），同时准确率下降幅度较小。
  • HQQ 动态 int4 提供了最高的压缩率（69%），同时在清晰语音上保持了准确率，尽管其速度慢于 PyTorch。
• GPU 性能：
  • Quanto 动态 int8 成为最稳健的配置。它将模型大小减少了 57%，并且值得注意的是，在具有挑战性的 test-other 分割上优于 fp32 基线（WER：10.65 对比 11.88）。这表明量化可能存在一种正则化效应，即在噪声条件下稳定了预测。
  • 激进格式（nf4, int3）： 像 BNB（nf4）和 HQQ（int3）这样的库实现了极端的压缩（最高达 71% 的大小缩减），但准确率显著下降，特别是在 test-other 上。
• 粒度与方案：
  • 每通道量化（Quanto 使用）通过为通道分配独立的比例来有利于准确率，这与 Whisper 的权重分布非常吻合。
  • 每张量量化（PyTorch 使用）通过使用每个张量的单一比例来有利于效率，简化了计算，但在多样化的声学数据上提供的鲁棒性较差。
• 模型规模扩展： 在 Whisper-small 中观察到的趋势在 Whisper-base 和 Whisper-tiny 上是一致的。动态 int8 仍然是最稳健的运作点，而激进的低位格式（nf4, int3）始终用鲁棒性换取压缩。

意义与主张

论文结论指出，精心选择的 PTQ 方法可以在不重新训练的情况下大幅减少模型大小和推理成本，从而实现在受限硬件上部署 Whisper。作者强调：

• 动态量化是 Whisper 架构最可靠的选择，在速度和准确率方面均优于静态方法。
• 8 位精度（int8）是实际部署的安全底线，特别是在声学具有挑战性的环境中。低位格式（int4, int3, nf4）引入了显著的鲁棒性差距，对于一般 ASR 任务可能无法接受。
• 库和硬件环境至关重要： 最优配置因设备而异。PyTorch 更适合低延迟的 CPU 推理，而 Quanto 在优先考虑准确性和鲁棒性的 GPU 部署中表现更优。
• 量化可起到正则化作用： 在特定情况下（GPU 上的 Quanto 动态 int8），与全精度基线相比，量化提高了噪声数据上的性能，尽管这种优势在低于 8 位的位宽下并未持续存在。

该研究为开发者提供了实用指南，建议量化策略不仅要针对模型架构进行定制，还要针对具体的部署约束（设备类型、内存限制）和预期的声学条件进行调整。