Fast Speech Foundation Model Distillation Using Interleaved Stacking

技术摘要：基于交错堆叠的快速语音基础模型蒸馏

问题陈述
知识蒸馏（KD）是将高效的学生模型从大型语音基础模型（SFM，如 HuBERT）中部署以减少推理延迟和计算成本的标准技术。虽然现有的方法通常采用“深而窄”的学生架构以在内存限制下维持性能，但由于并行化能力有限，这些模型的训练速度比“浅而宽”的架构慢。尽管通过模型堆叠（逐步增加模型深度）进行阶段性训练在其他领域已有探索，但在 SFM 蒸馏中的应用仍未得到研究。此外，现有的堆叠方法（如渐进式堆叠、MIDAS）往往会导致 SFM 性能下降，因为它们破坏了训练阶段中层位置的一致性。由于 SFM 编码了独特的、具有特定层级特征的知识，在堆叠过程中重新定位层会阻碍这种知识的有效迁移。

方法论
作者提出了交错堆叠（Interleaved Stacking），这是一种专门为 SFM 蒸馏设计的创新训练加速框架。该方法通过以下机制运行：

1. 带有交错机制的阶段性训练： 训练过程分为 $B$ 个阶段。最初，训练一个具有 $K$ 层（$K = N/B$，其中 $N$ 是目标深度）的浅层学生模型。在每个阶段结束时，该方法不是将复制的层附加到网络的顶部或中间，而是从当前的 $bK$层模型中选择每隔$b$层的层进行复制，并将其副本紧随其原始层之后插入。这使得下一阶段产生一个$(b+1)K$ 层的模型。
2. 层位置一致性： 与渐进式堆叠（复制最后 $K$ 层）或 MIDAS（复制中间块）不同，交错堆叠确保了层在整个训练阶段中保持其相对比例位置（早期层保持在早期，后期层保持在后期）。
3. 与中间层级 KD 的集成： 该方法天然支持中间层级知识蒸馏损失。由于层位置保持一致，学生的第 $k$ 层可以在所有阶段与特定的教师层（例如，每隔 $M/K$ 个教师层）保持一致对齐。这使得使用层对层均方误差（MSE）损失成为可能，而不会出现其他堆叠方法中观察到的训练不稳定现象，因为在那些方法中层索引会发生偏移。
4. 损失函数： 总损失结合了输出层 KD 损失（教师与投影后的学生输出之间的 MSE）和中间层级 KD 损失。中间损失针对相对于学生当前深度的固定教师层索引，从而确保稳定的监督。

核心贡献

• 首次对 SFM 蒸馏中的堆叠进行研究： 本文首次探讨了专门用于蒸馏语音基础模型的堆叠式训练加速方法的有效性。
• 交错堆叠算法： 作者引入了一种能够保持层位置一致性的堆叠策略，解决了现有方法中因层错位导致的性能下降问题。
• 与中间监督的兼容性： 所提出的方法能够无缝集成对 SFM 性能至关重要的中间层级 KD 损失，而现有的堆叠基准模型在引入这些损失时难以避免训练发散。
• 实验验证： 该方法在 SUPERB 基准测试的四个下游任务上进行了验证：音素识别（PR）、自动语音识别（ASR）、槽填充（SF）和说话人识别（SID）。

实验结果
作者使用从 HuBERT 基础教师模型蒸馏出的 12 层 Transformer 学生模型对该方法进行了评估。

• 性能对比基准： 在所有任务和调度策略（等量调度和 Prop-1 调度）下，交错堆叠的表现显著优于现有的堆叠基准（渐进式堆叠和 MIDAS）。例如，在具有等量调度的 PR 任务中，交错堆叠实现的音素错误率（PER）为 9.08，而渐进式堆叠为 11.50，MIDAS 为 10.75。
• 性能对比全量训练： 值得注意的是，在 Prop-1 调度策略下，尽管所需的训练时间减少了（约 1.16 倍加速），所提方法在 PR、SF 和 SID 任务上的表现达到了与无堆叠训练的全深度模型（Full L2L）相当甚至更好的水平。
• 中间损失的影响： 加入中间层级 KD 损失显著提升了性能。即使没有中间损失，该方法仍优于基准方法，但加入中间损失后增益最为明显。相比之下，将中间损失应用于渐进式堆叠会导致训练不稳定和性能下降。
• 层相似性分析： 跨层相似性分析证实，SFM 中的相邻层表现出高度相关性。交错方法保留了这些关系，形成了一种“块状”相似性结构，即复制的层与其原始层保持高度相似，这验证了相邻插入的设计选择。

意义与主张
本文声称，交错堆步为 SFM 蒸馏中训练效率与模型性能之间的权衡提供了一个切实可行的解决方案。通过保持一致的层位置，该方法能够保留 SFM 固有的层级特定知识，而这种知识在其他加速技术中往往会丢失。作者断言，这种方法不仅通过降低训练成本加速了高效学生模型的部署，还减轻了通常与阶段性训练相关的性能下降。这项工作强调，训练效率是现实世界中 SFM 部署的一个关键但尚未得到充分研究的因素，并证明了在训练期间进行精细的架构操作可以产生既训练快速又高效的模型。