💬 NLP

Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition

本文提出了一种简单且有效的权重平均方法，该方法可选地通过知识蒸馏进行增强，旨在通过在旧任务和新任务上均实现高性能，来克服端到端自动语音识别中的灾难性遗忘问题。

原作者： Steven Vander Eeckt, Hugo Van hamme

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Steven Vander Eeckt, Hugo Van hamme

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂版解释，使用了日常生活的类比。

问题所在：“单一任务”的大脑

想象你雇佣了一位才华横溢的语音识别助手（AI），它精通美国英语。你对它非常满意。接着，你决定让它也能听懂苏格兰口音。于是，你用苏格兰的数据对它进行了训练。

难点在于： 一旦你教会了它苏格兰口音，它就开始忘记如何说美国英语了。这被称为灾难性遗忘（Catastrophic Forgetting）。这就像一个学生为了准备历史考试而如此刻苦地学习，以至于完全忘记了前一周在数学课上学到的所有知识。

在人工智能领域，这是一个巨大的问题。如果你想让 AI 随着时间的推移学习多种语言或方言，通常你必须保存所有旧的数据（比如录制成千上万小时的旧对话）来重新教导它。这既昂贵、缓慢，有时由于隐私规则也无法实现。

解决方案：“融合”的小技巧

论文作者提出了一种出人意料的简单解决方案，叫做权重平均法（Weight Averaging）。

把 AI 的“大脑”（其内部设置或“权重”）想象成一份食谱。

旧食谱： 你有一份完美的美国英语食谱（我们称之为食谱 A）。
新训练： 你对食谱 A 进行微调以学习苏格兰口音，从而创造了一个新版本，食谱 B。
错误做法： 如果你只使用食谱 B，你会失去美国风味；如果你只使用食谱 A，你就无法理解苏格兰口音。
修正方法： 与其二选一，不如取一勺食谱 A 和一勺食谱 B，将它们混合在一起，创造出食谱 C。

通过对“旧”大脑和“新训练”后的大脑进行数学上的平均处理，AI 既能保留旧任务的知识，又能很好地掌握新任务。

他们是如何测试的

研究人员在两种场景下测试了这个想法：

方言测试（单语种）： 他们让 AI 依次学习六种不同的英语方言（美式、英式、澳式、印度式、苏格兰式、爱尔兰式）。
- 结果： “融合”法表现得极其出色。它在学习第六种方言时，几乎完美地记住了第一种方言，击败了所有试图通过建立记忆库来保存旧数据的其他方法。
语言测试（多语种）： 他们让它先后学习英语、荷兰语、瑞典语、波兰语和俄语。这些语言之间的差异比方言要大得多。
- 结果： 在这种情况下，遗忘通常会更严重。然而，“融合”法依然碾压了竞争对手。它在没有存储任何额外句子数据的情况下，学会了新语言，同时没有抹去旧语言的知识。

两种“混合汤”的方法

论文提出了两种进行此类平均的方法：

50/50 混合： 直接取旧模型和新模型的等量部分。这种方法效果不错，但有时 AI 会对第一个任务产生轻微的遗忘。
“等历史权重”混合（Equal History Mix）： 这是获胜的方法。想象你已经学习了 5 个任务。与其仅仅将当前任务与第一个版本进行混合，不如将当前模型与你目前为止创建过的所有版本的模型进行混合。这确保了第一个任务获得的关注度与最后一个任务一样高。

“教师”加成（知识蒸馏）

有时，仅仅混合食谱是不够的，尤其是当新任务与旧任务差异很大时（比如从英语切换到俄语）。

作者增加了一个“教师”步骤。在混合食谱之前，他们让“旧 AI”（教师）观察“新 AI”的学习过程。
教师会说：“嘿，当你听到这个声音时，要记住它以前代表 X，而不是 Y。”
这有助于新模型在学习过程中更好地保持旧知识。论文称之为 LWFA（不忘学习 + 平均法）。事实证明，在学习差异巨大的语言时，这特别有效。

核心总结

通常，为了防止 AI 遗忘，你需要一个庞大的“记忆库”来反复练习旧数据。这篇论文表明，你根本不需要那个记忆库。

通过简单地对学习新任务前后的 AI 大脑进行平均处理，你可以在掌握新技能的同时，让旧技能保持活力。这种方法非常简单，不需要额外的存储空间，而且比那些试图保存数据的复杂方法效果更好。

简而言之： 当你学习新食谱时，不要扔掉旧的。只需将它们混合在一起，你就能获得两者的精华。

技术摘要：用于解决 ASR 中灾难性遗忘的权重平均法

问题陈述
将训练好的自动语音识别（ASR）模型适配到新任务（如新说话人、方言或语言）时，往往会导致灾难性遗忘（Catastrophic Forgetting, CF），即模型会丧失在先前学习任务上的性能。这严重限制了构建持续学习（Continual Learning, CL）ASR 系统的能力，也限制了在不进行全量历史数据重训的情况下利用新可用数据的能力，而全量重训在计算和资源上都非常耗费。虽然存在持续学习方法，但许多方法依赖于重放（Rehearsal）（存储来自过去任务的样本），这引发了隐私问题，或者需要特定于任务的参数，从而增加了推理的复杂性。现有的基于正则化的方法在端到端（E2E）ASR 中的有效性有限。

方法论
作者提出了一种**权重平均（Weight Averaging）**方法，这是一种简单且有效的持续学习方法，在新的任务 $t$ 可用后分为两个截然不同的步骤进行：

适配（Adaptation）： 将具有参数 $\theta_{t-1}$ （在先前任务上训练）的模型适配到新任务 $t$ 。这种适配可以通过以下方式执行：
- 朴素微调（Naive Fine-Tuning）： 在新任务数据上进行标准训练。
- 无忘却学习（Learning Without Forgetting, LWF）： 一种基于正则化的方法，它在标准的交叉熵损失和 CTC 损失基础上增加了知识蒸馏损失（ $L_{lwf}$ ）。该损失强制新模型在新任务数据上模仿旧模型的输出概率（ $\theta_{t-1}$ ），从而在不存储过去样本的情况下保留旧知识。
- 得到的适配后参数记为 $\hat{\theta}_t$ 。
权重平均（Weight Averaging）： 最终参数 $\theta_t$ 是旧模型（ $\theta_{t-1}$ ）与适配模型（ $\hat{\theta}_t$ ）的加权平均值：
$\theta_t = (1 - \eta)\theta_{t-1} + \eta\hat{\theta}_t$
其中 $0 \le \eta \le 1$ 。论文研究了两种 $\eta$ 的策略：
- 固定 $\eta = 0.5$ ： 一种指数移动平均，其中旧模型的贡献随时间指数级衰减。
- 动态 $\eta = 1/t$ ： 一种算术平均，其中直到任务 $t$ 为止的所有适配模型贡献相等（ $\theta_t = \frac{1}{t} \sum_{i=1}^t \hat{\theta}_i$ ）。

如果模型架构包含共享参数（ $\theta_S$ ）和任务特定参数（ $\theta_U$ ），则平均操作仅应用于共享组件。

核心贡献

无记忆持续学习（Memory-Free CL）： 该方法实现了高效的持续学习性能，无需存储过去样本的记忆缓冲区，解决了与基于重放的方法相关的隐私和存储约束。
简单且有效： 该方法在计算上非常简单，在适配阶段（针对 LWF）仅需对旧模型进行一次前向传播，并进行参数平均步骤。
支持双任务架构： 该方法在单语（共享模型）和多语（共享编码器、任务特定解码器）ASR 架构上均得到了验证。

实验结果
作者在 Common Voice (CV) 数据集上评估了该方法，使用的 E2E 模型由 Conformer 编码器和 Transformer 解码器组成。

单语实验（6 种英语方言）：
- 所提方法（FTA：带平均的微调；LWFA：带 LWF 的平均）显著优于所有基线方法，包括带有 2,000 个存储 Utterances 的经验重放（ER）。
- 最佳配置（ $\eta = 1/t$ ）实现了 13.72% 的平均词错误率（AVG WER），超过了最强的基线（带有 2k 样本的 ER，14.20%）3.4%。
- 向后迁移（Backward Transfer, BWT，衡量遗忘程度的指标）被降低到接近于零（-0.1%），而朴素微调为 -2.5%。
多语实验（5 种语言）：
- 由于任务间的差异性，在该设置下的遗忘现象更为严重。朴素微调导致了灾难性遗忘（BWT 为 -22.2%）。
- 采用 $\eta = 1/t$ 的 LWFA 取得了最佳性能，AVG WER 为 19.54%，优于强基线（带有 2k 样本的 ER，23.65%）17.4%。
- LWFA 将 ER 中观察到的遗忘程度降低了约 88.9%，且无需任何内存存储。
- 在多语设置中，在适配阶段加入 LWF 损失相比于简单的微调提供了显著的提升，而在单语设置中，FTA 与 LWFA 之间的差异很小。

意义与主张
论文声称权重平均是解决 E2E ASR 中灾难性遗忘的一种“简单且有效”的方案。作者断言其方法：

消除了对内存的需求： 不同于以往依赖存储样本的 ASR 持续学习先进方法，该方法在无需任何记忆缓冲区的条件下实现了更优的性能。
实现了近乎完美的保留： 通过使用 $\eta = 1/t$ ，该方法实现了“几乎零遗忘”，同时仍能有效地学习新任务。
跨架构泛化： 该方法在单语（完全共享）和多语（部分共享）场景下均表现稳健。

作者将成功的归因于一个理论发现，即权重平均会导致损失景观（loss landscape）中的“更宽最优解（wider optima）”，从而带来更好的泛化能力，这与检查点平均（checkpoint averaging）和模型汤（model soups）中的观察结果一致。他们总结道，这种方法使得在无需以往认为必要的资源开销的情况下，实现高性能的 ASR 持续学习成为可能。