⚡ electrical engineering

MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting

LoRE-SSL 是一个轻量级框架，它通过将 LoRA 模块与软混合专家机制（soft mixture-of-experts mechanism）以及有限的重放数据相结合，在仅使用 2.14% 可训练参数的情况下，实现了自监督语音模型高效的持续多语言训练，在提升新语言和现有语言性能的同时减轻了灾难性遗忘。

原作者： Jing Xu, Minglin Wu, Xueyuan Chen, Xixin Wu, Helen Meng

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jing Xu, Minglin Wu, Xueyuan Chen, Xixin Wu, Helen Meng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个名叫 HuBERT 的天才多语言机器人。这个机器人非常擅长理解英语，因为它花了数年时间听取了数千小时的英语广播和播客。然而，它完全不会说中文或粤语。

通常情况下，如果你想教这个机器人一种新语言，你会面临两个糟糕的选择：

“硬重置” (The "Hard Reset")： 扔掉它所有的英语知识，喂给它海量的英语、普通话和粤语混合数据，然后从头开始重新训练。这就像为了盖一座新图书馆而烧毁整座旧图书馆一样。这既昂贵又缓慢，而且你会失去旧的书籍。
“突击学习” (The "Cramming Session")： 在机器人还在学习英语的同时，尝试在没有特殊护理的情况下教它普通话。机器人会感到困惑，把语言搞混，最后甚至会忘记如何正确说英语。这被称为“灾难性遗忘”。

这篇论文介绍了一种聪明的新型解决方案，叫做 MiLorE-SSL。你可以把它看作是一个“智能升级包”，让机器人在学习新语言的同时不会忘记旧语言，而且消耗的额外能量极少。

以下是它的工作原理，通过简单的类比进行拆解：

1. “LoRA”模块：添加便利贴

与其重写机器人的整个大脑（它的大脑非常庞大且是固定的），研究人员在它大脑的特定部分附上了微小的、轻量级的“便利贴”。

类比： 想象机器人的大脑是一部巨大的、锁定的百科全书。你无法更改印刷好的页面。但是，你可以在页面上贴上一些小的、可书写的便签（称为 LoRA）。
它如何起作用： 当机器人遇到普通话时，它只会在这些特定的便签上书写。它不需要重新学习整部百科全书。这节省了大量的计算能力（实际上只有 2.14% 的大脑正在接受训练）。

2. “软混合专家模型” (Soft Mixture-of-Experts, MoE)：智能交换机

机器人有一个特殊的“交换机”（路由器），决定使用哪些便利贴来处理哪种语言。

类比： 想象一个繁忙的餐厅厨房。与其让一个厨师尝试烹饪每一道菜（这会导致错误），不如拥有一支专家团队。
- 硬路由 (Hard Routing，旧方法)： 经理指着厨师 A 说：“你只能做意大利菜。”如果顾客点了中餐，厨师 A 就会感到困惑。
- 软路由 (Soft Routing，MiLorE 的方法)： 经理说：“厨师 A，你负责这道菜的 70%，厨师 B，你负责 30%。”
它如何起作用： 这种“软性”方法允许机器人共享知识。也许机器人会对英语和普通话中相似的元音发音使用同一个“便利贴”。它让机器人变得灵活，可以借鉴一种语言的思想来帮助另一种语言，而不是将它们隔离在各自僵化的盒子中。

3. “重放”策略 (The "Replay" Strategy)：闪回

即使有了便利贴和交换机，机器人在学习普通话时仍可能开始忘记其英语技能。

类比： 这就像准备一场新考试。如果你只学习新材料，你可能会忘记旧的内容。所以，你每天都会花几分钟时间快速复习一些旧的闪卡。
它如何起作用： 研究人员在机器人学习普通话的同时，向它输入了一小部分随机的英语音频（约 100 小时）。这是一个“闪回”，提醒机器人：“嘿，别忘了怎么说英语！”至关重要的是，他们不需要全部的历史英语数据，只需要一个微小的、易于管理的样本。

结果：发生了什么？

研究人员在这样一个最初只懂英语的机器人身上进行了测试。他们使用 MiLorE-SSL 工具包教会了它普通话和粤语。

机器人的英语变得更好了： 令惊讶的是，通过使用这种方法，机器人的英语水平实际上比以前更进步了，而不是退步了。
机器人学会了新语言： 它在普通话和粤语方面表现出色，远优于那些同时在三种语言上从头开始训练的模型。
效率： 它完成这一切时，实际“训练”的仅为总脑容量的约 2%。

核心结论

MiLorE-SSL 是一种持续教导语音模型新语言的方法。它利用微小的、高效的插件（LoRA）、一个用于混合知识的灵活共享系统（Soft MoE），以及小规模的记忆刷新（Replay）来防止遗忘。它证明了你不需要通过焚毁图书馆来增加新书；你只需要一种聪明的方式来为现有的书籍做注释。

技术摘要：MiLorE-SSL

问题陈述
自监督学习（SSL）彻底改变了语音表示学习，然而多语言 SSL 模型面临着显著的约束。现有模型通常局限于预训练期间遇到的语言。引入新语言通常需要从头开始进行计算昂贵的重新训练。此外，如果没有缓解策略，顺序训练往往会导致“灾难性遗忘”，即对先前学习语言的性能会严重下降。虽然像数据回放（data replay）这样的先验解决方案需要庞大的历史语料库和存储空间，而基于适配器（adapter-based）的模块在语言数量增加时扩展性较差，因此需要一种能够实现高效、持续的多语言训练，且不会丢弃先验知识或产生过高成本的框架。

方法论
作者提出了 MiLorE-SSL（Mixture of LoRA Experts，LoRA 专家混合），这是一个旨在用于 SSL 模型持续扩展的轻量级框架。该架构通过将每个块中的标准前馈网络（FFN）替换为 MiLorE 模块，修改了标准的基于 Transformer 的 SSL 模型（具体为 HuBERT）。该模块由三个部分组成：

冻结骨干（Frozen Backbone）： 原始 FFN 权重 ( $W_0$ ) 保持冻结，以保留先前的多语言知识。
LoRA 专家（LoRA Experts）： 一组 $N$ 个专家，每个专家都参数化为低秩矩阵 ( $\Delta W = BA$ )，使用低秩自适应（LoRA）技术。这些专家引入了极少量的可训练参数。
软路由（Soft Router）： 一种基于输入隐藏状态计算软路由权重 ( $p$ ) 的可学习机制。与硬路由不同，它允许输入分布到多个专家中，从而促进灵活的知识共享与专业化，且无需显式的语言标识符。

该模块的输出是冻结骨干输出与专家输出的加权和： $o = W_0h_{in} + \sum_{i=1}^{N} p_i \cdot E_i(h_{in})$ 。

为了进一步缓解灾难性遗忘，该框架采用了回放策略（replay strategy）。该策略并非依赖大规模的历史语料库，而是在训练新语言期间，利用来自现有语言的少量随机采样子集（例如 100 小时）。这使得模型能够在适应新模式的同时，重新审视先前的语言分布。

核心贡献

新颖框架： MiLorE-SSL 是第一个将 LoRA 与专门用于 SSL 模型持续多语言扩展的软混合专家（MoE）机制相结合的框架。
软专家路由： 该设计引入了一种软路由机制，平衡了跨语言的知识共享与专业化，减少了跨语言干扰。
高效的遗忘缓解： 通过使用极少量现有语言数据的回放策略，降低了遗忘现象，且无需访问完整的历史数据集。
参数效率： 该方法仅以 2.14% 的总参数量实现了高性能。

实验结果
实验在 ML-SUPERB 基准测试上进行，重点关注单语言自动语音识别（ASR）和语言识别（LID）任务。研究利用了一个在英语上预训练的 HuBERT-Large 模型，并对其进行持续训练以学习中文（普通话）和粤语，同时使用英语数据进行回放。

性能提升： MiLorE-SSL 的表现显著优于基线英语单语言 HuBERT-Large 和多语言 mHuBERT-147。在 CommonVoice 数据集上，它将字符错误率（CER）降低至：英语 10.3%，普通话 10.7%，以及粤语 11.0%，而 mHuBERT-147 分别为 18.5%、15.5% 和 14.8%。
语言识别： 该模型的平均 LID 准确率达到 99.40%，超过了 m $\text{HuBERT-147}$ (97.21%) 和 $\text{HuBERT-Large}$ (94.94%)。
消融实验： 移除 MoE 组件或回放策略都会导致各项任务的性能下降。具体而言，移除 MoE 证实了专家专业化的必要性，而移除回放主要损害了英语性能，验证了其在防止遗忘方面的作用。
专家激活： 对专家激活模式的分析表明，较低层编码的是语言无关特征，而中间层和高层则表现出语言特定的分歧，这验证了 MoE 结构在建模共享与独特语言特征方面的效用。

意义与主张
本文声称 MiLorE-SSL 有效解决了 SSL 模型在计算效率与多语言能力之间的权衡。通过结合低秩自适应、软 MoE 和轻量级回放策略，该框架使模型能够增量学习新语言，同时保留对现有语言的强大性能。作者强调，这是在没有静态训练所需的严格数据平衡要求，也没有传统回放方法所需的巨大存储需求的情况下实现的。结果表明，通过极少的训练参数（2.14%）即可扩展 SSL 模型以学习新语言并避免灾难性遗忘，为全球语言多样性提供了一个可扩展的解决方案。