🤖 AI

Breaking the Curse ofMultilinguality inMany-to-Many Speech-to-Text Translation via a Resource-AwareMixture of Speech Encoders

本文介绍了 MSRT，这是一个利用资源感知型语音编码器混合机制（resource-aware Mixture of Speech Encoders）和五阶段课程学习策略的新型框架，旨在克服语音翻译中的多语言诅咒，在仅需极少数据量的情况下，实现了 45 种语言的最佳性能，并同时在不损害高资源语言性能的前提下提升了低资源语言的能力。

原作者： Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正站在一个繁忙、嘈杂的国际火车站里。这就是**语音转文本翻译（Speech-to-Text Translation）**的世界，这是一个致力于教机器倾听某人所说的某种语言，并立即将其转化为另一种语言文字的计算机科学领域。长期以来，这些机器就像是笨拙的导游，虽然说着完美的英语，却在处理其他一切事务时磕磕绊绊。它们的工作原理是先将语音转录为文本（就像速记员一样），然后再将该文本进行翻译（就像字典一样），但这种两步走的过程经常导致错误不断堆积，就像一场出错不断的“传声筒”游戏。最近，科学家们尝试构建“多模态大语言模型”（MLLMs）——拥有能够听和说的超聪明 AI 大脑。梦想是拥有一个能够处理任何语言的单一、神奇的大脑。但问题在于：当你试图教一个大脑同时说 45 种不同的语言时，它会感到困惑。这就像试图把 45 种不同的方言塞进一个背包里；那些沉重且练习充分的语言（如英语或西班牙语）占据了所有空间，导致那些较轻、练习较少的语言（如稀有方言）没有呼吸的空间。这个问题被称为“多语言之咒”（curse of multilinguality），这意味着 AI 在某些语言上表现极佳，但在另一些语言上却表现糟糕。

于是，由 Yexing Du 及其团队提出的新框架 MSRT 登场了，旨在解决这个“背包问题”。他们并没有强迫一个大脑承担所有的重任，而是构建了一个拥有两个专业化“耳朵”（称为语音编码器）和一个交通控制器（路由器）的智能系统。你可以把它想象成一个高端餐厅的厨房。通常情况下，一位主厨试图烹饪菜单上的每一道菜，从简单的吐司到复杂的舒芙蕾。如果厨房变得过于忙碌，舒芙蕾可能会因为主厨过于专注于吐司而烧焦。MSRT 改变了游戏规则：它拥有一位“大师级主厨”，这位主厨的时间仿佛被冻结了，精通烹饪那些受欢迎的高资源菜肴（如英语）；还有一位“学徒主厨”，他渴望学习，并专门负责处理那些棘手的低资源菜肴。一位聪明的服务员（路由器）会查看订单票（正在说话的语言），并立即将请求发送给正确的厨师。如果订单是常见语言，大师级主厨会在不改变任何东西的情况下处理它。如果是稀有语言，学徒主厨就会挺身而出，针对这道菜专门调整其技能。

研究人员在 45 种不同的语言上测试了这个想法，涵盖了从中国和西班牙等常见巨头到高棉语和老挝语等较小语言的所有内容。他们不仅测试了几种，还检查了每一种可能的组合，这意味着他们尝试将这 45 种语言中的每一种都翻译成其他每一种语言（总计 1,980 个方向）。结果令人印象深刻：他们的 40 亿参数模型（与 270 亿或 300 亿参数的巨型模型相比，规模相对较小）实现了最高的平均得分，击败了更大的模型甚至顶级的商业 API。至关重要的是，这个系统不仅帮助了稀有语言，它实际上还让常见语言的表现变得更好，证明了你不需要通过牺牲一个领域的质量来修复另一个领域。他们还发现，他们只需要大约 10 小时的语音-文本配对数据即可有效地训练该系统，这与其他模型通常需要的量相比是非常微小的。

论文明确反对“单一共享语音编码器是处理多种语言的最佳方式”这一观点。他们表明，当你强迫一个编码器处理一切时，会产生一种“零和博弈”，即提升低资源语言往往会损害高资源语言。通过使用他们的“混合语音编码器”（Mixture of Speech Encoders, MoSE），他们打破了这个诅咒。该系统使用了一种五阶段训练策略，有点像难度逐级增加的电子游戏，从简单的语音识别开始，逐渐增加翻译任务。这种循序渐进的方法帮助模型在不会感到不堪重负的情况下进行学习。

在实验中，MSRT 模型展现出了全面的收益。对于低资源语言，改进最为显著，在其他模型挣扎的地方大幅提升了得分。但与以往可能以牺牲常见语言为代价来提升稀有语言的尝试不同，MSRT 也强化了高资源语言。作者认为，这是因为“冻结的专家”保留了流行语言的强大知识，而“可训练的专家”则专注于那些需要更多帮助的语言。他们还注意到，虽然该模型非常出色，但其翻译质量最终受限于底层的“大脑”（大语言模型），这意味着如果基础模型不太了解某种语言，语音系统无法凭空创造出这种知识。然而，对于它所涵盖的语言，结果表明，这是一种构建多语言 AI 的更高效、更具尊重感的新方式，而不是让那些喧闹的语言淹没那些安静的语言。

技术摘要：通过 MSRT 破解多语言之咒（Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via MSRT）

1. 问题陈述

多模态大语言模型（MLLMs）推动了语音转文本翻译（S2TT）的发展，但在处理多样化语言的输入时，它们正遭受“多语言之咒”的影响。目前的架构通常采用单一共享语音编码器来处理所有输入语言。随着语言覆盖范围的扩大，这种设计迫使不同资源水平（高、中、低）的语言在有限的表示容量内进行竞争。

这种竞争导致了性能失衡：

高资源语言（如英语、中文）由于保留了预训练的声学知识，通常能保持较强的性能。
低资源语言则遭受严重的性能退化，因为联合优化过程会覆盖已建立的表示，或无法拟合稀缺语言的特征。
一致性差距（Consistency Gap）： 模型通常表现出强大的以英语为中心的能力（英语到其他语言），但在多对多翻译（非英语到非英语）方面性能显著下降，从而产生了明显的跨语言性能差距。

2. 方法论：MSRT 框架

作者提出了 MSRT（多语言语音转文本翻译）框架，旨在通过解耦资源保留与资源适配来破解这一难题。其核心创新是资源感知型语音编码器混合机制（MoSE）。

A. 混合语音编码器 (MoSE)
MSRT 没有使用单一共享编码器，而是利用了两个具有不对称角色且由源语言显式路由的同构 Whisper 编码器：

冻结专家 ( $E_f$ )： 处理高资源语言。其参数固定，以保留通用的语音表示并防止预训练声学知识的灾难性遗忘。
可训练专家 ( $E_t$ )： 处理中、低资源语言。该专家与 $E_f$ 使用相同的权重初始化，并通过微调来适应代表性不足的口音和音系模式。
显式语言路由： 提示词中的源语言 Token 决定哪个专家处理该语音。这种设计避免了对学习型门控机制或平衡损失的需求，使推理成本与单编码器保持一致。

B. 五阶段课程学习
为了在极少数据（每种语言仅 10 小时的配对 S2TT 数据）下实现有效的对齐，作者引入了五阶段训练策略：

ASR 对齐： 在多语言 ASR 数据上训练语音适配器（Q-Former + MLP），同时保持编码器和 LLM 冻结。
专家专业化： 激活 MoSE 路由。冻结专家保留高资源能力，而可训练专家则适配中/低资源语音。
翻译激活： 引入带有地面真值转录（ground-truth transcriptions）的语音引导机器翻译（SMT），将语音特征连接到冻结 LLM 的翻译知识中。
端到端 SRT： 从输入中移除地面真值转录，强制适配器直接从路由后的语音生成转录和翻译。
联合适配： 通过 LoRA 解冻 LLM，将其与适配器进行联合优化，使多语言生成能够适配声学输入，而不更新完整的预训练 LLM 权重。

C. 架构概览
系统由 MoSE 模块、语音适配器（用于特征压缩的 Q-Former 和用于维度对齐的 MLP）以及预训练 LLM（MiLMMT-4B）组成。提示词包含显式的源语言和目标语言 Token，分别用于控制编码器选择和生成方向。

3. 核心贡献

MoSE 架构： 一种资源感知的混合专家设计，通过保留高资源知识并实现针对低资源语言的定向适配，破解了多语言之咒。
MSRT-4B 模型： 一个紧凑的 40 亿参数模型，仅需每种语言 10 小时的配对 S2TT 数据，即可支持 45 种语言（涵盖 11 个语系）之间的所有翻译方向。
全面评估： 在 FLEURS 基准测试上对全部 1,980 个翻译方向（45 个源语言 × 44 个目标语言）进行了系统评估，展示了广泛且可靠的多对多翻译能力。
开源： 发布代码和模型以促进可复现研究。

4. 实验结果

模型在 FLEURS 数据集（45 种语言）和 CoVoST-2 基准测试上进行了评估。

整体性能： MSRT-4B 实现了 83.3 的平均 COMET 分数，显著超越了包括 MCAT-27B (80.9)、Qwen3-Omni-30B (77.5) 和 SeamlessM4T-V2-Large (72.5) 在内的更大规模基线模型。它也超过了 Gemini-3.5-Flash-Lite API (80.0)。
方向一致性： MSRT-4B 在 1,980 个方向中的 1,552 个方向（78.4%）达到了 ≥80 的 COMET 分数。相比之下，Gemini API 在 928 个方向上达到此水平，而 SeamlessM4T 仅在 117 个方向上达到。
资源水平增益：
- 低资源： MoSE 为低资源语言带来了最大的收益（+3.0 COMET 点），显著缩小了其与高资源语言之间的性能差距。
- 高资源： 不同于以往通过牺牲高资源性能来换取低资源增益的方法，MoSE 在提升低资源结果的同时，还提高了高资源性能（+1.4 COMET 点）。
参数效率： 尽管只有 40 亿参数，MSRT-4B 仍优于 270 亿和 300 亿参数的模型，证明了其高效的模型容量利用率。
泛化能力： 该模型在 CoVoST-2 上表现出鲁棒的跨数据集泛化能力，并具有强大的零样本迁移能力。

5. 重要性与主张

论文声称 MSRT 成功地破解了多语言之咒，且没有损害高资源性能。通过根据资源水平将语言显式路由到专门的编码器，该框架解决了单个共享编码器中因竞争资源需求而产生的干扰。

作者强调，未来的语音翻译模型应优先考虑全面的多语言优化，而非主要关注以英语为中心的翻译方向。他们指出，其方法通过极少的数据量实现了鲁棒的多对多翻译，挑战了高质量多语言 S2TT 必须依赖大规模数据的观点。

局限性： 作者承认，MSRT 的翻译质量最终受限于底层预训练 LLM 的机器翻译能力，特别是对于在 LLM 预训练阶段表征较弱的语言对。