⚡ electrical engineering

Enhancing Multilingual LLM-based ASR with Mixture of Experts and Dynamic Downsampling

本文提出了一种基于投影器的 LLM-ASR 框架，该框架利用混合专家架构实现跨语言适应性，并利用连续集成与释放机制进行动态下采样，在多语言语音识别方面较强基准模型实现了显著的性能提升。

原作者： Guodong Lin, Ziqi Chen, Yuxiang Fu, Ke Li, Wei-Qiang Zhang

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Guodong Lin, Ziqi Chen, Yuxiang Fu, Ke Li, Wei-Qiang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、精通多种语言的翻译官（一个大语言模型，或称 LLM），他能听懂并说出世界上几乎所有的语言。然而，这位翻译官对声音是“耳聋”的；他只能理解文本。你的目标是构建一个系统，让这位翻译官能够听懂语音并将它们准确地记录下来。这就是**自动语音识别（ASR）**的挑战。

你分享的论文描述了一种将“耳朵”（音频处理器）与“大脑”（LLM）连接起来的新方法，使它们能够完美协作，特别是在处理多种不同语言和说话速度时。

以下是使用简单类比对他们解决方案的拆解：

问题所在：僵化的连接

在之前的尝试中，音频处理器与翻译官之间的连接就像是一个僵硬、固定大小的传送带。

问题在于： 语音是杂乱无章的。有时人们说话很快，有时很慢。有时句子很短，有时很长。
旧的方法： 旧系统试图在将音频交给翻译官之前，将其切分成等长的、固定大小的块（就像把一条面包切成大小完全相同的薄片）。如果说话者语速很快，这些薄片就会太小，从而丢失信息；如果说话者语速很慢，这些薄片又会太大，从而浪费空间。这使得系统在处理不同语言和速度时表现挣扎。

解决方案：两项升级

1. “专家团队”（混合专家模型 / MoE）

他们没有使用单一、通用的翻译官来处理所有音频，而是建立了一个专家团队。

运作方式： 想象一个繁忙的机场。与其让一个疲惫不堪的代理人尝试为 11 个不同国家的乘客办理登机手续，不如配备一个专家团队。一位是法语专家，另一位是日语专家，还有一位是西班牙语专家。
神奇之处： 一个聪明的“守门人”（门控机制）会观察传入的声音，并立即将其路由到正确的专家那里。如果音频听起来像韩语，它就会被送到韩国专家那里。如果听起来像德语，它就会被送到德国专家那里。
结果： 因为每个“专家”只专注于其特定语言的模式，所以该系统在理解不同口音和语言方面，比单一的“全才型”模型要出色得多。

2. “智能计时器”（连续集成与触发 / CIF）

这解决了前面提到的“僵硬传送带”问题。

运作方式： 系统不再将音频切分成固定的大小，而是使用一个智能计时器来倾听语音的流动。
机制： 这就像是用桶接水。系统将音频的“滴滴”信息投入到一个桶里。一旦水位达到特定的线（阈值），系统就会说：“好了，这足够作为一个词了！”然后将这个词传递给翻译官。接着，它又开始为下一个词重新填满桶。
益处： 如果有人说话很快，桶填满的速度就快，单词传递的速度也快。如果说话慢，桶就填满得慢。无论说话者语速如何，这都能在声音和文本之间创造出完美的、灵活的匹配。
转折点： 作者发现，原始的“智能计时器”有时过于“急躁”，填满桶的速度太快，导致丢失细节。因此，他们调整了规则（一个“宽松版”），以确保桶填充的速度恰到好处，在完美匹配文本长度的同时，保留所有重要的细节。

结果

作者在一个涵盖 11 种不同语言（包括英语、法语、日语、韩语等）的大规模数据集上测试了这个新系统。

基准测试： 标准系统表现挣扎，犯了很多错误。
新系统： 通过结合“专家团队”（MoE）和“智能计时器”（CIF），该系统的错误率显著降低。
规模化提升： 当他们向系统输入更多数据（8,000 小时的语音而非 1,500 小时）时，它在理解那些接触较少的语言方面变得更加出色，证明了它在处理新情况时具有极强的泛化能力。

总结

论文声称，通过赋予 AI 一个语言专家团队和一个灵活的智能计时器来匹配声音与文本，他们创建了一个比以往方法更准确、更鲁棒、且能更好地处理多种不同语言的语音识别系统。他们并未声称这是用于医疗用途或特定的未来应用，而仅仅是指出这是构建更好、更可靠的语音转文本系统的一大进步。

技术摘要：通过混合专家模型（MoE）与动态下采样增强多语言 LLM 基础 ASR

1. 问题陈述

大语言模型（LLM）的快速发展为自动语音识别（ASR）开辟了新前沿，与传统的统计语言模型相比，提供了卓越的语义推理和上下文理解能力。然而，将 LLM 有效集成到 ASR 系统中仍然具有挑战性。虽然早期的研究方法仅将 LLM 作为后处理器或外部语言模型，但最近的“编码器-投影器-LLM”（Encoder–Projector–LLM）范式展现出了潜力，却在多语言设置中面临两个关键局限：

多语言泛化能力： 将语音编码器与多语言 LLM 对齐需要灵活的映射，以处理多样化的音素和语言模式。朴素的集成往往无法实现稳健的跨语言适应性。
模态对齐： 现有的投影器设计通常依赖于固定的下采样率，将声学特征压缩为文本标记（tokens）。这种僵化性使得性能对语速变化高度敏感，且缺乏显式的对齐建模，导致在音频与文本序列长度自然不匹配时，会出现幻觉并降低鲁棒性。

2. 方法论

作者提出了一种新型的基于投影器的 LLM-ASR 框架，通过两种主要的架构增强来解决这些挑战：MoE 投影器和基于连续集成与触发（CIF）的动态下采样机制。

2.1 基准架构

该系统遵循标准的 Encoder–Projector–LLM 范式：

语音编码器： 使用预训练的 Whisper-large-v3 编码器提取声学特征。
LLM： 采用冻结的 Qwen-2.5 7B 模型作为核心解码模块，利用其语义能力。使用特定语言的提示词（prompts）来加速收敛。
投影器： 连接编码器与 LLM，将声学特征映射到 LLM 的嵌入空间。

2.2 MoE 增强型投影器

为了提高跨语言适应性，标准的线性投影层被替换为 MoE 架构。

结构： 原始的卷积层作为共享骨干网络。增加了一组专家子网络，专家数量与训练语言的数量相匹配。
机制： 门控机制根据输入声学特征计算每个专家的激活权重。最终输出是所选专家的加权和：
$y = \sum_{k=1}^{K} g_k(x)E_k(x)$
其中 $g_k(x)$ 是门控权重， $E_k(x)$ 是专家输出。这使得模型能够动态地将输入路由到专门的网络，从而更有效地建模多样化的语言模式。

2.3 基于 CIF 的模态对齐

为了取代僵定的固定下采样，作者集成了连续集成与触发（CIF）机制。

机制： CIF 为每个声学帧分配一个权重（0 到 1）。这些权重不断累积，当总和超过阈值（例如 1）时，会发生一次“触发”（fire）事件，标志着检测到一个新的标记。这根据输入音频动态地确定输出长度。
修改： 标准的 CIF 与基准模型的固定 4 倍下采样相比，往往会导致过度压缩（过度的下采样），从而造成信息丢失。为了缓解这一问题，作者引入了一种松弛 CIF 变体（relaxed CIF variant）。训练目标被修改为鼓励预测器生成的输出序列长度为目标标记序列的 $n$ 倍。在实验中，选择 $n=4$ 以匹配基准模型的有效下采样率，同时保留 CIF 对语速变化的适应性。

3. 实验设置

数据集： 训练在包含 11 种语言（英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语、泰语、越南语）的 1,500 小时多语言数据集（Nexdata/MLC-SLM Challenge）上进行。扩展实验使用了来自 CommonVoice、GigaSpeech2、LibriSpeech、MLS 和 VoxPopuli 的额外 6,500 小时数据（总计 8,000 小时）。
评估： 性能通过在域内（MLCSLM-dev）和域外（FLEURS-test、CommonVoice-test）基准测试上的字错率（WER）进行衡量。
基准模型： 与 Whisper-large-v3 以及标准的 LLM-ASR 基准（使用简单线性投影器和固定下采样的冻结编码器/LLM）进行了对比。

4. 关键结果

实验结果表明，所提出的组件显著提升了性能：

MoE 的影响： 仅使用 MoE 增强型投影器，就将 MLCSLM-dev 集上的 WER 从 23.26%（基准）降低到了 16.10%，优于 Whisper-large-v3（21.48%），并在大多数语言中表现出一致的提升。
CIF 的影响： 用标准 CIF 替换固定下采样最初导致性能下降（18.95%），原因是过度压缩。然而，修改后的 CIF（松弛变体）恢复了性能，在 MLCSLM-dev 上实现了 15.27% 的 WER。
组合性能： 所提出的完整方法（MoE + 修改后的 CIF）在所有数据集上均取得了最佳结果：
- MLCSLM-dev: 15.27%
- CommonVoice-test: 13.87%
- FLEURS-test: 10.46%
数据缩放： 将训练数据扩展到 8,000 小时后，在域外数据集上取得了实质性的增益（CommonVoice-test 降至 9.86%；FLEURS-test 降至 8.65%），尽管这导致域内 WER 略有上升（15.45%），这表明该方法优先考虑跨领域泛化能力。

5. 重要性与主张

论文声称，所提出的框架代表了构建更准确、更稳健且更具泛化能力的 LLM 基础 ASR 系统的重要一步。作者强调：

MoE 架构对于处理多语言 ASR 所需的复杂且多样化的映射非常有效，与标准投影器相比，提供了更优越的跨语言泛化能力。
通过 CIF 实现的动态下采样对于模态对齐至关重要，前提是必须仔细校准压缩率（通过松弛变体），以防止信息丢失。
设计良好的投影器和对齐策略对于在多语言场景下实现稳健性能，与 LLM 本身一样重要。

该工作总结认为，这些增强措施成功解决了朴素 LLM 集成的局限性，不仅实现了相对于强基准模型的实质性性能提升，也为开发更可靠的多语言语音识别系统铺平了道路。