⚡ electrical engineering

Survey of End-to-End Multi-Speaker Automatic Speech Recognition for Monaural Audio

本综述对单声道多说话人自动语音识别的端到端神经方法进行了全面回顾与系统分类，分析了架构范式、近期算法改进、长语音扩展及基准性能，并勾勒出未来研究方向。

原作者： Xinlu He, Jacob Whitehill

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinlu He, Jacob Whitehill

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你身处一场拥挤的晚宴，三位朋友同时在说话。你想记下每个人确切说了什么，但他们的声音交织在一起，变成了一锅混乱的声浪。这就是**多说话人自动语音识别（ASR）**所面临的挑战。

本文是一幅“地图”或一次“综述”，梳理了计算机学习解决这一问题的最新且最智能的方法，特别是当仅使用一个麦克风（单声道音频）记录这种混乱时。

以下是用简单类比对本文核心思想的拆解：

1. 旧方法：流水线（级联系统）

在新方法出现之前，计算机尝试像工厂流水线一样解决这个问题。

步骤 1： 一台机器聆听并试图判断谁在说话以及何时说话（说话人日志）。
步骤 2： 它根据这些猜测将音频切割成单独的片段。
步骤 3： 另一台机器为每个片段转录文本。

问题所在： 如果第一台机器出错（例如，它认为两个人是一个人，或者漏掉了一个词），该错误就会沿流水线传递。这就像“传话”游戏，信息在每一步都会变得模糊不清。此外，如果两个人完全同时说话，第一台机器往往会感到困惑并直接丢弃音频。

2. 新方法：端到端（E2E）大厨

本文聚焦于**端到端（E2E）**系统。与其说是流水线，不如想象一位主厨看着整锅汤（混合音频），瞬间就知道如何分离食材并为每个人写下食谱。该系统同时学习“谁”和“什么”，因此一个领域的错误不会破坏另一个领域。

本文将这些新“大厨”分为两种主要风格：

风格 A：并行团队（SIMO - 单输入，多输出）

工作原理： 想象三位秘书坐在同一张桌子旁。他们都听着同一个嘈杂的电话。每位秘书被分配给特定的人（秘书 1 只听鲍勃，秘书 2 只听爱丽丝，以此类推）。
局限： 你必须提前确切地告诉团队有多少人正在说话。如果你说“有 3 个人”，但第 4 个人走了进来，系统就会困惑。
本文观点： 这种风格的好处是模块化（易于替换部件），但在说话人数量变化或“分离”部分不完美时，它会遇到困难。

风格 B：单一抄写员（SISO - 单输入，单输出）

工作原理： 想象一位非常快速的抄写员，将所有所说的内容以一条连续不断的流记录下来。为了追踪谁说了什么，他们在文本中插入特殊代码（如 <sc> 代表“说话人切换”）。
优势： 这位抄写员不需要事先知道有多少人。如果有第 4 个人加入，他们只需继续书写。因为他们能同时听到整个对话，所以可以利用上下文（例如，“鲍勃通常会打断爱丽丝”）来判断谁在说话。
本文观点： 这非常灵活，能很好地处理说话人数量变化的情况，但它要求计算机在正确排序单词方面非常智能。

3. “秘密配料”（改进措施）

本文指出，仅拥有这两种风格是不够的。研究人员正在添加“秘密配料”来使其更出色：

“副驾”（预训练模型）： 想象一位已经知道如何为一个人烹饪的超级大厨（在海量单说话人数据上训练的模型），并给他配备一位小巧轻便的助手（“副驾”）来帮助分离声音。这解决了多说话人场景下训练数据不足的问题。
视觉线索（音视频）： 有时音频太混乱。本文讨论了那些同时观察说话人面部视频的系统。这就像有一个能看见谁在动嘴唇的人，即使音频嘈杂，也能帮助判断谁在说话。
大语言模型（LLM，即“上下文”大脑）： 利用大语言模型（如聊天机器人背后的 AI）来辅助。这些模型可以读取指令，例如“只写下那个女人说的话”或“找到‘会议’这个词”。它们充当转录的智能过滤器。

4. 长篇故事（长音频）

大多数测试使用的是短片段（如 10 秒的句子）。但现实生活是一场 1 小时的会议。

挑战： 如何切割 1 小时的录音而不把句子切断？
解决方案： 本文讨论了“假设拼接”。想象将长会议录音分成小块，转录每个小块，然后使用智能算法将它们重新粘合在一起，确保说话人名称保持一致（即第 1 分钟的“鲍勃”与第 50 分钟的“鲍勃”是同一个人）。

5. 现实检验（本文的发现）

作者查看了标准测试中的得分（这些系统的准确率）。

没有明确的赢家： 没有“最好”的系统。有时“并行团队”（SIMO）获胜；有时“单一抄写员”（SISO）获胜。这取决于具体情况。
停滞不前： 令人惊讶的是，尽管有了所有这些新颖的尖端技术，在现实世界测试（如实际会议录音）中的准确率在过去几年里并没有显著提高。
瓶颈： 最大的问题不是算法，而是数据。我们没有足够的高质量录音（人们互相重叠说话）来完美训练这些系统。此外，许多研究人员不分享他们的代码，使得很难比较谁实际上做得最好。

总结

本文是“倾听人群”当前状态的指南。它告诉我们，虽然我们已经从笨拙的流水线转向了智能的、一体化的系统，但我们仍在与重叠声音的纯粹混乱作斗争。未来在于将这些新智能系统与大规模预训练模型相结合，并可能利用视频或文本上下文来帮助计算机更好地“看见”和“理解”对话。

技术综述：单声道音频端到端多说话人自动语音识别调查

1. 问题陈述

单声道多说话人自动语音识别（ASR）旨在转录包含多个说话人（包括重叠语音）的音频，同时将单词归因于正确的个体。该任务扩展了“鸡尾酒会问题”，要求系统确定“谁说了什么”，而不仅仅是“说了什么”。

该领域面临三个主要挑战：

数据稀缺：与单说话人 ASR 相比，缺乏针对多说话人场景的大型、标注良好的数据集。
内在难度：识别和归因重叠语音中的单词本质上非常复杂，不仅涉及识别，还包括说话人日志记录、重叠检测和话轮转换分析。
级联系统的局限性：传统的模块化方法（例如：说话人日志记录 $\to$ 分割 $\to$ 单说话人 ASR，或语音分离 $\to$ 单说话人 ASR）存在误差传播问题。日志记录通常假设每帧只有一个活跃说话人，而分离模块优化的是信号级目标而非 ASR 性能，从而导致误差累积。

2. 方法论与分类

本文提供了端到端（E2E）神经方法的系统分类，主要根据其输出框架将其分为：单输入多输出（SIMO）和单输入单输出（SISO）。

2.1. 单输入多输出（SIMO）

SIMO 框架处理混合音频，并通过并行分支生成 $S$ 个独立的转录文本（每位说话人一个）。

架构：通常包括一个共享的混合编码器，后接 $S$ 个并行分支，每个分支包含一个说话人区分编码器和一个 ASR 解码器。
训练：依赖排列不变训练（PIT）将输出分支与参考转录对齐，因为说话人的顺序是未知的。
局限性：需要预先知道说话人的固定数量（ $S$ ），限制了其在现实场景中的灵活性。性能高度依赖于分离模块的质量；分离效果差会导致转录冗余或遗漏。
近期改进：
- 分离增强：引入辅助损失（如 KL 散度）以强制各分支之间的区分度，并使用跨说话人编码器共享上下文信息。
- 动态处理：采用迭代分离方法，逐个提取说话人，以处理可变数量的说话人。
- 预训练：通过在层间插入轻量级分离模块（如“侧车”分离器），调整大型基础模型（如 Whisper、Wav2Vec）。

2.2. 单输入单输出（SISO）

SISO 框架处理混合音频，生成包含所有说话人单词的单一、统一的转录序列。

架构：生成序列化输出，其中不同说话人的转录文本被拼接在一起。
训练：利用序列化输出训练（SOT）。存在两种主要策略：
- 基于句子的 SOT：使用说话人转换标记（如 <sc>）拼接句子。
- 基于标记的 SOT：基于时间戳使用通道转换标记（如 <cc>）拼接标记，为重叠提供更细粒度的处理。
优势：自然处理可变数量的说话人，捕捉说话人间的依赖关系，并通过避免排列匹配降低计算开销。
改进：
- 辅助损失：使用改进的 CTC 损失（如说话人感知 CTC、SD-CTC）来强制时间一致性和说话人区分。
- 外部说话人模块：通过帧级或标记级条件化集成说话人嵌入，将说话人身份注入解码过程。
- 多任务学习：联合优化 ASR 与辅助任务，如重叠检测、说话人转换检测或日志记录。
- 基础模型适配：直接微调或调整大型单说话人基础模型（如 Whisper、WavLM）以适应 SISO 格式，通常使用轻量级适配器（如 LoRA）。

2.3. 多模态与长文本扩展

多模态 ASR：整合视觉线索（人脸轨迹、口部运动）或文本上下文（LLM 指令、日志记录元数据）。视觉线索有助于在嘈杂/重叠条件下解决说话人身份识别问题，而 LLM 则支持基于指令的控制（例如“仅转录女性说话人”）。大多数多模态系统采用 SISO 框架，将上下文直接融合到联合建模中。
长文本处理：通过引入分割策略（超越简单的 VAD，如带有语义线索的自适应滑动窗口）和假设拼接方法，解决连续音频问题，将局部转录合并为具有稳定说话人身份的全局一致输出。

3. 主要贡献

全面的分类：本文建立了对 E2E 多说话人 ASR 的结构化综述，区分了 SIMO 和 SISO 范式，并分析了其架构权衡。
改进分析：详细阐述了最近的算法进展，包括分离增强、动态说话人处理、多任务学习以及大型基础模型的适配。
基准评估：作者对标准基准（AMI、LibriSpeechMix、LibriMix）上的方法进行了比较分析，强调没有任何单一架构（SIMO 与 SISO）能在所有场景中始终优于另一方。
开放挑战的识别：该调查指出了关键差距，包括缺乏用于公平比较的开源实现、尽管有方法学提出但现实世界基准进展停滞，以及需要鲁棒地处理重叠语音。

4. 结果与性能

基准性能：在 AMI 和 LibriMix 等标准数据集上，性能根据训练数据（模拟与真实）和说话人注册情况而有显著差异。
- SISO 方法在 AMI 上表现出强劲性能（例如基于 Conformer 的 SISO 模型）。
- SIMO 方法在模拟数据集（如 LibriSpeechMix）上取得了有竞争力的结果，特别是在利用带有分离模块的预训练基础模型时。
指标演变：本文指出评估指标从标准的词错误率（WER）转向说话人归因词错误率（SA-WER）和拼接最小排列词错误率（cpWER），以考虑说话人分配准确性。
数据效率：近期趋势表明，适配预训练基础模型（通常仅训练 8–10% 的参数）即可实现最先进性能，从而缓解数据稀缺问题。

5. 意义与未来方向

本文认为，该领域正从特定基准上边缘化的 WER 改进，转向更鲁棒、自适应和可扩展的系统。其意义在于：

弥合差距：提供了 E2E 多说话人 ASR 的首份全面综述，填补了文献空白。
突出趋势：指出了向基础模型适配和多模态集成转变是未来进步的关键驱动力。
行动呼吁：强调需要标准化的开源基准套件和可复现的模型，以加速社区进步，因为当前的比较受到设置不一致和代码可用性有限的阻碍。

作者确定的未来方向包括：

混合架构：结合 SIMO 的分离精度与 SISO 的全面建模能力。
基础模型增强：研究基础适配模型如何更好地利用跨说话人上下文和多任务学习。
统一框架：将多说话人 ASR 集成到多模态大型语言模型（LLM）框架中，以实现更实用的基于指令的应用。
鲁棒性：开发能够处理重叠语音和可变说话人数量而不降低性能的系统，可能通过可选的说话人注册来实现。