💻 computer science

PS4: Proxy-Supervised Joint Training for Real Target Speaker Extraction

本文介绍了 PS4，这是一个代理监督联合训练框架，它利用大规模双语语料库和多目标微调策略，在不需要干净目标语音监督的情况下，实现了真实目标说话人提取领域的先进性能。

原作者： Wanyi Ning, Wei Zhou, Yingpeng Li, Yinshang Guo, Haitao Qian, Yiming Cheng

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Wanyi Ning, Wei Zhou, Yingpeng Li, Yinshang Guo, Haitao Qian, Yiming Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正身处一场混乱的晚宴，每个人都在大声说话，互相盖过对方的声音。你想听清一位特定朋友的故事，但你使用的录音设备只捕捉到了整个房间嘈杂、重叠的噪音。通常情况下，要教会计算机识别出那一个人的声音，你需要一段该朋友单独说话的“干净”录音来作为老师。但在现实生活中，你很难拥有那段干净的录音，你手里只有这一团乱麻。

这正是这篇论文的作者们所解决的问题。他们问道：在没有干净版本作为目标说话人声音参考的情况下，我们如何训练计算机从一段真实的、混乱的对话中分离出单个说话者？

“虚假”练习的问题

大多数执行这项任务的计算机程序都是在实验室里训练的。研究人员将人们单独说话的干净录音进行人工混合，从而制造出“虚假”的噪声。这就像是通过在一个空旷、完美的球场上踢球来练习足球比赛。论文指出，这种方法在当你踏入真正的赛场时会失效，因为那里充满了风、不平整的草坪和难以预测的球员。真实的对话包含背景噪音、回声以及人们在奇怪的时间点说话，这使得“虚假”的训练变得毫无用处。

PS4 的解决方案：从线索中学习

由来自亿嘉合人工智能（Yijiahe AI）及中国多所大学的研究人员领导的团队，构建了一个名为 PS4 的新系统。PS4 并不需要目标说话人的干净录音（因为他们并没有），而是教会计算机从混乱录音中隐藏的线索中学习。他们称之为“代理监督”（proxy supervision）。

想象一下，你要在一张模糊拥挤的照片中寻找一个特定的人，而你并没有一张清晰的照片。你看不清他们的脸，但你可以通过其他线索来判断：

他们说了什么： 你拥有他们话语的文本转录。
他们是谁： 你拥有他们在对话早期的一段简短、清晰的声音片段（即“注册/采集”音频）。
他们在何时说话： 你拥有关于谁在什么时候说话的大致图谱。
声音听起来如何： 你对音频质量应该达到什么样的水平有一个概念。

构建训练场

为了训练他们的系统，团队并没有靠直觉，而是建立了一个庞大的训练健身房——REAL-PS4。他们从四个不同的公开数据集中提取了 71,771 个真实的对话样本（涵盖了中文和英文的会议及晚宴场景）。

他们并没有直接将这些数据丢进搅拌机，而是进行了精细的处理：

他们找到了单人说话的短促、清晰的片段，用作“注册”参考。
他们找到了两人或多人同时说话的嘈杂部分，用作需要解决的“混合”部分。
他们过滤掉了糟糕的样本，仅保留那些目标说话人说话时间超过 20% 且转录文本中至少包含 2 个有效字符的样本。
他们确保嘈杂片段不会过长（上限为 30 秒），以便计算机能够处理。

四部分训练策略

他们方法的核心是一种“联合训练”策略。他们不仅仅是告诉计算机“提取这个声音”，而是给了它四个同时达成的目标，就像四位不同的教练：

语言教练 (ASR)： 计算机必须确保提取出的声音与书面转录内容相匹配。他们使用了一个强大的语言模型（Whisper）来检查单词是否合理。
身份教练 (Speaker Similarity)： 计算机必须确保提取出的声音听起来像是在“注册”片段中的特定人物，而不是房间里的其他人。他们使用了一种“排序”规则：提取出的声音必须比原始的嘈杂混合音更像目标人物。
时序教练 (VAD)： 计算机必须掌握准确的时机。如果目标说话人处于沉默状态，计算机就不应该输出噪音。他们使用帧级标签来检查这一点。
质量教练 (Perceptual)： 计算机必须确保结果听起来自然且清晰，而不是机械或失真的。他们使用了一个名为 DNSMOS 的指标来评判“感知质量”。

结果：它奏效了吗？

团队在 REAL-T 挑战赛上测试了他们的系统，这是测试真实对话数据的金标准。

在开发集（Development Set）上： 他们在来自五个不同数据集（AISHELL-4, AliMeeting, AMI, CHiME-6, 和 DipCo）的 1,991 个样本上进行了测试。
- 他们的系统在每一个指标上都击败了之前的最佳“官方”基准模型（那些基于虚假数据训练的模型）。
- 例如，在 AMI 数据集上，他们实现了 0.388 的词错误率（TER）和 0.714 的说话人相似度（SIM）。
- 在最难的 AISHELL-4 数据集上，他们的 SIM 仍达到了 0.575，而旧的基准模型得分却在 0.45 以下挣扎。
- 最令人印象深刻的是，他们的音频质量（DNSMOS OVRL）始终保持在 3.1 以上，而旧系统得分通常低于 2.0。
在官方排行榜上： 当他们参加最终竞赛时，PS4 排名总分第二。
- 它取得了所有提交系统中最高的说话人相似度（Speaker Similarity）得分（0.565）。
- 它取得了所有提交系统中最高的时序 F1 分数（0.871）。
- 虽然在音频质量（DNSMOS-P808）或最低错误率（TER）方面没有拿到绝对的第一（被 MERL 的系统超越），但它在保持说话人身份和把握时序方面，明显优于其他所有人。

核心结论

论文得出结论：训练用于现实生活的说话人提取系统，并不一定需要干净、隔离的录音。通过使用“代理”线索——如转录文本、声音身份、时序和质量评分——你可以直接在混乱的真实数据上训练系统。作者提出，这种方法是传统做法的一种实用且有效的替代方案，证明了即使你手头只有人群的嘈杂声，也能教会计算机从人群中分辨出一个人的声音。

技术摘要：PS4 —— 用于真实目标说话人提取的代理监督联合训练

问题陈述

目标说话人提取（Target Speaker Extraction, TSE）旨在利用一段短的注册语音作为参考，从多说话人混合音频中分离出特定说话人的声音。虽然最先进的模型在标准基准测试（如 VoxCeleb、WSJ0-2mix）上取得了强劲的表现，但这些数据集依赖于人工合成的洁净录音。相比之下，真实的对话数据表现出复杂的特征，例如混响、背景噪声、设备失真以及不规则的重叠模式。

将 TSE 部署到实际场景中存在一个关键瓶颈：真实的对话录音缺乏单个说话人的洁净参考信号。因此，传统的信号级监督方法（如 SI-SNR 损失）无法直接应用。现有的系统（包括官方的 REAL-T 基线模型）是在模拟混合音频上进行训练的，在部署到真实环境时性能往往会下降。挑战在于如何有效地利用大规模真实对话录音进行 TSE 训练，而无需获取洁净的目标语音。

方法论：PS4 框架

作者提出了 PS4，这是一个代理监督训练框架，旨在直接在真实对话混合音频上训练 TSE 模型。PS4 并不需要洁净的目标语音，而是利用直接从原始数据中提取的多个“代理”监督信号。

1. 语料库构建 (REAL-PS4)

作者构建了 REAL-PS4，这是一个包含 71,771 个样本的大规模训练语料库，源自四个公开数据集：AISHELL-4、AliMeeting、AMI 和 CHiME-6。构建流程包括：

注册提取： 从로 diarization（说话人日志）标注中识别单说话人区域（>5秒），以创建注册语音。
混合生成： 从原始录音中提取重叠语音区域（≥2 个说话人）。如果间隙小于 0.5 秒，则合并相邻的重叠部分。
质量过滤： 保留目标说话人时长占比 >20% 且转录文本包含 ≥2 个有效字符的样本。为了管理计算约束，混合音频被截断为 30 秒，注册音频截断为 10 秒。
标注： 每个样本都包含混合音频、注册音频、地面真值（ground-truth）转录文本以及从 diarization 中获得的帧级语音活动检测（VAD）标签。

2. 模型架构与训练策略

该系统基于预训练的 BSRNN-ECAPA 模型（一个结合了 ECAPA-TDNN 说话人编码器的 BSRNN 分离器）。在微调期间，仅更新 BSRNN 分离器，而说话人编码器保持冻结。

其核心创新是使用四个互补的、可微的代理目标进行的联合优化策略：

语言监督 ( $L_{CE}$ )： 一个冻结的 Whisper large-v3 模型充当可微教师。模型最小化提取语音的预测 token 分布与地面真值转录文本之间的交叉熵。
说话人监督 ( $L_{SIM}$ )： 一种 Hinge 排序损失，确保提取语音与注册语音之间的相似度超过原始混合音频与注册语音之间的相似度，并保持预定义的边际（margin）。这利用了一个冻结的 ResNet34 说话人编码器。
时间监督 ( $L_{VAD}$ )： 二进制交叉熵损失，最小化提取语音的预测帧级能量与来自 diarization 的地面真值 VAD 标签之间的差异。
感知监督 ( $L_{DNSMOS}$ )： 使用可微实现的 DNSMOS，旨在最大化提取语音的整体感知质量得分，而无需洁净的参考信号。

总损失函数为加权和：
$L = \lambda_{ce}L_{CE} + \lambda_{sim}L_{SIM} + \lambda_{dns}L_{DNSMOS} + \lambda_{vad}L_{VAD}$

关键结果

作者在 REAL-T 基准测试上评估了 PS4，该基准由来自五个数据集（AISHELL-4、AliMeeting、AMI、CHiME-6、DipCo）的真实对话录音组成。

开发集表现： PS4 在所有五个子语料库和所有四个指标（Token Error Rate、Speaker Similarity、DNSMOS OVRL 和 Timing F1）上均一致优于官方的 BSRNN 基线模型（BSRNN-TFMAP 和 BSRNN-EMB）。
- 特别是，PS4 在感知质量（DNSMOS OVRL > 3.1 对比基线 < 2.0）和说话人相似度方面取得了显著提升。
- AMI 录音取得了最好的结果（TER: 0.388, SIM: 0.714），这归功于更洁净的领夹式麦克风通道。
排行榜表现： 在官方 REAL-T 挑战赛排行榜（验证集）上，PS4 以 3.25 的综合得分排名第二。
- 它在所有提交系统中实现了最佳的说话人相似度 (0.565) 和最佳的时间对齐 F1 (0.871)。
- 虽然其 DNSMOS-P808 得分 (3.128) 和 TER 略低于排名第一的系统 (MERL)，但它在身份保持和时间准确性方面明显超越了领先者。

意义与主张

论文声称 PS4 为直接在真实对话录音上训练 TSE 模型提供了一种有效且实用的解决方案，弥合了模拟基准测试与现实世界部署之间的差距。

监督方式的新颖性： 该工作证明了“代理监督”（利用原始数据中可获得的语言、说话人、时间及感知信号）可以有效地取代对洁净目标语音参考的需求。
可扩展性： 通过从公开数据集中构建 REAL-PS4 语料库，作者展示了无需手动标注洁净语音即可生成用于大规模真实世界 TSE 训练的数据。
性能： 结果验证了代理监督联合训练出的模型，在应对真实世界声学条件方面比仅在模拟混合音频上训练的模型更具鲁棒性，特别是在说话人身份保持和时间对齐方面。

作者得出结论，对于真实对话场景下的 TSE，代理监督是替代传统信号级训练的一种可行方案。