TCG CREST System Description for the DISPLACE-M Challenge

本文介绍了 TCG CREST 团队在 DISPLACE-M 挑战赛（Track 1）中针对嘈杂乡村医疗场景提出的说话人日记系统，该系统通过对比模块化 SpeechBrain 框架与基于 WavLM 的 Diarizen 端到端框架，并结合多种聚类算法，最终在评估集上取得了 9.21% 的说话人日记错误率（DER），在 11 支参赛队伍中排名第六。

要点

这篇论文讲述了一个名为 TCG CREST 的研究团队，参加了一场名为 DISPLACE-M 的“听音辨人”挑战赛的故事。

想象一下，你走进一个嘈杂的乡村诊所，里面有一位社区健康工作者正在和一位当地居民聊天。背景里有鸡叫、风声，两人说话时偶尔还会重叠（抢话），甚至带着浓重的方言口音。

这场挑战的任务就是： 给这段录音做“分轨”，就像把混在一起的交响乐分离成独奏一样，自动把“谁在什么时候说了话”给标出来。

以下是用大白话和生动的比喻对这篇论文的解读：

1. 核心难题：在噪音中“听清”谁在说话

在这个乡村诊所的录音里，声音环境非常复杂：

• 重叠说话： 两个人经常同时开口，就像两个人同时在你耳边说话。
• 背景噪音： 有环境杂音，就像在菜市场里聊天。
• 方言差异： 每个人说话的口音和语调都不一样。

团队的目标是降低错误率（DER），也就是把“认错人”或“标错时间”的次数降到最低。

2. 两大“侦探”系统：老派专家 vs. 全能 AI

为了完成任务，团队派出了两员大将（两种系统）进行比拼：

• 选手 A：SpeechBrain（模块化流水线）

  • 比喻： 这像是一个分工明确的流水线工厂。
  • 工作原理： 它先派一个“门卫”（语音活动检测 VAD）把噪音挡在外面，只让说话的声音进来；然后派一个“翻译官”（ECAPA-TDNN）把声音转化成数字指纹；最后派一个“分类员”（聚类算法）把这些指纹按主人归类。
  • 特点： 步骤清晰，但如果“门卫”没把噪音挡干净，后面的分类就会乱套。

• 选手 B：Diarizen（全能特种兵）

  • 比喻： 这像是一个身怀绝技的超级特工。
  • 工作原理： 它不需要分步骤，而是直接“吞下”整段录音。它利用强大的预训练大脑（WavLM），能瞬间在嘈杂中识别出谁在说话，甚至能处理两个人同时说话的情况。它内部有一个“微操”模块处理细节，再交给一个“宏观”模块做最终的大局分类。
  • 特点： 反应快，抗干扰能力强，是目前的“业界顶尖”（SOTA）水平。

3. 关键实验：给“分类员”换脑子

团队发现，光有强大的“特工”（Diarizen）还不够，最后把声音归类的那一步（聚类算法）也很关键。他们尝试了给这个“分类员”换了好几种不同的“大脑”：

• 传统方法（AHC）： 像按部就班的老师，把相似的声音聚在一起。
• 新方法（光谱聚类 SC）： 像更聪明的数学模型，试图在复杂的声纹网络中找到更优的分组方式。
  • 他们尝试了固定邻居数、自适应邻居数等多种变体（SC-adapt, SC-pNA, SC-MK）。
  • 结果： surprisingly（令人惊讶的是），在这个特定的乡村诊所场景下，那些花哨的新算法并没有比传统的“按部就班”方法（AHC）强多少，甚至有时候还更差。

4. 绝杀技：给时间轴加个“平滑器”

既然换“大脑”效果不明显，团队发现了一个简单的技巧：调整“平滑窗口”的大小。

• 比喻： 想象你在看一段抖动的视频，画面里的人脸在左右晃动。如果你把画面稍微“模糊”一下（加个滤镜），或者把连续几帧的画面平均一下，人看起来就稳了。
• 操作： 他们把原本用来平滑声音边界的“时间窗口”从 11 帧扩大到了 29 帧。
• 效果： 这就像给系统加了一个“稳压器”，过滤掉了那些因为瞬间噪音导致的误判（比如把一句话中间的停顿误认为是换人了）。
• 最终成绩： 这个简单的调整让他们的系统表现突飞猛进，最终在 11 支参赛队伍中拿到了第五名，错误率降到了 9.21%。

5. 总结与启示

• 谁赢了？ 那个“全能特工”（Diarizen）系统完胜“流水线工厂”（SpeechBrain），错误率降低了约 39%。这说明在复杂的真实场景中，端到端的深度学习模型更有优势。
• 最大的教训：
  1. 门卫很重要： 如果第一步把噪音和说话声分不清楚（VAD 不准），后面再厉害也没用。
  2. 简单往往有效： 有时候，把复杂的算法换成简单的“平滑处理”（扩大时间窗口），效果反而更好。
  3. 没有万能药： 虽然“特工”很强，但在某些极端情况下（比如录音特别差或标注有问题），“流水线”反而表现更好。未来可能需要把两者的优点结合起来（融合策略）。

一句话总结：
TCG CREST 团队通过引入强大的 AI 模型（Diarizen），并巧妙地利用“时间平滑”技术，成功地在嘈杂的乡村诊所录音中，把谁在说话这件事分得清清楚楚，最终在激烈的比赛中脱颖而出。他们证明了，在解决复杂的声音问题时，既需要强大的大脑，也需要一点“稳如泰山”的耐心。

技术摘要

TCG CREST 系统 DISPLACE-M 挑战赛技术总结报告

1. 问题背景 (Problem)

本文介绍了 TCG CREST 团队在 DISPLACE-M 挑战赛（Track 1：说话人日志/说话人分离）中的系统方案。该挑战赛聚焦于自然主义医疗对话，特别是农村医疗场景下社区健康工作者与当地居民之间的交流。

该数据集面临以下独特挑战：

• 环境噪声：农村医疗环境中的背景噪音。
• 语音重叠：前景语音重叠（Overlap）和背景语音干扰。
• 方言与自发性：存在方言差异和自发性对话特征。
• 评估指标：主要使用说话人日志错误率 (DER, Diarization Error Rate) 作为性能评估标准。

挑战分为四个赛道，本文专注于Track 1（说话人日志）。第一阶段（Phase I）评估包含 78 条开发集（Dev）录音和 71 条评估集（Eval）录音，均为双人对话。

2. 方法论与实验设置 (Methodology)

团队对比并分析了两种主要的说话人日志框架，重点研究了语音活动检测 (VAD) 方法和聚类算法对整体性能的影响。

2.1 模块化流水线系统 (SpeechBrain)

• 架构：基于 SpeechBrain 框架的模块化流水线，包含独立的 VAD、分割和聚类组件。
• VAD 方法：测试了 Silero 和 Pyannote 两种 VAD 模型。
• 特征提取：使用在 VoxCeleb2 数据集上训练的 ECAPA-TDNN 提取说话人嵌入（Embeddings）。
• 聚类：基于余弦相似度计算亲和矩阵，应用多种谱聚类（Spectral Clustering）变体。
• 参数量：ECAPA 模型约 2076 万参数，Silero VAD 约 46.2 万参数。

2.2 端到端混合系统 (Diarizen)

• 架构：基于预训练 WavLM 的混合端到端神经日志系统（EEND-VC）。
  • 微观层面：利用预训练的 WavLM 特征提取器、Conformer 块和线性分类器处理 80-160 秒的短重叠音频块，生成帧级语音概率和具有高度判别力的说话人嵌入，并处理重叠语音。
  • 宏观层面：将局部嵌入传递给基于 Pyannote 的后端进行全局聚类。
• 聚类策略：
  • 默认使用凝聚层次聚类 (AHC)。
  • 测试了 VBx (基于贝叶斯 HMM 的 x-vector 聚类)。
  • 测试了多种谱聚类 (Spectral Clustering, SC) 变体：
    • SC-fixed: 固定 k-NN 图。
    • SC-adapt: 自适应邻域大小（基于开发集调优，保留前 1% 最近邻）。
    • SC-pNA: 无需开发集的自适应邻域选择（基于节点特定阈值保留前 20% 连接）。
    • SC-MK: 多核引导的稀疏图构建（结合 4 种多项式核和反余弦核）。
  • 测试了 K-means 聚类。
• 后处理：应用中值滤波 (Median Filtering) 平滑时间边界。默认窗口为 11 帧，实验中将窗口扩大至 29 帧以增强时间一致性并减少碎片化。
• 参数量：总参数量约 3177 万（WavLM-Base 剪枝后 2517 万 + ResNet-34 嵌入提取器 660 万）。

2.3 硬件环境

实验在配备双 Intel Xeon Silver 4416+ 处理器（40 核 80 线程）、251GB RAM 及 4 张 NVIDIA L4 GPU (24GB 显存) 的 Ubuntu 24.04.3 LTS 系统上进行。

3. 关键贡献 (Key Contributions)

1. VAD 影响评估：深入评估了不同 VAD 方法（Silero, Pyannote, Oracle, Diarizen 输出）对模块化系统性能的决定性影响。
2. 聚类算法对比：系统性地比较了传统 AHC、VBx、K-means 以及多种先进的谱聚类变体（SC-adapt, SC-pNA, SC-MK）在 Diarizen 框架下的表现。
3. 后处理优化：发现并验证了增大中值滤波窗口（从 11 帧增至 29 帧）能显著提升系统性能。
4. 系统性能分析：通过文件级 DER 分析，揭示了 Diarizen 系统相对于 SpeechBrain 基线的优势及特定场景下的局限性。

4. 实验结果 (Results)

4.1 开发集与评估集表现

系统配置	聚类方法	Dev1 DER (%)	Eval1 DER (%)	备注
SpeechBrain	Oracle VAD + SC	8.99	-	理论下限
SpeechBrain	Silero VAD + SC	17.37	-	VAD 误差导致性能大幅下降
SpeechBrain	Pyannote VAD + SC	17.96	-
Diarizen	Baseline (AHC)	10.54	9.44	默认配置
Diarizen	VBx	11.15	-
Diarizen	K-means	10.47	9.44	略优于 AHC
Diarizen	SC-adapt	10.48	9.41
Diarizen	SC-MK	10.51	9.41
Diarizen (Best)	AHC + 中值滤波 (29)	10.37	9.21	最终提交系统

4.2 核心发现

• VAD 的关键作用：在 SpeechBrain 系统中，使用 Oracle VAD 可达 8.99% DER，但使用 Silero 或 Pyannote 估计的 VAD 标签时，DER 激增至 17% 以上。这表明 VAD 的准确性是模块化流水线的瓶颈。
• Diarizen 的优越性：Diarizen 系统（即使使用默认 AHC）在开发集上达到 10.54% DER，显著优于使用 Silero VAD 的 SpeechBrain (17.37%)。在 Phase I 后评估分析中，Diarizen 相比 SpeechBrain 基线实现了约 39% 的相对 DER 降低。
• 聚类算法表现：在 Diarizen 框架下，复杂的谱聚类变体（SC-adapt, SC-MK 等）并未显著优于默认的 AHC 或 K-means。
• 中值滤波优化：将中值滤波窗口从 11 帧增加到 29 帧，使 Dev 集 DER 从 10.54% 降至 10.37%，Eval 集从 9.44% 降至 9.21%。这是最终提交系统的核心优化点。
• 排名：团队在 11 支参赛队伍中排名第五。

4.3 异常分析

分析发现文件 3836246.wav 在两个系统中 DER 均接近 50%，可能暗示标注不一致或录音条件极端恶劣。此外，虽然 Diarizen 在大多数文件中表现更好，但在少数文件（如 2408885, 2712340）中 SpeechBrain 表现更优，表明两者具有互补性。

5. 意义与未来方向 (Significance & Future Work)

• 实际意义：证明了在嘈杂的农村医疗对话场景中，基于 WavLM 的端到端混合系统（Diarizen）结合适当的后处理（大窗口中值滤波），能有效处理重叠语音和噪声，优于传统的模块化流水线。
• 局限性：
  • 研究主要受限于无监督设置（未对开发集进行微调）。
  • 复杂的聚类变体在 Diarizen 中未带来显著提升。
  • 对特定声学条件或说话人组合，Diarizen 仍存在弱点。
• 未来方向：
  • 探索更鲁棒的 VAD 方法以优化模块化系统。
  • 研究将聚类策略和中值滤波集成到训练过程中，而非仅在推理阶段应用。
  • 探索融合策略（Score-level 或 Decision-level fusion），结合 SpeechBrain 和 Diarizen 的互补优势。
  • 建立结构化统计建模框架，分析录音属性（如重叠率、信噪比、转话率）与性能变异之间的关系。
  • 尝试在开发集上进行有监督微调（Fine-tuning）以进一步提升性能。

总结：TCG CREST 团队通过深入分析 VAD 和聚类算法，利用 Diarizen 系统配合优化的中值滤波策略，在 DISPLACE-M 挑战赛中取得了优异成绩，为农村医疗场景下的说话人日志任务提供了有效的技术解决方案。