A Knowledge-Driven Approach to Music Segmentation, Music Source Separation and Cinematic Audio Source Separation

1. 研究背景与问题 (Problem)

• 核心挑战：传统的音频分割和源分离（Source Separation）通常依赖于大量带有精确边界标注（Ground Truth）的有监督数据。然而，在现实场景中，获取这种逐帧或逐段标注的数据成本极高，且往往不可用。
• 现有局限：
  • 音乐分割：传统方法多基于信号处理（如能量滤波、自相似矩阵）或纯数据驱动的深度学习，缺乏对音乐结构（如乐谱）的利用。
  • 源分离：现有的分离模型（如 Demucs, BSRNN）通常依赖大规模混合数据集进行训练，缺乏利用先验知识（如乐器类型、乐谱信息）来指导模型学习的能力。
  • 电影音频分离 (CASS)：电影音频包含语音、音乐和音效，结构复杂且缺乏像乐谱那样结构化的“知识”源，导致分离难度大。
• 研究目标：提出一种**知识驱动（Knowledge-Driven）**的框架，利用与数据相关的先验知识（如音乐乐谱、声源活动标签），在不依赖预分割训练数据的情况下，自主构建模型并实现高质量的音频分割与分离。

2. 方法论 (Methodology)

论文提出了一套基于隐马尔可夫模型（HMM）和知识投影的端到端框架，主要包含以下三个核心模块：

A. 基于知识的音乐分割与对齐 (Knowledge-Driven Segmentation & Alignment)

• 知识源：利用音乐乐谱（MIDI 文件）作为“知识”，替代人工标注的边界。
• HMM 强制对齐 (Forced Alignment)：
  • 构建针对特定乐器（如钢琴、贝斯）的 HMM 模型。
  • 利用乐谱信息对连续音频进行强制对齐，识别出单乐器片段（Single-instrument segments）及其时间边界。
  • 即使没有乐谱，也可利用训练好的 HMM 进行无监督识别，但精度略低。
• 优势：无需人工标注的分割边界，直接从原始音频和乐谱中自主提取训练数据。

B. 基于分割数据的音乐源分离 (MSS with Segmented Data)

• 伪混合数据构建 (Pseudo-mixtures)：
  • 利用上述 HMM 分割出的单乐器片段（如纯钢琴、纯贝斯）。
  • 将这些片段进行随机缩放、裁剪和混合，人工构建“伪混合”训练数据。
• 训练策略：
  • 从零训练 (From-scratch)：仅使用构建的伪混合数据训练分离模型。
  • 微调 (Fine-tuning)：在预训练模型基础上，利用知识驱动筛选出的高质量数据进行微调。
• 核心逻辑：通过知识指导的数据选择，用较少但更纯净的数据提升模型性能，减少对大规模标注数据的依赖。

C. 知识感知的电影音频源分离 (Segment-informed CASS)

• 输入增强：将分割信息（声源活动状态，Voice Activity）作为辅助输入嵌入分离模型。
• 架构设计 (如图 1 所示)：
  • 输入：帧级混合特征（如 T-F 频谱图） + 帧级声源活动指示器（One-hot 向量，表示当前帧哪些声源活跃）。
  • 知识投影：将高维的声源活动指示器投影到低维嵌入（Embedding），与频谱特征拼接。
  • 分离器：使用 RNN 或 Transformer（如 SepReformer）处理拼接后的向量，输出分离后的频谱图。
• 作用：让模型在每一帧都能明确知道“当前有哪些声音存在”，从而更准确地分配能量。

3. 关键贡献 (Key Contributions)

1. 提出知识驱动框架：首次将乐谱（Score）和声源活动标签作为“知识”引入，实现了无需预分割标注数据的自主模型构建。
2. HMM 强制对齐在音乐中的应用：证明了利用乐谱进行 HMM 强制对齐可以有效提取单乐器片段，平均边界误差（MAE）仅为 9.03 帧（10ms/帧），为后续分离提供了高质量数据。
3. 数据选择策略：验证了基于知识筛选出的“伪混合”数据在训练分离模型时，比传统大规模无标签数据更有效（在数据量更少的情况下性能更优）。
4. CASS 性能提升：在电影音频分离任务中，通过引入声源活动投影，显著提升了分离效果，特别是在非语言声音（Nonverbal）复杂的场景下。

4. 实验结果 (Results)

A. 音乐分割 (Music Segmentation)

• 精度：在 Slakh2100 数据集上，基于乐谱的 HMM 强制对齐平均绝对误差（MAE）为 9.03 帧。
• 难点：混合片段（Mixture）与单乐器片段之间的边界检测较难（MAE 较高），但静音与乐器间的边界检测非常准确。
• 无乐谱情况：即使没有乐谱，HMM 识别准确率仍可达 94.0%，但容易混淆钢琴和混合片段。

B. 音乐源分离 (Music Source Separation, MSS)

• 基准对比：使用 BSRNN 和 HTDemucs 作为基准模型。
• 性能提升：
  • 从零训练：知识驱动从零训练（KD-FS）的 SDR 达到 17.89 dB (BSRNN)，显著优于仅用预训练数据（Pre-train, 15.06 dB）。
  • 微调：知识驱动微调（KD-FT）进一步提升至 18.52 dB。
  • 上限：如果使用完美的参考边界（Reference Alignments），SDR 可达 22.30 dB，表明分割质量仍有提升空间。
• 结论：精心挑选的“知识驱动”数据比单纯的大数据量更有效。

C. 电影音频源分离 (Cinematic Audio Source Separation, CASS)

• 数据集：DNR-nonverbal（包含非语言声音的扩展数据集）。
• 模型：SepReformer。
• 结果：
  • 引入声源活动信息（Voice Activity）后，SDR 全面提升。
  • 语音 (Speech)：从 7.68 dB 提升至 11.03 dB (+3.35 dB)。
  • 音效 (SFX)：从 2.41 dB 提升至 6.67 dB (+4.26 dB)。
  • 音乐 (Music)：从 2.94 dB 提升至 5.12 dB。
• SOTA 表现：该方法在 DNR-nonverbal 数据集上超越了当前的最先进（SOTA）模型（如 BSRNN 在 DNR-nonverbal 上的 9.30 dB 语音 SDR）。
• 可视化：知识投影（Knowledge Projection）成功将语音、音乐和音效在特征空间中聚类，证明了模型能有效利用高层语义信息。

5. 意义与未来展望 (Significance & Future Work)

• 学术意义：
  • 打破了源分离对大规模标注数据的依赖，证明了“知识”（乐谱、标签）可以替代“标注”来指导模型训练。
  • 为电影音频处理提供了一种新的范式，即利用高层语义信息（声源活动）辅助底层信号分离。
• 应用价值：
  • 适用于版权受限、缺乏分轨数据的真实音乐场景。
  • 显著提升电影后期制作中声音分离（如人声提取、背景音乐提取）的自动化水平。
• 未来工作：
  • 将方法扩展到真实的连续录音（Real-world continuous audio）。
  • 利用 DNN-HMM 改进单乐器片段检测。
  • 研究在音频时长极短（如<5 分钟）情况下的预训练模型迁移与适应技术。

总结：该论文通过巧妙结合传统统计模型（HMM）与现代深度学习架构，利用乐谱和声源标签等先验知识，成功解决了一个数据标注稀缺的难题，并在音乐和电影音频分离任务中取得了超越纯数据驱动方法的优异性能。