Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN

本文介绍了 CP-JKU 团队为 ICASSP 2025 音乐源恢复挑战赛提出的系统，该系统通过结合采用三阶段课程学习策略的 BandSplit-RoFormer 分离模型与从通用专家演化为八个乐器特定专家的 HiFi++ GAN 波形恢复器，实现了从混音母带中高质量恢复原始乐器分轨的目标。

要点

这篇论文介绍了一项名为“音乐源恢复”（Music Source Restoration, MSR）的技术，简单来说，就是如何把一首已经混音、母带处理过，甚至带有各种录音瑕疵的“成品歌曲”，重新拆解并修复成原本干净、独立的乐器分轨。

想象一下，你有一碗已经煮好、加满了各种调料、甚至有点煮糊了的“大杂烩”汤（成品歌曲），而这项技术的目标，就是要把汤里的牛肉、胡萝卜、土豆和粉丝，不仅完美地挑出来，还要把它们洗得干干净净，恢复成刚切好、还没下锅时的新鲜状态。

以下是这项技术的核心玩法，用大白话和比喻来解释：

1. 核心难题：为什么这很难？

通常的“分轨”技术（Source Separation）假设声音是简单的混合，就像把红墨水和蓝墨水倒在一起。但现实中的音乐制作要复杂得多：

• 成品歌曲经过了大量的“后期加工”：加混响（让声音听起来像在音乐厅）、压缩动态（让声音更响亮）、加失真（让吉他更炸）、甚至录音时还有底噪。
• 比喻：这不仅仅是把红蓝墨水混在一起，而是把红蓝墨水倒进了一杯加了糖浆、咖啡渣，并且被搅拌得晕头转向的饮料里。直接分离很难，因为声音已经“变形”了。

2. 他们的解决方案：两步走战略

CP-JKU 团队（来自奥地利林茨）设计了一个**“先分离，后修复”的两步走流程，就像是一个“分拣员”加上一群“精修工匠”**。

第一步：超级分拣员（BandSplit-RoFormer 分离器）

• 任务：把混在一起的 8 种乐器（人声、吉他、键盘、合成器、贝斯、鼓、打击乐、管弦乐）和一个“其他杂音”通道，从大杂烩汤里初步挑出来。
• 怎么练成的？（三阶段课程法）：
  1. 热身阶段：先让模型在干净的 4 种乐器（人声、鼓、贝斯、其他）上练习，就像让实习生先学切简单的蔬菜。
  2. 进阶阶段：给模型看经过“烹饪”（加效果、混音）的 4 种乐器，让它学会在复杂的汤里找食材。
  3. 毕业阶段：把模型升级，从只能挑 4 种变成能挑 8 种。这时候，它之前学的“切菜”技巧（底层网络）保留，只训练新的“挑菜头”（新增加的头部），就像给老员工发新任务，只教他新菜名，不用重头学起。
• 技术亮点：使用了 LoRA（一种高效微调技术），就像给模型戴了一副“智能眼镜”，让它能快速适应新任务，而不需要把整个大脑重装一遍。

第二步：精修工匠（HiFi++ GAN 修复专家）

• 任务：第一步挑出来的乐器声音，虽然分开了，但可能还带着“汤味”（残留的混响、底噪、失真）。这一步要把它们彻底“清洗”干净。
• 怎么练成的？（通才转专才）：
  1. 通才训练：先训练一个“万能修复工”，什么脏东西都能修。
  2. 专才特训：然后把这个万能工拆分成 8 个专家，每个专家只负责一种乐器。
     • 人声专家：专门修人声的杂音。
     • 鼓组专家：专门修鼓的余音。
  • 关键技巧：这些专家是在“模拟真实错误”的环境下训练的。也就是说，训练时，他们面对的不是完美的干声，而是第一步那个“分拣员”挑出来的、带有瑕疵的声音。这样，当真正面对比赛题目时，他们就不会因为“没见过世面”而手忙脚乱。

3. 成果与局限

• 成绩：在 2025 年的 MSR 挑战赛中，这套系统表现非常出色，能把混音歌曲还原出很高的清晰度（MMSNR 分数很高），听起来也很自然。
• 局限性（哪里还不够完美？）：
  • 怕“太脏”的汤：如果原始录音太吵（比如现场演出录音或老唱片），第一步的“分拣员”可能根本挑不出干净的食材，后面的“工匠”也就无从下手了。
  • 数据偏差：如果训练用的数据和实际比赛的数据风格不一样（比如训练数据里的吉他太“干”，而比赛里的吉他自带混响），修复出来的声音可能会不自然。
  • 模糊的目标：有时候很难定义什么是“完美干净”的声音。比如，原曲里可能本身就加了混响，模型是该把它去掉（变干），还是保留（变湿）？这就像问厨师：“这道菜是应该咸一点还是淡一点？”如果参考标准不明确，模型就会犹豫。

总结

这项研究就像是一个智能的“音乐时光机”。它先通过一个聪明的分拣系统把混在一起的乐器分开，再通过一群专业的修复工匠把每个乐器上的岁月痕迹（噪音、失真）擦掉，最终让我们听到仿佛刚刚录制的、原汁原味的音乐。

虽然它还不能完美处理所有极端情况（比如极度嘈杂的现场），但它通过分阶段训练和针对性专家修复的策略，为未来恢复那些珍贵的、受损的历史录音提供了非常有力的工具。

技术摘要

基于 BandSplit-RoFormer 分离与 HiFi++ GAN 的多阶段音乐源恢复技术总结

本文介绍了奥地利林茨约翰内斯·开普勒大学（Johannes Kepler University Linz, CP-JKU）团队为 ICASSP 2025 音乐源恢复（MSR）挑战赛 所提出的系统。该系统旨在从经过混音、母带处理且包含各种制作效应和分布伪影的混合音频中，恢复出原始的、未处理的乐器分轨（Stems）。

以下是该论文的详细技术总结：

1. 问题定义 (Problem)

传统的音乐源分离（MSS）方法通常基于线性混合假设，即认为混合音频是原始干声源的简单叠加。然而，专业音乐制作流程（如均衡、动态压缩、混响、饱和失真、立体声扩展、限制器以及编解码伪影等）严重破坏了这一假设。

• 核心挑战：目标声源不仅被混合，还经过了系统性的变换和降解。直接应用基于“干净分轨”假设的分离方法效果不佳。
• 任务目标：从包含 8 类乐器（人声、吉他、键盘、合成器、贝斯、鼓、打击乐、管弦乐）的复杂混合音频中，恢复出原始的、未处理的乐器分轨。

2. 方法论 (Methodology)

CP-JKU 团队提出了一种模块化、两阶段的学习策略，将“去混（De-mixing）”问题与“去母带/去伪影（De-mustering/De-artifacting）”问题显式分离。

第一阶段：源分离 (Source Separation)

• 模型架构：采用 BandSplit-RoFormer (BS-RoFormer) 作为分离器。该模型利用 BandSplit 前端分别处理不同频带，并使用 RoFormer 块建模时间跨度和跨频带依赖关系，以估计掩码。
• 输出：单个模型预测 8 个目标分轨加上 1 个辅助的“其他（Other）”分轨，共 9 个掩码头。
• 三阶段课程学习训练策略：
  1. 阶段 1（4 分轨，干净混合）：基于公开的 4 分轨 BS-RoFormer 检查点，使用 LoRA（低秩适应）微调，在干净混合数据上分离人声、鼓、贝斯和其他。
  2. 阶段 2（4 分轨，母带处理混合）：继续微调，数据经过在线分轨降解流程及混音/母带处理。目标为降解后的分轨。
  3. 阶段 3（8 分轨扩展）：将模型扩展至 8 分轨。共享层和原始 4 个头从阶段 2 初始化，新头随机初始化。仅训练新的掩码头，骨干网络保持冻结。
• 训练数据：结合了 MUSDB18-HQ, DSD100, MoisesDB, Slakh2100, MedleyDB v2, RawStems 等数据集，并应用在线增强和降解策略。

第二阶段：波形恢复 (Waveform Restoration)

• 模型架构：采用 HiFi++ GAN 束（Bundle），包含 SpectralUNet 前端、上采样阶段、WaveUNet 细化网络以及用于残差频谱校正的 SpectralMaskNet。
• 训练策略：
  1. 通用专家训练：首先训练一个通用的恢复模型（Generalist），随后引入 GAN 训练（特征匹配）和音乐感知指标。
  2. 噪声抑制：增加黑胶唱片噪声等数据增强，专注于抑制噪声伪影。
  3. 乐器特定专家微调：训练 8 个针对特定乐器的专家模型。
• 关键创新点（训练 - 测试对齐）：为了消除训练与测试之间的分布差异，恢复模型的输入并非来自干净数据，而是由训练好的分离器在合成训练混合音上生成的预测分轨。这使得恢复器能够学习并修正分离器产生的真实误差。

3. 主要贡献 (Key Contributions)

1. 参数高效的课程学习适应：提出了一种从 4 分轨扩展到 8 分轨的 BS-RoFormer 适应方案，利用 LoRA 进行微调并结合头扩展（Head Expansion），有效解决了多分轨分离的冷启动和扩展问题。
2. 基于分离器输出的专家系统：构建了“混合专家（Mixture-of-Experts）”系统，其中每个乐器专家均使用分离器生成的预测数据作为输入进行微调。这种策略显著提高了训练数据与测试时误差分布的一致性（Train-Test Alignment）。
3. 模块化两阶段架构：明确分离了分离与恢复任务，允许在大规模增强数据上训练分离器，同时在真实误差分布下训练恢复器，以逆转化制作效应。

4. 实验结果 (Results)

在 MSR Challenge 2025 的官方测试集上，该系统取得了具有竞争力的性能：

• 客观指标：
  • 平均多分轨信噪比 (MMSNR): 0.8329
  • Zimtohrli (感知指标): 0.0189
  • 特征音频距离 (FAD): 0.6223 (注：摘要表格中平均值为 0.6223，正文提及系统级 FAD 为 0.3814，可能指不同评估设置或特定子集，表格数据为分轨平均)。
• 主观指标：系统级平均意见得分 (MOS) 达到 3.5510。
• 分轨表现：人声 (Vocals) 和鼓 (Drums) 的恢复效果相对较好，而合成器 (Synthesizers) 和管弦乐元素 (Orchestral Elements) 的 FAD 较高，表明这些类别的恢复仍具挑战性。

5. 局限性与未来工作 (Limitations & Future Work)

• 对噪声混合的敏感性：在包含大量噪声（如现场录音或历史录音）的混合音频中，分离器可能无法生成足够准确的估计，从而限制下游恢复效果。
• 数据偏差：大规模数据集（如 RawStems）中的不匹配和对齐问题可能导致恢复训练产生偏差，残留噪声伪影。
• 时变效应模糊性：训练目标中可能包含混响、合唱或延迟等时变效应，使得模型难以确定“干声”的确切定义（即是否应完全去除这些效果）。
• 未来计划：优先进行数据策展（Data Curation）、对齐验证以及开发能够感知特定制作效应的条件化模型。

6. 意义 (Significance)

该论文提出了一种针对非理想混合音频（Non-ideal Mixtures）的实用且高效的解决方案。通过课程学习和训练 - 测试分布对齐策略，成功解决了从复杂制作音频中恢复原始分轨的难题。其模块化设计为未来音乐源恢复系统的开发提供了新的范式，即不再试图用一个模型解决所有问题，而是通过分离与恢复的协同优化来应对生产级音频的复杂性。