The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
本文介绍了 The Spheres 数据集，这是一个包含 Colibrì 乐团超过一小时演出、由 23 支麦克风录制的多轨管弦乐录音的综合集合，旨在推动古典音乐领域内音乐源分离、定位和沉浸式渲染方面的机器学习研究。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你正身处一座宏伟的音乐厅。管弦乐队正在演奏，声音是小提琴、小号、鼓和长笛交织融合而成的美妙旋涡。现在，想象你想要从这段单一的混合录音中，神奇地只提取出仅小提琴，或仅小号的声音，仿佛它们是单独录制在各自音轨上一样。这就是音乐源分离所面临的挑战。
几十年来，研究人员一直在教导计算机完成这种“音乐魔法”，但他们主要是在流行音乐上练习（例如将歌手从鼓点中分离出来）。古典音乐要困难得多，因为同时演奏的乐器数量众多，而且它们听起来有些相似（例如小提琴和中提琴）。
本文介绍了一种名为The Spheres 数据集的新工具，旨在帮助研究人员解决这一问题。以下是他们所做工作及其重要性的简要说明：
1. “完美”的录音棚
通常，当管弦乐队录制一首乐曲时，所有人都在同一个房间里一起演奏。即使你将麦克风紧靠在小提琴旁，它仍然会听到小号和大鼓的声音。这被称为“串音”（bleeding）。这就像在嘈杂的派对上试图听清朋友说话；你能听到他们，但也能听到其他人的声音。
为了解决这个问题，研究人员前往了一个名为The Spheres的特殊录音棚。他们并没有一次性录制整个乐队，而是做了一件非常不寻常的事情：
- 他们让乐队一次只演奏一种乐器。
- 当只有小提琴在演奏时，小号、鼓和长笛则静静地坐在座位上。
- 他们使用23 个麦克风在房间各处（有些很远，有些就在乐器旁边）进行了录制。
- 然后，他们对长笛、鼓等乐器重复了同样的操作。
结果： 他们创造了一个“数字乐高套装”。因为他们单独录制了每种乐器，同时所有麦克风都在聆听，所以他们现在可以在数学上混合和匹配这些声音。他们既可以创造出听起来逼真的管弦乐队混音（包含所有自然的“串音”和房间混响），同时也拥有每种乐器的“干净”隔离音轨。
2. 盒子里有什么？
该数据集包含：
- 两部著名杰作： 柴可夫斯基的《罗密欧与朱丽叶》和莫扎特的《第 40 号交响曲》。
- 独奏练习： 每位音乐家还单独演奏了音阶（就像独自练习乐器一样），以便研究人员研究每种特定乐器的声音。
- 房间映射： 他们测量了声音在房间内的反射情况（称为房间脉冲响应）。这就像一张“声音地图”，告诉计算机房间如何改变声音，从而有助于让录音听起来更真实。
3. 测试魔法（实验）
研究人员不仅发布了数据，还进行了测试，以观察计算机分离这些声音的难度。他们进行了两项主要测试：
测试 A：按家族分类
他们要求计算机将管弦乐队分为四大类：弦乐、木管、铜管和打击乐。- 结果： 计算机在这方面的表现比以前有所提升，但仍显吃力。这就像要求一个孩子将一堆混合的乐高积木分到四个桶里。虽然勉强可行，但计算机有时会错误地将小号放入“木管”桶中。
测试 B：清理“串音”
他们要求计算机处理来自靠近小提琴的麦克风的录音（其中充满了小号噪音），去除小号噪音，只留下小提琴的声音。- 结果： 这要困难得多。计算机成功地显著清理了声音，但并未达到完美。这表明，虽然我们可以减少噪音，但在完整的管弦乐队中完全隔离一种乐器仍然是一个非常棘手的谜题。
4. 重要启示
论文中最重要的发现是关于从一个房间学习并迁移到另一个房间的能力。
- 研究人员使用在录音棚中录制的柴可夫斯基作品训练了他们的计算机模型。
- 当他们在同一录音棚中录制的莫扎特作品上进行测试时，效果相当不错。
- 然而，当他们尝试将同一个计算机模型用于不同录音棚（“贝多芬行动”数据集）的录音时，结果惨不忍睹。
结论： 如果新歌曲是在同一个房间里，教计算机识别它会更容易；但如果房间、麦克风或设置不同，教计算机识别歌曲则非常困难。论文建议，未来的数据集应侧重于在许多不同类型的房间中进行录制，而不仅仅是在一个完美的房间里长时间录制。
总结
The Spheres 数据集是一个庞大且高质量的古典音乐录音库，其中每种乐器都是单独录制的，但保留了所有自然的房间声音。它为研究人员提供了一个“真实值”（ground truth），用于测试其人工智能在分离乐器方面的表现。该论文表明，虽然人工智能在这方面正在进步，但“房间”和录音设置比我们想象的更为重要，在计算机能够像人类工程师那样完美地分离整个管弦乐队之前，我们还有很长的路要走。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。