A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

想象一下，你走进一个拥挤的房间，里面有十几种不同的乐器同时在演奏。对于人类的耳朵来说，结果是一堵纠缠在一起的声音墙。如果你用单个麦克风录制这段噪音，录音将包含每一个音符、每一种节奏和每一种乐器，它们全部混合成一股无法分辨的流。几十年来，科学家们一直致力于解决一个特定的挑战：如何从那段单一且混乱的录音中提取出独立的乐器，将小提琴从鼓声中分离出来，或者将钢琴从长笛中分离出来，而无需预先单独听过它们。这就是声源分离问题。虽然计算机在能够看到表演视频时已经在这方面做得相当出色，但大多数现有的方法依赖于复杂的、全能型的系统，难以适应新的或罕见的乐器。

伊朗亚兹德大学的一个研究小组提出了一种不同的方法，这种方法通过将问题分解为两个截然不同的步骤，从而更好地处理包括含有传统波斯乐器的真实世界视频在内的场景。他们发表在近期研究中的工作重点在于创建一个系统，该系统首先“观察”视频以识别存在哪些乐器以及它们所处的位置，然后利用这些视觉信息来引导音频分离的过程。该方法并没有试图用一个单一的庞大“大脑”同时解决视觉和音频谜题，而是使用一个专门的视觉检测器来告诉一个独立的音频处理器应该去听什么。这种模块化设计使得系统更加灵活且高效，特别是对于那些在标准训练数据中很少见的乐器。

研究人员首先构建了一个视觉检测系统，使用了被称为 YOLOv8 的模型，这是一种旨在快速准确地识别图像中物体的工具。他们在由 358 张带有注释的图像组成的集合上训练了这个模型，这些图像包含十二种不同类型的乐器，既有吉他和钢琴等国际主流乐器，也有达夫（Daf）、卡曼恰（Kamancheh）和桑图尔（Santur）等传统波斯乐器。目标是教会计算机在视频帧中识别这些乐器，在它们周围画一个框并命名。由于数据集相对较小，团队使用了名为“迁移学习”的技术，这允许一个在海量通用物体库上训练过的模型针对这些特定的音乐工具进行微调。在对新的视频帧进行测试时，该系统成功识别了乐器，其精确度达到了 75.1%，这意味着当它说看到了某种特定乐器时，通常是正确的。它还成功找出了场景中实际存在的约 59% 的乐器。

一旦视觉系统识别出正在演奏哪些乐器，第二部分的流程便开始了。研究人员为这十二种乐器类型中的每一种都开发了一个独立的音频处理网络。这意味着，如果视觉检测器发现了吉他和鼓，系统并不会尝试从零开始猜测如何分离它们。相反，它会激活特定的“吉他”网络和特定的“鼓”网络。这些网络中的每一个都被设计用来观察混合音频录音，该录音已被转换为随时间变化的声频频率视觉图，即频谱图。网络的工作是创建一个数字滤波器，或称为“掩模”（mask），以此突出属于其特定乐器的声音部分，并消除其余部分。

研究人员在 420 个真实的视频片段上测试了这个两步走的系统。他们发现，通过使用视觉检测来引导音频分离，该系统可以有效地隔离不同的乐器声音。平均而言，分离质量很强，系统的得分表明目标声音与背景噪声之间存在清晰的区别。对于像单簧管和吉他这类乐器，分离效果异常纯净；而对于那些频率更复杂或重叠的乐器，则提出了更大的挑战。该研究还将他们的方法与其他先进技术进行了对比，发现其方法在减少其他乐器干扰方面表现更为优异，实现了平均 8.75 分贝的分离质量得分。

这项研究的一个关键发现是，视觉信息起到了强大的引导作用，缩小了音频系统的可能性范围。通过确切知道场景中存在哪些乐器，系统就不必猜测或搜索所有可能的组合。这对于波斯乐器尤其有价值，因为这些乐器在全求数据集中往往代表性不足，且难以被标准模型识别。该研究证明，一个视觉检测与音频分离协同工作但保持独立的模块化系统，是理顺复杂音乐表演的一种切实有效的方法。虽然该系统目前需要为每种乐器类型配备一个单独的模型，且尚无法学习去分离它从未见过的全新乐器，但其结果为改进机器如何在现实世界中理解和隔离声音指明了清晰的路径。