Vibrato Matching for Modulation Control and Blending in Sound Mixtures
本文介绍了一种颤音匹配算法，该算法通过抑制并随后在信号之间转移颤音模式来融合声源并减少对多个声源的感知，从而也降低了源分离系统的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在声音的世界里，我们的耳朵非常擅长分辨谁在演奏什么，即使多个乐器同时演奏同一个音符也是如此。这种能力很大程度上依赖于一种被称为“颤音”（vibrato）的微妙音乐技巧，即音乐家在持续音符中自然加入的音高和音量的轻微、快速波动。虽然这种波动通常用于表达情感，但它也为大脑提供了一个实际的功能：因为没有两名音乐家的音符波动方式是完全相同的，这些微小的差异就像是独特的指纹。当听众听到两把小提琴同时演奏时，他们的大脑会利用这些独特的波动来分离两个声部，将它们感知为两个不同的声源，而不是一个。这一原理非常可靠，以至于旨在分离混合音频信号的计算机程序也会利用这些差异来理清混乱。
加州大学圣地亚哥分校的一位研究人员现在开发出了一种刻意消除这些差异的方法，有效地教计算机让两个不同的声源听起来像是以完美的同步频率在振动。通过获取一段乐器的录音并剥离其自然的波动，然后仔细地将第二种乐器的精确波动模式“涂抹”上去，该研究人员创建了一个可以将两种截然不同的声音融合为一个单一、无缝实体的系统。研究表明，当这种匹配完成后，计算机算法辨别两个独立声源的能力显著下降。虽然尚未进行听力测试来确认使用颤音匹配（vibrato matching）于齐奏信号是否会降低人类听众感知多个声源的能力，但受此类听力测试启发的声源分离算法表现出的分离能力下降，暗示了人类听众也可能出现类似的退化。这项工作表明，通过控制这些细微的调制，音响工程师可以创造混合乐器，或隐藏混音中多个演奏者的存在，从而将一种自然的识别线索转变为一种融合工具。
这个过程始于一个目标声音，例如一段歌手的录音，以及一个声源声音，例如一段萨克斯风的录音。第一步涉及对目标录音进行数字清理。计算机分析歌手的声音，找到其音高和音量的自然波动，然后将其平滑处理，直到声音变得完美稳定，完全移除自然的颤音。一旦目标信号被剥离了原始的运动特征，系统就会转向声源信号来学习其特定的波动模式。它不仅仅是复制声音的整体轮廓；相反，它将声源分解为单个音乐音调以及位于音调之间的背景噪声。对于每一个这些音调，系统会精确计算音量的起伏；而对于背景噪声，它则绘制能量在不同频率间移动的图谱。
带着这些详细的模式，系统将它们应用到稳定的目标信号上。它获取那个平滑、无波动的声音，并开始对其进行调制，加入属于萨克斯风的特定音量波动和音高偏移。至关重要的是，这并非一种一成不变的应用。系统会对人声中的每一个音乐音调应用独特的音量波动，就像真实的萨克斯风那样，并且还会对人声的背景噪声应用一个独立的、复杂的波动。这种对细节的关注确保了结果听起来自然而非机械。最终的输出是一个保留了原歌手音色和音高，但却拥有萨克斯风精确节奏和动态个性的声音。
研究人员通过混合两段不同的声乐录音测试了这种方法。在原始混音中，由于歌手具有不同的自然波动模式，声音显得粗糙且不均匀，且计算机程序可以轻易分离这两个声音，因为它们的运动轨迹各不相同。然而，当研究人员使用他们的算法让歌手以完全相同的方式振动时，结果发生了剧变。混合后的声音变得平滑且统一，听起来就像是一个歌手被完美一致地录制了两次。当同一个计算机程序尝试分离这些声音时，它完全失败了，无法区分两个声源。声音的视觉表示显示两个声音合并成了一条单一、坚实的线条，与单一表演无法区分。
即使研究人员混合了差异极大的乐器（如巴松管和低音双簧管），这一效应依然成立。在匹配过程之前，计算机可以根据不同的波动模式分离这两种乐器。但在算法强制它们共享相同的颤音后，分离便失效了，两种乐器听起来像是一个单一的、融合的实体。研究表明，尽管音色等其他因素仍会在我们听觉中发挥作用，但匹配这些特定的波动模式是模糊多个声源存在的强大工具。研究人员提出，这项技术可以创造性地用于设计新的混合乐器声音，或控制听众如何将声音进行分组，通过让各个部分如一体般运动，从而有效地隐藏音乐编排的复杂性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。