Transformer-based Multimodal Representation Learning for Blind Acoustic Classification
本文提出了一种新颖的基于 Transformer 的框架，该框架通过将自监督音频模型 (M2D) 与知识增强型语言模型 (MPNet) 相结合，实现了在无标签数据上高精度的盲声学事件与场景分类，并证明了其在多种数据集和噪声条件下的鲁棒性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
声音是永恒的伴侣，是一股不断流动的、向我们传递周围正在发生什么以及我们身处何处的讯息。婴儿的啼哭预示着需求，玻璃的破碎警告着危险，而城市的喧嚣则定义了一个特定的场所。人类一生都在学习如何分辨这些听觉线索，仅凭聆听就能推断出事件的性质或环境的类型。然而，声音的多样性、它们的重叠特性，以及噪声可能对其造成的掩盖，使得这项任务对机器而言异常困难。几十年来，科学家们一直试图教会计算机做到这一点，但大多数成功的方法都依赖于一个沉重的负担：庞大的预标记音频库。这些系统由人类进行训练，人类为成千上万的录音贴上标签，如“婴儿啼哭”或“玻璃破碎”，这个过程缓慢、昂贵，并且当计算机遇到从未学过识别的声音时，往往会失效。挑战在于构建一个能够不依赖词典来倾听世界的系统，使其能够在不需要人类指点并说出“这就是那个东西”的情况下，识别稀有事件并理解背景场景。
香港大学的研究人员开发了一种新方法，试图通过教导计算机以模仿人类直觉的方式去倾听和推理来解决这个问题，且无需预标记的训练数据。他们描述在近期研究中的这种方法，结合了两种强大的人工智能工具，创造出一个能够从原始、未标记的音频中对声音进行分类并识别环境的系统。该系统并非通过记忆特定的声音模式，而是首先将一段录音分解为其最小的组成部分，识别出如啼哭、撞击或枪声等不同的声音。随后，它使用一个基于语言的推理引擎，观察它发现的声音列表，并推断出语境。如果系统听到婴儿在哭泣且有火车隆隆声，它不仅仅是将两者视为两个独立的声音；它利用其对这些声音之间如何相互关联的理解，得出结论认为该场景很可能是一个火车站。这种在单个声音与更广泛环境之间建立联系的能力，使得系统能够以“盲听”的方式工作，理解它从未见过的音频。
这一新框架的核心是一个将“听觉”任务与“理解”任务分离的两步走过程。第一步涉及一个专门设计的模型，旨在倾听音频并提取隐藏在混合物中的单个声音。在典型的录音中，声音会重叠和融合，导致难以分辨一个声音在哪里结束，另一个又从哪里开始。研究人员的系统使用了一种将音频视为拼图的技术，通过遮蔽部分声音，并根据周围的上下文预测应该是什么声音。这使其能够隔离特定的事件，例如枪声或玻璃破碎声，即使它们被埋在多层背景噪声之下。至关重要的是，该系统足够聪明，能够根据每种声音的类型调整其聆听时长。它知道婴儿的啼哭可能会持续数秒，而枪声转瞬即逝，因此它会量身定制分析方式以适应每个事件的自然持续时间。这种灵活性有助于它避免那些试图将每种声音都强行放入固定时间槽的僵化系统的错误。
一旦系统隔离了声音并生成了它认为听到的声音列表，它就会进入第二步：理解场景。在这里，系统采用了一个在海量文本上进行过训练的语言模型，来解释该声音列表。它将识别出的声音视为句子中的单词，并利用其关于这些单词通常如何共同出现的知识来推断环境。如果列表中包含“咖啡机”、“杯子碰撞声”和“低声交谈”，语言模型就会识别出这种模式，并推断出环境是一个咖啡馆。这一步骤赋予了系统泛化能力；它不需要见过咖啡馆的图像就能知道咖啡馆听起来是什么样的。它仅仅是理解了声音之间的关系。研究人员在一个包含稀有事件（如婴儿啼哭、玻璃破碎和枪声）并将其混合在十五种不同环境（从繁忙的市中心到安静的森林）中的数据集上测试了这种方法。
实验结果令人瞩目。当被要求识别稀有事件时，该系统识别婴儿啼哭的成功率达到96%，玻璃破碎为98%，枪声为91%。这些数字意义重大，因为系统并未针对这些特定示例进行训练；它是自主学习识别这些声音的。更令人印象深刻的是它在识别环境方面的表现。当被要求猜测录音的设置时，该系统的前五个猜测包含了正确答案达95%的时间，而其单一最佳猜测的正确率为87%。对于一个在没有任何标注数据下运行的系统来说，这是一个卓越的成就，其表现优于许多依赖大量人工监督的传统方法。研究人员还在困难条件下测试了该系统，通过引入重度噪声来模拟信号微弱的环境。即使噪声比事件本身的声音大十倍，系统仍保持了极高的准确度，仅在性能上略有下降，便能正确识别事件和场景。这种韧性表明，该系统并不依赖于纯净、完美的音频，而是能够在混乱的现实世界中穿行。
研究还探讨了该方法应用于不同类型音频时的表现，包括来自真实家庭环境和欧洲各城市城市街景的录音。该系统持续表现出色，能够正确识别家中的洗碗或搅拌机噪音，并区分繁忙街道与安静公园。这种跨数据集的一致性表明，该方法不仅适用于某种特定类型的数据，而是一种理解声音的鲁棒方法。研究人员指出，虽然该系统处理长录音需要相当多的计算机内存，但它可以在标准硬件上运行，并且安装后不需要持续的互联网连接。这种便携性为那些人工监督不可能或成本过高的领域打开了大门，例如监测工业机械的早期故障、分析犯罪现场，以及管理城市交通与安全。
这项工作的特别之处在于它如何改变了声学分类的范式。多年来，该领域一直由监督学习主导，即计算机被喂入成千上万带有答案的示例。而这种新方法证明，计算机可以利用声音之间的关系和语言的逻辑来填补空白，从而在没有答案的情况下学会倾听和推理。它表明，理解声音的关键不仅在于识别模式，还在于理解这些模式出现的语境。通过将声音分离工具与基于语言的推理引擎相结合，研究人员创造了一个能够从混沌的噪声混合物中寻找故事的系统。尽管仍需进一步工作以使系统更快、更高效，但结果展示了一条清晰的前进路径，让机器能够真正地倾听周围的世界，并以一种此前无法企及的独立性，识别出稀有与平凡。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。