Auto-AEG: Scalable Data Construction for Open-Vocabulary Audio Event Grounding
本文介绍了 Auto-AEG，这是一个可扩展的流水线，它通过将程序化合成的片段与多模型伪标签以及强化学习相结合，解决了开放词汇音频事件定位中数据稀缺的瓶颈问题，从而显著增强了大型音频-语言模型的时序定位能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个超级聪明的机器人去倾听世界。你已经教会了它成为一个出色的讲故事的人；如果你播放一段风暴的录音，它能告诉你：“这听起来像是大雨和雷声。”但有一个棘手的部分：机器人非常不擅长知道事情发生的精确时间。它可能会说：“我听到了雨声，”但它无法告诉你雨是从 2:03 开始还是从 2:15 开始的。另一方面，传统的声音检测器就像严厉的图书管理员：它们可以精准地定位声音开始和停止的每一秒，但它们只能识别极少数预先批准的词汇。如果你问它们关于“吱吱作响的门”的声音，即使那个声音就在那里，它们可能只会说：“我不认识那个词。”
这篇论文解决了这个尴尬的中间地带：教一个聪明的机器人不仅要理解一个声音是什么，还要让它能指着发生的精确时刻，即使这个声音是它从未听过的。这个大问题在于，教授这项技能极其困难，因为雇佣人类去听数小时的音频并标记出每一个声音开始和停止的每一秒，需要耗费漫长的时间。这就像是在试图通过让某人观看一百万小时的视频，却从未让他们触碰过琴键，来教他们弹钢琴。研究人员想要找到一种方法，在不需要百万名人类教师的情况下教导机器人。
于是有了 Auto-AEG，一种像聪明的自动化导师一样的新方法。研究人员并没有等待人类为每种声音进行标注，而是构建了一个能够自行生成练习材料的流水线。首先，他们使用一个计算机程序像 DJ 一样将各种声音进行混音和匹配，创造出数千个虚构的音频片段，在这些片段中，计算机因为是自己放入这些声音的，所以完全清楚每个声音何时开始和结束。这给了机器人一个“冷启动”——一个完美的、无错误的、用于学习基础知识的基础。
但机器人也需要从现实生活中学习，而在现实中，声音是杂乱且重叠的。这就是奇迹发生的地方：研究人员让机器人在真实的音频（例如来自互联网的录音）上进行练习，在这些音频中，时间标签可能有些模糊。研究人员并没有像老师那样直接纠正机器人，而是使用了一种叫做**强化学习（Reinforcement Learning）**的技术。把它想象成一个电子游戏：机器人尝试猜测时间，如果它猜得足够接近，它就会获得一个“奖励点”。如果它猜得离谱，它就得不到分。随着时间的推移，机器人学会了为了追求那些奖励点而努力，从而弄清楚如何在训练数据并不完美的情况下实现精准。
论文显示，这种两步走的方法效果惊人。当他们在他们创建的一个全新的、更具挑战性的测试集 AEGBench（他们创建这个测试集是为了确保测试公平，并涵盖了诸如声音重叠或极长噪音等复杂情况）上测试这些训练好的机器人时，结果令人印象深刻。机器人在精准定位声音时间的能力上有了巨大的提升——对于较大的模型，提升幅度高达 73.9%。它们不仅仅是变得更擅长猜测，而是学会了变得精准。
至关重要的是，作者发现仅仅向机器人展示更多的现实世界音频是不够的。如果他们只是用现实音频进行的标准课程继续教导机器人，它的进步并不明显。正是这个“奖励游戏”（强化学习）将那些杂乱、不完美的数据转化为了超能力。这表明，教机器人理解声音中的时间，关键不在于拥有更多的数据，而在于拥有更聪明的学习方式。他们还证明了这种方法适用于不同规模的机器人，从小型机器人到拥有 300 亿参数的庞然大物都适用，并且它能帮助机器人在保持对声音理解能力的同时，不丢失其泛化性能。
简而言之，这篇论文表明，我们不需要等待人类为宇宙中的每种声音进行标注，就能构建出更好的音频机器人。通过将完美的合成练习与基于“奖励”的现实世界数据学习游戏相结合，我们可以教会这些模型以更敏锐的时间感去聆听世界，从而为它们更有效地理解复杂的现实世界声景打开大门。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。