SPECTRA: Subspace-Preserving Embedding Calibration, Transport, and Replay for Fully Few-Shot Class-Incremental Audio Classification
该论文提出了 SPECTRA，这是一个用于完全少样本类增量音频分类的框架，它结合了可训练适配器、子空间特征回放以及转导式最优传输，从而与现有的最先进方法相比，显著提高了准确率并减少了遗忘。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下这样一个世界：一台机器只需通过听取少量的示例，就能学会识别一种新鸟类的鸣叫声或特定发动机故障的声音，而无需从未经重新训练。这就是音频分类技术的愿景，这项技术支撑着从监测偏远森林中的野生动物到检测医疗设备中早期疾病迹象的一切领域。然而，教计算机识别新声音的同时记住旧声音是非常困难的。在现实世界中，数据是以流的形式到达的；新的类别会随着时间的推移不断出现，而机器必须在没有获取用于学习先前类别的旧录音的情况下，立即学习这些新类别。如果机器过度关注新声音，它往往会“忘记”旧的声音，这种现象被称为灾难性遗忘。相反，如果它试图过于僵化地记住旧声音，它就无法适应新声音。挑战在于构建一个能够持续学习的系统，在适应新信息的同时，保留已掌握的知识，且每种新类别几乎不需要多少示例。
研究人员转向了强大的预训练模型来解决这一问题，这些模型就像是通用的音频知识大型图书馆。这些模型已经“听过”了海量的声音，并能从任何音频片段中提取有用的特征。然而，仅仅使用这些通用特征往往会导致性能不佳，例如在区分非常相似的鸟鸣或特定的工业噪音时。最近的一项研究引入了一个名为 SPECTRA 的新框架，旨在弥合这些通用音频库与少样本学习环境下特定且不断变化的需求之间的差距。研究人员发现，通过向一个冻结的音频模型添加三个特定的轻量级工具，可以显著提高机器学习新声音而不忘记旧声音的能力。
研究人员添加的第一种工具是一个小型、可训练的适配器。可以将预训练音频模型想象成一位精通木工、知道如何塑造木材的大师，但为了特定的项目，他需要学习一种新的木材类型。与其重新训练整个大师（这既缓慢又容易出错），研究人员为系统附加了一个小的、可调节的透镜。这个透镜对通用的音频特征进行微调，使其适应特定的任务，确保机器在清晰识别新声音的同时，不会失去其原始训练的稳定性。这一步使系统能够立即校准其理解能力，使通用知识能够服务于特定的问题。
第二种也是最具创新性的工具解决了遗忘问题。在传统的学习中，机器可能会反复展示旧的录音以提醒它所学到的内容。但在这种严格的情景下，旧的录音已永久消失；机器无法存储它们。为了解决这个问题，研究人员开发了一种方法，可以在没有实际音频文件的情况下，重构出旧声音的“本质”。他们意识到，特定声音类别的特征（如某种特定的发动机噪音）并不会在计算机内存中随机散射。相反，它们会在一个特定的低维空间内聚集成某种形状，比如一个平面或一条细线。通过对这种形状进行数学映射，系统可以生成完美的合成示例，模仿原始声音的统计结构。当机器学习新声音时，它也会同时看到这些旧声音的合成示例，从而在无需原始文件的情况下有效地“复习”过去。研究表明，保持这种特定的几何形状至关重要；仅仅在旧声音周围猜测随机的变化效果远不如前者。
最后一个工具是在机器进行测试时进行的优化步骤。当系统遇到一批新的、未标记的声音时，它不会孤立地对每个声音进行分类。相反，它会观察整组声音，以此来调整它对每个类别中心点的理解。通过考虑这些新声音作为一组是如何相互关联的，系统可以锐化其类别的定义，从而实现更准确的识别。这个过程就像是最后的抛光，确保机器对声音世界的内部地图在做出最终决策前尽可能精确。
研究人员在涉及乐器、声音事件和说话人身份的三种不同基准测试中测试了这种方法。在每种情况下，新系统都优于之前的最佳方法。它在识别新声音方面达到了更高的准确率，而且更重要的是，它显著减少了对先前所学内容的遗忘。实验证明，重建旧声音特定几何结构的能力是取得成功的关键驱动力，这证明了数据的形状比单纯的回放行为更为重要。通过结合任务特定的校准、具有几何感知能力的复习方法以及基于分组的优化步骤，SPECTRA 为机器在数据稀缺且不断变化的世界中进行持续学习提供了一种稳健的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。