INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

想象一下，试图在草堆中寻找一根特定的针，但这根针会根据你询问的方式而改变形状。如果你问的是一根闪亮的针，你会得到一根不同的针；如果你问的是一根红色的针，或者是在巨大的噪音附近掉落的针，得到的又会是另一根。几十年来，计算机在寻找信息方面变得越来越出色，但它们主要依赖于一种僵化的匹配系统。如果你搜索一个词，计算机就会寻找那个完全相同的词。如果你搜索一种声音，它就会寻找听起来与你的搜索内容完全一致的声音。当你知道自己确切要找什么时，这种方法效果很好，但当你的需求更加复杂时，它就会失效。在现实世界中，人们不仅仅想找到一段听起来相同的录音，他们可能想找到一段说话者听起来很愤怒的录音，或者背景噪音是雨声的录音，亦或是说话的人与之前某个片段中的人是同一个人。科学家们面临的挑战在于，如何教会计算机理解这些变化的、具有人类特征的指令，而不是仅仅匹配静态的模式。

国立台湾大学的一个研究小组通过创建一个名为 INSPIRE 的新测试场，在解决这一问题上迈出了重要一步。这并不是一个能解决所有问题的全新计算机程序，而是一个精心构建的基准测试，旨在观察当前技术处理这些灵活指令的能力。研究人员建立了一个庞大的语音录音库，并将其与数千条自然语言指令相匹配。这些指令涵盖了从简单的请求（如“找到这段对话的下一部分”）到复杂的、多层级的需求（如“找到一段同一个人在背景有脚步声的情况下悲伤说话的录音”）。其目标是观察现有的人工智能系统是否能够通过观察一段语音和一条书面指令，从而成功搜寻到符合该特定描述的精确音频片段。

研究人员测试了四种不同类型的计算机系统，以观察它们的表现如何。第一组由大型音频-语言模型组成，这些是经过训练以同时理解声音和文本的高级系统。第二组使用了“级联流水线”（cascaded pipeline）方法，即计算机首先将语音音频转换为书面文本和字幕，然后使用标准的文本搜索工具来搜索这些文本。第三组依赖于自监督语音模型，这些模型通过直接理解声音模式进行学习，而不将其转换为文本。最后一组则使用了对比模型，这类模型试图将文本和音频联系在一起。团队测量了每个系统在数千个错误选项中成功找到正确音频片段的频率。

结果揭示了这些机器思维方式中一个清晰且令人惊讶的分歧。那些先将语音转换为文本的系统在根据实际说话内容寻找片段方面表现出色。如果指令是寻找特定的句子或对话的延续，这些基于文本的方法表现得非常好。然而，当指令涉及声音是如何产生的时候，它们就显得极其吃力。当被要求根据说话者的身份、情感语调或背景噪音来寻找片段时，这些基于文本的系统表现得并不比随机猜测好多少。一旦声音变成了文字，它们就无法“听出”快乐的声音与悲伤的声音之间的区别。

另一方面，那些直接聆听声波而非将其转换为文本的系统则展现了相反的优势。它们在识别说话者的声音、说话风格以及周围环境声音方面要出色得多。但当指令需要理解单词的含义或遵循复杂的、多部分的指令时，这些系统却失败了。它们能听到声音，但无法理解指令去寻找一个“在特定方式下说特定内容的特定声音”。即使是那些被寄予厚望、有望弥合这一差距的最先进的大型音频-语言模型也未能幸免。它们在某些任务上表现尚可，但在需要对声音和指令进行深度同步理解的任务中却力有不逮。

研究还探讨了当计算机获得“完美元数据”参考（例如准确知道说话者是谁或背景噪音是什么）时的情况，而不是尝试从音频中自行推断。即使拥有这些完美信息，基于文本的系统在处理涉及复杂特征组合的指令时，仍然无法可靠地找到正确的片段。这表明问题不仅在于计算机“听力”不好，更在于目前的架构无法处理混合了不同类型信息的指令。研究人员发现，没有任何一种他们测试过的单一方法能够稳健地处理人类寻找声音的所有不同方式。

最终，论文得出结论：该领域正处于十字路口。目前的工具过于专业化：有些擅长阅读转录文本却对语调“耳聋”；而另一些擅长听取语调却对指令“文盲”。研究人员认为，下一代技术需要是一个统一的系统，一个能够聆听声音、阅读复杂指令，并理解答案存在于两者结合之中的系统。在这样的系统建成之前，能够像我们搜索文本那样，以同样的自然易用性和精准度去搜索语音库的能力仍然难以实现。这项工作并未提供最终的解决方案，但它清晰地绘制了地形图，展示了当前技术的局限所在，以及未来语音检索应当走向何方。