How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs
本文比较了上下文偏置方法与语音大语言模型在自动语音识别中识别罕见词的表现，发现虽然偏置方法能显著降低目标术语的词错率且副作用极小，但语音大语言模型在朗读语音上表现出色，但在非朗读场景下则在泛化能力和提示词敏感性方面表现欠佳。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教会一个机器人如何倾听世界。长期以来，这些机器人在理解像“the”、“cat”或“run”这样的常用词方面表现出色。但如果你要求它们转录一段关于名为“Zephyr”的特定人物的对话、一个罕见的缩写词如“XQ-9”，或者是一个小众游戏中的技术术语，它们往往会出错。这就像是一位熟悉图书馆里每一本书的图书管理员，但当你向他询问一本昨天刚出版的书时，他却完全陷入了混乱。这就是自动语音识别（ASR）的世界，而研究人员正在应对的大问题是：如何让这些倾听的机器人能够注意到那些在对话中真正重要的、罕见的、奇特的或全新的词汇。
为了解决这个问题，科学家们尝试了两种主要的技巧。第一种就像是在机器人开始倾听之前给它一份“参考表”。你递给它一份你认为可能会出现的单词列表，并告诉机器人：“嘿，如果你听到任何听起来像这些词的内容，就倾向于选择它们！”这被称为上下文偏置（context biasing）。第二种更先进的技巧是使用语音大语言模型（Speech LLMs）。把它们想象成能在倾听的同时“阅读故事”的超级聪明的机器人。你可以告诉它们：“我正在谈论太空旅行，”然后它们会利用这个背景故事来推测你接下来可能会说什么。大问题在于：当单词很罕见且对话很混乱时，哪种技巧效果更好？
这篇论文将这两种策略进行了一场面对面的对决。研究人员将两种基于著名模型 Whisper 的“参考表”方法，与三种最新、最华丽的语音大语言模型进行了对比。他们在两种截然不同的音频类型上进行了测试：一种是干净的、朗读式的语音（如有声读物），另一种是混乱的、现实世界的语音（如财报电话会议或 YouTube 视频）。
以下是他们的发现。“参考表”方法是可靠的“劳模”。当研究人员给它们一份罕见词列表时，这些模型将这些特定词汇的错误率降低了高达 88%（与没有列表相比），并且在其他单词上几乎没有出错。更棒的是，它们并不在意列表是否杂乱。如果由于某种原因你丢进 250 个音频中实际并不存在的随机“干扰词”，这些参考表模型基本上会忽略它们，并保持完美运行。
相比之下，语音大语言模型则是华丽且敏感的“名伶”。在干净的朗读式语音中，它们表现惊人，有时甚至超越了参考表模型。但只要音频变得混乱或者列表变得很长，它们就开始“恐慌”了。如果你给它们一个带有 250 个干扰词的列表，它们在处理罕见词方面的表现会剧烈下降——有时比之前糟糕了高达 570%。它们似乎还非常在意指令中单词的顺序；如果重要的词不在提示词的最开头，它们往往就会忘记。
研究人员尝试通过增加一个“过滤器”步骤来修复语音大语言模型，即由第二个机器人先检查列表以剔除假词。这有所帮助，但并未能完全解决问题。即使使用干净的列表，语音大语言模型在处理混乱的现实世界音频时，表现仍然比参考表模型吃力。
那么，结论是什么呢？如果你有一份想要机器人听到的干净单词列表，那么传统的“参考表”方法是最稳健、最可靠的选择。它就像一双耐穿的靴子，在任何天气下都能正常工作。语音大语言模型更加灵活——它们可以理解描述和超出单纯列表之外的语境——但目前它们对于噪声过于敏感，并且需要额外的步骤才能在现实世界的情况下表现良好。该论文指出，在这些模型变得更擅长忽略干扰之前，专门的“参考表”方法仍然是识别新词和罕见词的更安全之选。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。