AgenticASR: Refining Speech Recognition in Real-World Scenarios via an Agentic Approach
该论文介绍了 AgenticASR，这是一个智能体框架，通过迭代修订转录文本以消除口吃现象并解决自我修正，同时保留说话者的最终意图，从而优化实时语音识别，并通过一个新的双语基准测试以及在多个 ASR 前端上的卓越表现验证了其有效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图记录一位朋友的故事，但你的朋友说话的方式完全像个真人：他们会词不达意、说“嗯”、“啊”，开始一句话又突然意识到自己说错了，然后在中途进行纠正。如果你把他们发出的每一个声音都记录下来，你会得到一份充满错误开头和重复内容的、混乱且令人困惑的转录文本。这就是传统的语音转文本技术所做的；它是一个非常字面的记录员，捕捉的是言语的“声音”，而不是信息的“意图”。另一方面，一些较新的工具试图清理文本，但它们通常要等到人完全说完之后才开始编辑。这产生了一个问题：如果你的朋友说，“在玛丽家见……不对，是在玛丽（Marie）家见”，一个等待结束才处理的工具可能已经写下了“玛丽（Mary）”，并且如果不重新开始就无法回头修正它。这项研究的目标是构建一个系统，使其表现得像一个超级快速、专注的编辑，能够实时倾听、捕捉发生的错误，并在人说话的过程中即时重写文本，使其变得整洁且易读。
该论文介绍了一种被称为 AgenticASR（智能体语音识别）的新方法。把它想象成一个正在进行现场直播的双人团队。第一个人是“记录员”（ASR 前端），他快速地敲下他听到的所有内容，包括所有的结巴和“嗯”、“啊”。第二个人是“精炼员”（智能体部分），一个聪明的编辑，他会不断地瞥一眼记录员最新的几句话。一旦记录员输入一段文本，精炼员就会查看它，修复其中的混乱，并将混乱的版本替换为整洁的版本。
这就是那个神奇的技巧：精炼员不仅看当前的句子，还在脑海中保留一个包含最后几段文本的小型“窗口”。如果记录员输入“见玛丽（Mary）”，接着下一段内容变成了“等等，玛丽（Marie）”，精炼员会立即看到这种联系。它意识到第一段是错误的，于是删掉“玛丽（Mary）”，并在说话者完成下一个想法之前，将整个句子更新为“见玛丽（Marie）”。这使得系统能够即时处理自我纠正和解释，而不是等待说话停止。
为了测试这是否真的有效，作者构建了一个特殊的游乐场，叫做 AASR-Bench。想象一个拥有 917 种不同场景的巨大障碍赛道，范围涵盖了从闲聊、客服电话到技术编程会议以及语音搜索等各种场景。他们创建了 6,637 个微小的、具体的评估准则（rubrics）来对结果进行评分，检查的内容包括：“他们是否去掉了‘嗯’？”、“他们是否修正了名字的拼写？”以及“他们是否保持了最终含义的正确性？”他们不仅仅看单词是否正确，还看文本的可读性和实用性。
结果表明，这种“智能体（Agentic）”方法是一个重大的进步。当他们使用 AgenticASR 与其他系统进行对比测试时，它始终能产生更整洁、更准确的文本。例如，使用特定的设置（带有其精炼员的 Qwen3-ASR-1.7B），该系统在整体基准测试中得分为 79.95，以明显的优势超过了次优的方法。研究发现，当系统同时观察大约三个语音块时，效果最好。这个窗口大小是“甜点位”：它足够大，可以捕捉到几秒钟前发生的纠正（比如“玛丽（Mary）”到“玛丽（Marie）”的切换），但又足够小，可以保持系统的快速响应。
作者还发现，精炼员的大小也很重要。一个更大、更聪明的编辑（一个 40 亿参数的模型）在修复复杂句子方面做得稍好一些，但思考时间也稍长。然而，即使是较小、较快的模型，也比那些只会在结束后才进行编辑的系统要好得多。论文强调，这个系统并非完美无缺：如果初始的记录员完全漏掉了一个词，精炼员无法凭空将其变回来。但对于我们实际表达中的那些混乱之处——填充词、结巴和中途纠正——AgenticASR 提供了一种实用的方法，能将混乱的人类语言流实时转化为一段精炼、易读的故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。