Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing
本文提出将转录风格视为自动语音识别（ASR）模型中一种可控的隐变量，并证明了覆盖率感知解码器标记（coverage-aware decoder tokens）和监督式交叉注意力微调可以显著提高逐字准确度、口语不流利检测以及词级时序性能，同时引入了一项新任务以扩展高质量逐字语音语料库的构建。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在对着一个非常聪明、反应极快的机器人说话，它会倾听你的声音并准确地把你所说的话打出来。这个机器人是被称为“自动语音识别”（ASR）领域的一部分。长期以来，这些机器人有一个令人困惑的习惯：它们不知道该把你的话原封不动地打出来——包括你的“嗯”、“啊”、结巴和自我纠正——还是应该把一切清理干净，只给出你“想要表达”的那句流畅、完美的句子。这就像是要求一名书记员记录一个故事，但你从未告诉他，是应该把作者紧张的咳嗽声也写进去，还是只记录故事情节。这种困惑使得机器人的打字过程变得摇摆不定，它对单词何时开始和结束的时间判断也不够可靠，而且很难判断机器人究竟是听错了，还是仅仅选择了不同的书写风格。
研究人员一直在追问一个大问题：是这个机器人真的听不清那些杂乱的语音部分，还是它只是搞混了规则？这篇新论文表明，机器人并没有“坏掉”，它只是在玩一场指令混乱的游戏。作者认为，听取并打出那些杂乱、真实的语音的能力其实早已隐藏在机器人的大脑中，只是需要一个特定的“开关”来将其开启。他们将“杂乱的逐字记录”与“干净的意图表达”之间的选择，不视为一种缺失的技能，而是一个可以切换的隐藏设置。
该团队利用了一个名为 Whisper 的流行 AI 模型，决定通过给机器人一个简单的控制面板来测试这个理论。他们引入了特殊的“模式标签”——这些微小的、隐形的指令会在机器人开始打字前告诉它具体要做什么。如果你说“逐字模式”，机器人就会把所有内容都打出来，包括结巴和停顿。如果你说“意图模式”，机器人就会清理语音，给出平滑的版本。他们发现，只需添加这些标签，就能让机器人完美地在这些风格之间切换，甚至对于它从未见过的语言也是如此。
这里是神奇之处：研究人员发现，他们并不需要重新教机器人如何听觉。事实上，他们完全冻结了机器人的大脑，只训练了微小的“模式标签”开关。在没有对机器人主记忆进行任何更改的情况下，他们仅通过使用英语训练数据，就成功将其检测德语语音结巴的能力从糟糕的 10% 提升到了惊人的 79%。这表明，这项技能一直都在那里，等待着被激活。
他们还修复了机器人的时间感。通常，当机器人在一个词上磕磕绊绊时，它会对这个词何时开始和结束感到困惑。通过教机器人关注它在打字时的内部“焦点”，他们让机器人的计时变得极其精确。他们甚至创造了一个新技巧，叫做“Verbatimize”（逐字化）。这使得机器人可以根据一句干净、完美的句子和一段杂乱的语音录音，从头开始重建杂乱的版本，将结巴和停顿精准地插入到发生的位置。这意义重大，因为这意味着我们可以将成千上万份干净的转录文本转化为杂乱、真实的文本，而无需人类去听每一段录音并手动打字。
这篇论文表明，最大的问题不在于机器人缺乏处理杂乱语音的能力，而在于我们没有给它们一个明确的选择方式。通过将“转录策略”变成一个显性的选择而非隐性的猜测，研究人员让机器人变得更加稳定、更准确，并且能更好地理解人类说话的完整现实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。