OpenWER: Improving Cross-Lingual ASR Evaluation and Enabling Token-Based Accuracy Metrics
本文介绍了 OpenWER，这是一个开源工具，通过实现特定语言的归一化和基于标记的对齐，增强了跨语言自动语音识别评估的公平性与可靠性，并使其在 52 种不同语言中的字错率较现有库显著降低。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一位拼写比赛的评委，但你的评委对象不是一个人，而是来自世界各地的语音识别计算机。你的职责是判断这些计算机将人们说的话转录为文本的效果如何。
长期以来，评委们唯一的工具是一把叫做 WER（词错率） 的尺子。这把尺子非常严苛：如果计算机说的是“game-changer”，而人类写的是“game changer”（中间加了空格），这把尺子就会将其视为一个错误。如果计算机漏掉了一个逗号，也是一个错误。如果大小写写错了，也是一个错误。
问题在于，这把尺子有点笨拙。它会将微小的拼写差异与完全错误的单词同等对待。此外，它在处理非英语语言时也会表现挣扎，因为这些语言有不同的构建规则，从而会导致不公平的惩罚。
OpenWER 登场：一把“智能尺子”
论文作者开发了一个名为 OpenWER 的新开源工具。你可以不把它仅仅看作一把尺子，而是一个智能、灵活的卷尺，它能够理解不同语言的细微差别。
它是如何工作的，这里使用简单的类比：
1. “复合词”侦探
在英语和德语中，我们经常用连字符（如“game-changer”）或空格（如“game changer”）将单词粘在一起。旧工具会将它们视为两个不同的单词并标记为错误。
- 旧的方式： 像一位严厉的老师说：“你写的是‘game-changer’，但书上写的是‘game changer’。不及格！”
- OpenWER 的方式： 它像一个侦探，意识到：“嘿，这两者其实是一回事！”它能检测出这些复合词，并忽略它们连接方式上的微小差异。仅这一项功能就让某些语言的错误率降低了高达 20%。
2. “翻译”转换器
不同的语言有不同的书写方式。有时缩写形式（如“it's”）会被完整地写出来（如“it is”）。
- 旧的方式： 它将“it's”与“it is”视为错误。
- OpenWER 的方式： 它内置了一个转换器，在开始计数之前先对这些差异进行标准化处理。它会说：“好吧，它们意思一样，所以我不把它算作错误。”这使得比较更加公平，特别是对于那些资源较少的语言（低资源语言），之前的工具在这些语言上表现得非常吃力。
3. “元数据”背包
旧工具只看文本。如果计算机犯了错，它只会说“错误”。
- OpenWER 的方式： 想象一下，计算机说的每一个单词都背着一个小背包。这个背包里装着额外的信息：“我是一个名词”、“我是一个人名”或者“我有 90% 的把握我说的是这个词”。
- OpenWER 完整保留了这些背包。这使得研究人员可以提出更深层的问题，例如：“计算机在猜测名词方面是否比猜测动词做得更好？”或者“当计算机出错时，它是否表现出不自信？”
他们发现了什么？
作者使用数千个语音样本，在 52 种不同的语言上测试了这个新工具。
- 它更准确： 与目前大家都在使用的标准工具相比，OpenWER 将错误率降低了高达 25%。在某些情况下，它让结果看起来更好，因为它停止了对“虚假错误”（如缺失逗号或连字符差异）的计数。
- 它更公平： 通过更好地处理复合词和特定语言的规则，它为那些非英语语言提供了更诚实的评分。
- 它更详细： 因为它保留了“背包”（元数据），所以它不仅能告诉你得分是“多少”，还能告诉你得分是“为什么”。
唯一的代价：速度
这里存在一个权衡。旧工具就像一辆 F1 赛车——因为它们拥有特定的、高速运行的引擎（C 代码），所以速度极快。OpenWER 则像一辆可靠且功能丰富的 SUV，它是用 Python 构建的。它能做更多的事情，也做得更聪明，但它的行驶速度稍慢一些。
- 作者承认，对于大规模、实时性的速度需求，旧工具仍然更快。然而，对于研究以及获取“正确答案”的需求，OpenWER 是更好的交通工具。
核心结论
OpenWER 并没有发明一种新的测量语音的方法，它只是清理了那把“测量尺”。它防止了测量尺被连字符和大小写等琐碎细节所缠绕，从而让研究人员能够看到全球范围内语音计算机的真实表现。这是迈向确保语音计算机无论是在说英语、德语还是在说一种只有极少数人使用的语言时，都能得到公平评判的一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。