Crowdsourced Multilingual Speech Intelligibility Testing
本文通过提出一种众包评估方法，详细阐述其实验设计，并展示多语言语音数据的收集、公开发布及初步结果，从而解决了缺乏可扩展的多语言语音可懂度测试的问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一个机器人理解人类语言，但由于背景噪音或连接质量不佳，机器人总是感到困惑。为了解决这个问题，工程师们需要测试机器人的声音听起来有多清晰。几十年来，测试这种效果的唯一方法是将人们锁在一个隔音室里，戴上高端耳机，并在实验室里聆听单词。这就像是通过只让少数专业厨师在无菌厨房里品尝一碗新汤来评判它的味道一样。虽然准确，但速度慢、成本高，且无法快速规模化。
然而，一波新的“生成式”音频技术正在改变这一局面。这些智能算法不仅能清除噪音，还能通过“猜测”并创造缺失的语音部分来使声音变得更好。问题在于，这些新工具可能会在不经意间将一个声音替换成另一个听起来相似但意思完全不同的声音（比如把“f”变成“p”）。为了捕捉这些狡猾的错误，我们需要一种大规模、快速且廉电的方法来测试语音清晰度——即理解所说内容的能力——并跨越多种语言进行测试。这就是“众包”（crowdsourcing）理念发挥作用的地方：与其依靠实验室里的少数专家，不如利用互联网上的成千上上万普通听众来倾听并告诉我们他们听到了什么，从而将整个世界变成一个巨大的、多样化的测试场。
在这篇论文中，来自思科系统（Cisco Systems）的研究员 Laura Lechler 和 Kamil Wojcicki 提出了一种测试语音清晰度的新方法，即将经典的实验室测试转移到互联网上。他们想看看，通过要求普通人在众包平台上玩一个简单的猜词游戏，是否能获得可靠的结果，而不是去雇佣实验室里昂贵的专家。
他们选择的测试被称为诊断性辨音测试（Diagnostic Rhyme Test, DRT）。你可以把它想象成一个针对耳朵的“找不同”游戏。计算机播放一个单词，比如“bat”（蝙蝠），然后在屏幕上给出两个选项：“bat”或“pat”（拍打）。你只需要点击你听到的那个即可。这些单词经过精心挑选，彼此之间仅有一个微小的发音差异（比如“b”和“p”的区别），这有助于精准定位算法可能出错的地方。研究人员收集了涵盖五种语言的词表：英语、西班牙语、法语、德语和中文普通话。
为了让这项工作在网上顺利进行，他们必须非常巧妙。他们录制了母语者的发音，对音频进行了处理，并将它们放入了一个名为 Prolific 的网站调查中。他们为参与者支付了优厚的报酬（每小时超过 8 美元），并加入了特殊的“陷阱”问题，以确保人们是在认真听，而不是在随机点击。他们还确保参与者佩戴了耳机并且听力正常。
团队运行了四项不同的实验，以验证这个“互联网实验室”是否真的有效。首先，他们将在线结果与使用西班牙语说话者的传统实验室测试进行了对比。他们发现，虽然在线组的总分略低（这可以理解，因为他们并非处于完美的安静房间中），但在线测试非常擅长捕捉好音频与坏音频之间的“差异”。例如，当他们测试一种压缩音频格式（NB PCMU）时，无论是实验室专家还是在线人群，都一致认为它比高质量版本要差，尽管在线人群给出的绝对分数整体较低。
接下来，他们检查了测试的一致性。他们让同一批人重复进行了两次相同的测试，并让另一组全新的受试者进行了测试。结果几乎完全一致，这表明该测试是可靠且可重复的，就像一个优秀的科学实验一样。他们还在英语环境下测试了两种不同的音频压缩格式（AMR-WB 和 AMR-NB）。在线测试的结果完美契合了旧版实验室研究中的模式，表明“大众”能够像专家一样分辨出这两种编解码器之间的区别。
最后，他们在所有五种语言中进行了测试。他们发现，在线测试成功检测出了英语、德语、西班牙语和法语中因压缩导致的音频质量下降。有趣的是，对于高度依赖声调而非仅仅是辅音的中文测试，压缩似乎并没有显著损害其清晰度。这很合理，因为即使在音频质量降低的情况下，承载音调的“音高”依然得到了保留。
作者得出结论，这种众包方法是一种有效、高性价比且快速的测试语音清晰度的方法。虽然绝对得分可能比在完美实验室中稍低（可能是因为人们是在嘈壮的厨房里而不是在隔音室里聆听），但其“相对”结果是非常精准的。他们证明了可以利用互联网获取多样化、全球化的听众群体，从而快速测试新的音频算法。他们甚至向公众开放了他们的词表和音频录音，以便其他研究人员可以利用这些资源来衡量自己的工作水平。这是在确保随着我们的 AI 语音变得越来越聪明，它们也能为世界各地的人们保持清晰且易于理解的一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。