Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions
本文引入了一个具有语言学依据的、维度层面的文本转语音系统元评估基准，旨在揭示当前的自动评估器（包括 MOS 预测器和 Audio-LLM 裁判）无法可靠地捕捉除基础声学质量之外的完整感知语音维度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在教一个机器人说话。你想让它听起来像个真人，而不是一个有故障的游戏角色。但你如何知道这个机器人做得好不好呢？长期以来，科学家们一直使用一种“平均主观评分”（Mean Opinion Score, MOS）。你可以把它想象成一份学校成绩单，人类听众根据机器人的自然程度给出一个单一的分数，比如“B”或“5分制中的4分”。最近，我们开始使用超级智能的AI评委（称为音频大语言模型，Audio-LLMs）来自动给出这些评分，希望能节省我们去请人类听取成千上万条录音的时间。
核心问题在于：这些自动评委真的理解声音为什么听起来不好吗？是因为机器人读错了单词？是因为它说话太快了？还是因为机器人的声音听起来太像机器人了？如果AI评委只给出一个“B”，却不知道具体是哪些地方出了问题，那就好比一位老师给学生的数学考试打了低分，却没告诉学生是加法、减法还是乘法出错了。这篇论文深入探讨了我们目前的自动评委是否真的足够聪明，能够识别出这些具体的错误，还是仅仅根据音频听起来有多“嘈杂”来进行猜测。
ServiceNow的研究人员决定对这些自动评委进行一项非常具体的测试。他们构建了一个由860个语音样本组成的庞大定制数据集，但他们并不是随机录制句子。他们就像疯狂科学家一样，刻意在语音中注入了特定类型的错误。他们创造了10种不同“口味”的错误，范围从微小的词级错误（比如把“cat”说成“bat”）到更大的问题，比如说话时的情感不对，或者声音听起来在物理上是人类无法发出的。然后，他们让受过训练的人类语言学家听完每一个片段，并准确地标注出了到底哪里出了错。
拿着这份完美的“标准答案”，他们测试了四种不同类型的自动MOS预测器和四种不同的Audio-LLM评委。他们要求这些AI模型在不同条件下进行评分：有时只是询问一个通用的“自然度”分数，有时则给它们一份详细的清单，列出要检查的10种特定错误类型。
结果令人警醒。传统的MOS预测器（那些只给出一个数字的预测器）表现得就像一个只能在起火时报警、却会忽略破窗户的烟雾探测器。它们非常擅长发现明显的、低层级的故障，比如机器人的嗡嗡声或奇怪的静电噪音（论文中称之为“人类合理性”错误），但对于更具语言学特征的错误却完全视而不见。如果机器人读错了单词，或者重音放错了音节，MOS预测器往往根本不在意，即使人类听众已经感到尴尬，它仍会给出高分。
Audio-LLM评委则更为复杂。它们展现出了一定的识别错误能力，但前提是你必须用正确的方式去询问。当研究人员仅仅问它们“这自然吗？”时，这些AI评委的表现并不稳定，并且会漏掉很多特定的错误。然而，当研究人员给AI一份详细的“参考指南”（模式/schema），列出要检查的10个维度时，评委们在识别词级错误方面变得出色多了。但这里有一个陷阱：如果你要求AI同时检查所有10个维度，它往往会感到困惑并发生崩溃，对所有内容都给出相同的评分。当要求它专注于某一种特定类型的错误时，它的表现最好。
最终，这篇论文表明，我们不能仅仅依靠一个单一的“自然度”分数来判断一个文本转语音（TTS）系统的好坏。目前的自动评委就像是那些擅长发现书桌凌乱、却看不出拼写错误的同学。它们倾向于关注录音的音质，而不是实际所说的语言。作者得出结论，要真正改进这些系统，我们不能再将“自然度”视为一个巨大的谜团，而应该通过分别观察语音的每个特定维度——发音、重音、情感和语速——来进行评估。在我们做到这一点之前，我们的自动评委可能会给一个听起来像人、但实际上说错了词的机器人打出及格分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。