AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis
AuEmoChat 是一个对话式语音合成框架，它通过引入离散的真实情感标记空间（经由 AuEmoCodec 实现）、一种名为 AuEmoToMe 的情感引导标记合并算法以减少冗余，以及一种用于高质量语音生成的真实情感流匹配机制，增强了情感真实性和上下文一致性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在和一个超级聪明的机器人朋友聊天。你希望它听起来像个真人，而不是一个只会读剧本的机器人。这就是**对话式语音合成（Conversational Speech Synthesis, CSS）**的世界，它是致力于让机器能够像人类一样带着情感细微差别进行交谈的计算机科学分支。长期以来，这些机器人有点像被困在盒子里、只有七套戏服的演员：愤怒、快乐、悲伤、恐惧、厌恶、惊讶和中性。如果人类感受到的是“含泪的喜悦”或“兴奋的紧张”，机器人只能在“快乐”或“悲伤”中做选择并尽力尝试。但现实生活是混乱且色彩斑斓的；我们的情感是一道完整的彩虹，而不仅仅是几种原色。此外，当机器人试图记住一段长对话以理解接下来的说话方式时，它往往会被过量的信息淹没，就像试图在一堆不断增长的干草堆中寻找一根特定的针。这篇论文解决了如何通过赋予 AI 声音更广阔的情感调色盘和更聪明的倾听方式，使其听起来真正具有人性化的问题。
AuEmoChat（意为“真实情感对话”，Authentic Emotion Chat）背后的研究人员决定解决两个让机器人声音显得虚假的主要问题。首先，他们意识到将情感限制在仅有的七个类别中，就像试图只用红色和黄色颜料来画落日；你会错过所有的橙色、紫色和粉色。其次，他们注意到当机器人试图记住长对话时，会被“冗余”信息所困扰——基本上，机器人在一遍又一遍地听同样的东西，这淹没了重要的情感线索。
为了解决这个问题，团队构建了一个拥有三个酷炫技巧的新系统。首先，他们创建了一个名为 AuEmoCodec 的工具。这个工具不再强迫情感进入那七个基本的框框里，而是从数千小时的真实人类语音中学习，以创建一个庞大的“真实情感标记（authentic emotion tokens）”库。把它想象成给机器人一本拥有数千个描述具体感受的词汇的字典，而不是只有几个模糊的词。这使得机器人能够理解并表达以前无法捕捉到的微妙且复杂的情感。
其次，他们发明了一种名为 AuEmoToMe（真实情感引导的标记合并，Authentic Emotion-guided Token Merging）的方法。想象一下你正在给朋友读一个长故事，但每当你读到无聊的部分时，你就会跳到下一个精彩的场景。AuEmoToMe 对机器人的记忆也做了类似的处理。它观察长对话的历史，并将无聊或重复的部分“合并”在一起，只保留最重要的情感线索。这防止了机器人被噪音淹没，并帮助它专注于用户现在真正的感觉。
最后，他们使用了一种名为**真实情感流匹配（Authentic Emotion Flow Matching）**的技术来进行实际的声音生成。这就像一位雕塑家，不仅是在雕刻一座雕像，而且是利用对话历史和刚刚预测出的特定情感标记来仔细引导粘土。他们甚至添加了一个“向导”来检查制作过程中的工作，确保声音始终符合预期的情感。
结果非常令人印象深刻。当他们在包含超过 384 小时对话的名为 NCSSD-EmCap 的数据集上测试 AuEmoChat 时，这个新系统击败了之前所有的顶尖机器人声音。在人类评估声音自然度和情感表现力的测试中，AuEmoChat 得分最高，其自然度得分为 4.171，情感表现力得分为 3.979（在分数越高越好的量表中）。它还减少了发音错误（将词错率降低至 9.14），并且比任何其他模型都更像预期的说话者。
作者们指出，通过摆脱有限的情感标签，转而学习一个丰富且真实的感情空间，他们在让机器人真正理解并反映人类情感方面迈出了重要的一步。他们还发现，合并对话中的冗余部分有助于机器人更好地倾听，证明了有时，更少的信息实际上对于理解更有帮助。虽然这是一个巨大的飞跃，但研究人员指出，这仅仅是个开始，他们希望未来能教会这些系统处理多种不同的语言以及更加复杂的情感状态。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。