← 最新论文
⚡ 电气工程

21Codec: Decoder-side Speaker Control for Text-to-Speech

该论文提出了 21Codec,这是一种流式文本转语音模型,通过使用对抗训练和数据增强来最小化标记流中的说话人信息,从而确保不同分块间说话人身份的一致性,进而实现了鲁棒的解码端说话人控制。

原作者: David Lindevelt, Suzan Verberne, Joost Broekens

发布于 2026-11-19
📖 1 分钟阅读☕ 轻松阅读

原作者: David Lindevelt, Suzan Verberne, Joost Broekens

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

想象这样一个世界:计算机能够阅读一个句子,并用一个听起来与特定人物完全一致的声音将其朗读出来,甚至包括其独特的音调和节奏。这就是现代文本转语音技术的愿景,该领域已经从机械的哔哔声进化到了近乎人类的真实感。这种能力的核心在于一个被称为音频压缩或编解码器(codec)的关键步骤。可以将这个过程想象成一个翻译员,将原始声波转换为紧凑的数字标记流,就像将一部长篇小说变成一系列速记笔记一样。这些笔记随后被发送到解码器,由其重建声音。多年来,这些系统一直运行良好,但在要求实时说话时却遇到了障碍。为了跟上实时对话,计算机必须以微小且快速的爆发式进行声音处理。问题在于,当系统试图仅根据这些微小的爆发来猜测说话者是谁时,它经常会迷失方向,导致声音在说话过程中出现波动或漂移到另一种身份。

荷兰莱顿大学的研究人员利用一种名为 21Codec 的新系统解决了这种不稳定性。他们的工作针对了当前机器处理语音身份方式中的一个根本性缺陷。在现有的模型中,计算机通过查看它目前已生成的整个笔记序列来试图确定说话者是谁。当系统被迫进行实时工作时,它一次只能看到这些笔记中的一小块。因此,它会为每一个单独的小块重新猜测说话者的身份,而这些猜测往往相互冲突,导致声音听起来像是对自己应该是谁产生了动摇。研究人员认为,这并不是解码声音的问题,而是信息存储方式的问题。他们提议,语音的身份不应该隐藏在笔记本身之中等待被猜测,而应该作为一项独立的指令直接提供给解码器。

为了实现这一点,团队构建了一个系统,在将数字笔记发送到解码器之前,主动剥离其中的说话者身份。他们使用一种涉及“教师”的巧妙技术来训练模型,这个“教师”试图从笔记中识别出说话者。模型通过学习如何欺骗这个“教师”,从而有效地将说话者的身份隐藏在压缩数据流中。该系统不再依赖笔记来携带声音,而是使用一个单独的控制信号——即目标说话者的特定数字指纹——来引导重建。这个信号被应用于过程的最末端,确保无论数据块有多小,声音从第一个词到最后一个词都能保持一致。研究人员通过测试发现,只需取一段笔记序列并使用不同的声音指纹进行回放,就能成功改变说话者,而不改变单词或句子的含义。

结果表明,这种方法在保持稳定声音方面效果显著。当系统以微小的实时数据块进行解码时,声音不会发生漂移,而在之前的模型中,声音会在不同说话者之间发生明显的切换。团队发现,他们甚至可以在音频生成过程中,通过更换控制信号来改变说话者身份,而无需发送任何额外数据或增加文件大小。然而,这种控制能力的提升也带来了一定的权衡。虽然声音听起来很自然且说话者身份很稳定,但与那些不剥离说话者信息的模型相比,该系统在保留精确单词方面的准确性略有下降。研究人员通过检查计算机误听单词的频率测量了这一点,发现错误率略有上升,尽管整体声音质量仍然很高。

这项工作表明,如果文本转语音系统要成为实时应用(如实时翻译或交互式助手)中真正可靠的技术,它们处理语音身份的方式需要发生改变。通过将定义说话者的责任从压缩笔记转移到外部控制信号,系统避免了导致声音漂移的混乱。研究人员承认,他们的模型仍在完善中,并且由于预算限制提前停止了训练,因此他们报告的数据可能是保守的。尽管如此,他们的发现提供了一条清晰的前行之路:建立一个让声音不再是需要从少量笔记中破解的谜题,而是由机器明确做出的选择的系统,从而确保说话的人从始至终都是同一个人。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →