JaiTTS: A Thai Voice Cloning Model
JaiTTS-v1.0 是一款基于 VoxCPM 架构的先进泰语语音克隆文本转语音模型，它在不进行显式文本归一化的情况下有效处理代码切换和数字，从而实现了更低的字符错误率，并在人工评估中超越了商业旗舰产品。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位能烹饪任何菜肴的大厨，但他们真正精通的只有英式料理。如果你让他们做泰国菜，他们可能会放错香料；或者如果你让他们做一道融合泰式与英式食材的菜肴，他们可能会感到困惑。
JaiTTS 就像一位全新的、专门化的泰国大厨，其训练完全基于海量的泰语语音和故事库。以下是对这篇论文关于其新成果的简要解读：
1. 问题所在：“仅懂英语”的大厨
目前市面上大多数顶尖的语音克隆工具，都像是那位“仅懂英语”的大厨。它们在英语上表现优异，但在泰语上却举步维艰。
- 口音问题：当它们尝试说泰语时，有时会搞错声调（即语言中音高的起伏变化）。
- “语码转换”的困境：在现实生活中，泰国人经常在泰语句子中夹杂英语单词（例如说“我需要查看我的 日程安排"）。现有的泰语工具往往难以处理这种混合，或者需要人工先清理文本。
- 长故事难题：某些泰语工具擅长处理短句，但一旦被要求讲述长故事，听起来就会像机器人，甚至无法完成。
2. 解决方案：JaiTTS-v1.0
团队构建了 JaiTTS-v1.0，这是一款专为泰语设计的新型语音模型。你可以将其想象为一位“超级大厨”，直接从 10,000 小时的泰语音频中学习而成。
工作原理（厨房类比）：
JaiTTS 不像使用预制食谱书（这就像使用将单词拆分成片段的“分词器”）那样运作，而是通过聆听和直接模仿来学习烹饪。
- 规划者（TSLM）：这部分负责阅读文本，决定“说什么”以及“怎么说”（包括情感和节奏）。
- 骨架（FSQ）：它构建声音的粗略轮廓，就像绘画的草图。
- 细化者（RALM）：这部分添加精细细节，例如声音的具体质感以及说话者独特的个性。
- 绘制者（LocDiT）：最后，这部分将草图和细节转化为实际平滑、连续的音频波形。
3. 特殊技能
- 无需“预清洗”：如果你输入包含数字的杂乱句子（例如“我有 500 泰铢”）或混合了英语/泰语的句子，它无需人工重写即可直接理解原始文本。
- 短故事与长故事：它既经过短句（如短信）的测试，也经过长故事（如播客片段）的测试。它能很好地处理两者，而其他泰语工具往往在长故事上表现不佳。
4. 味觉测试（结果）
团队将 JaiTTS 与其他著名的开源模型甚至顶级商业语音生成器（如 ElevenLabs 和 MiniMax）进行了对比测试。
- 准确性：在一项“听写测试”中（由计算机尝试转录所说的内容），JaiTTS 的错误率（1.94%）甚至低于它正在模仿的人类说话者（1.98%）。它的准确度如此之高！
- 语音相似度：当被要求模仿特定人物时，它表现出色，与原始声音高度吻合。
- 速度：它的速度快得惊人。它能以接近实时 9 倍 的速度生成语音。想象一下，有一位打字员，在你读完一页书的时间里，他能打完一整本书。
- 人类裁决：当 20 位真实的泰国听众在 JaiTTS 与主要商业竞争对手之间进行选择时，70% 的情况下他们更偏好 JaiTTS。在 400 次直接对比投票中，JaiTTS 赢了 283 次，仅输了 58 次。
总结
JaiTTS 是一款新型、高效的泰语语音克隆工具，它无需辅助即可理解混合语言或数字。它的声音比其它开源选项更自然、更准确，甚至在模仿真人声音的逼真度上胜过一些昂贵的商业系统，同时运行速度如闪电般迅速。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。