技术摘要：dots.tts

1. 问题陈述

本文针对当前文本转语音（TTS）系统的两个主要局限性提出了探讨：

1. 离散 Token 的局限性： 主流的自回归（AR）TTS 系统依赖于离散的声学 Token。虽然这允许复用大语言模型（LLM）架构，但量化瓶颈限制了系统建模涵盖语音、情感副语言、歌唱及通用音频的单一分布的能力。
2. 连续 AR 的不稳定性： 近期尝试将语音建模为连续表示自回归生成的尝试避免了量化，但面临长程误差累积的问题。不同于离散系统通过编解码器将不完美的样本“拉回”到有效配置，连续潜变量会忠实地重建每一个微小的预测误差，并将其作为下一步的条件反馈。这会导致在长序列生成过程中出现漂移和不稳定。
3. 后训练阶段尚不成熟： 连续 AR 模型的后训练技术栈不如离散 Token 系统成熟，缺乏在没有外部奖励模型的情况下纠正推理时误差的鲁棒方法。

2. 方法论

dots.tts 是一个拥有 20 亿参数、全连续、端到端自回归 TTS 基础模型。它通过三个核心架构与训练创新，在连续潜空间中对语音进行建模：

A. 语义因果音频 VAE (Semantic Causal AudioVAE)

该系统构建于一个高保真 AudioVAE 之上，将 48 kHz 单声道语音编码为 25 Hz 的 128 维潜变量流（1920× 时间下采样）。

• 架构： 使用了 BigVGAN-v2 解码器的因果变体以及全因果卷积编码器。
• 训练目标：
  • 阶段 1： 专注于重建质量，使用多周期/子带 CQT 对抗损失、多尺度梅尔频谱损失以及特征匹配损失，并通过 KL + flow 先验进行正则化。
  • 阶段 2： 增强 AR 主干的可学习性。它增加了 WavLM 表示对齐损失（帧级余弦对齐）和多任务下游模块（ASR、情感、说话人分类）。这确保了潜空间在不牺牲重建保真度的前提下，具备语义结构且易于预测。
• 语义编码器： 该模块从 AudioVAE 训练流水线中移植，将每个生成的 25 Hz VAE 潜变量块投影为单个 6.25 Hz 的音频语义嵌入。它剥离了高方差的声学细节，为 LLM 提供紧凑的语义摘要而非原始潜变量。

B. 自回归流匹配主干 (Autoregressive Flow-Matching Backbone)

主干由三个解耦的部分组成：

1. 语义编码器： 将 VAE 块转换为 LLM 输入。
2. LLM 主干： 初始化自 Qwen2.5-1.5B，消耗 BPE 文本 Token 和 6.25 Hz 的语义嵌入。它负责处理长程文本到内容的建模。
   • 双流模式： 支持 1T1A 交错模式（文本 Token 与音频步长交替），用于低延迟对话，允许在完整话语生成前即开始合成。
3. 自回归流匹配 (AR-FM) 头： 一个扩散 Transformer (DiT)，用于生成接下来的四个帧的 VAE 潜变量块。
   • 全历史条件控制： 该头以 LLM 隐藏状态、所有先前的干净块以及当前的噪声块作为条件。
   • 块因果注意力 (Block-Causal Attention)： 一种专门的训练掩码，允许在所有块之间进行并行训练，同时严格还原推理时的逐步自回归上下文，确保训练与 Rollout 之间的数值一致性。

C. 训练流水线与后训练

训练分为三个阶段：

1. 预训练：
   • 模态对齐： 使语义编码器和 AR-FM 头与冻结的 LLM 对齐。
   • 通用训练： 在 150 万小时的多语言数据上进行端到端训练。
   • 退火： 在高质量子集上进行微调。
2. 无奖励自我纠正对齐 (SOAR)：
   • 将 SOAR 概念应用于 AR 流匹配头。
   • 模型从自身的推理状态执行脱离（detached）欧拉 Rollout，以生成“偏离轨迹”的误差。
   • 随后训练模型将这些误差引导回干净的潜变量终点。这提高了鲁в性与声学质量，且无需奖励模型或外部教师。
3. CFG 感知 MeanFlow 蒸馏：
   • 将自我纠正的教师 DiT 蒸馏到学生 DiT 中。
   • 学生模型预测一个时间间隔内的平均速度，将分类器无关引导 (CFG) 直接融合进目标中。
   • 这实现了仅需 2–4 次函数评估 (NFE) 即可完成低延迟推理，消除了对独立条件/无条件传递的需求。

3. 核心贡献

1. dots.tts 模型： 一个 20 亿参数的全连续 AR TTS 系统，去除了离散声学 Token，同时实现了最先进的稳定性和零样本语音克隆质量。
2. 稳定性机制： 通过三位一体的设计来缓解连续 AR 的不稳定性：
   • 具有 WavLM 对齐的语义因果 AudioVAE。
   • 将语义规划（LLM）与声学渲染（AR-FM）解耦。
   • 用于流匹配头的无奖励自我纠正对齐。
3. 效率： 实现了 CFG 感知的 MeanFlow 蒸馏和全因果 1T1A 交错流式传输，实现了极低的首次包延迟（普通模式 85 ms，交错模式 54 ms），适用于实时部署。

4. 实验结果

模型在 150 万小时语音上进行训练，并在多个基准测试中进行了评估：

• Seed-TTS-Eval (零样本语音克隆)：

  • 在开源系统中取得了最佳的平均性能。
  • WER（字错率）： 0.94% (zh), 1.30% (en), 6.60% (zh-hard)。
  • SIM（说话人相似度）： 81.0 (zh), 77.1 (en), 79.5 (zh-hard)。
  • 超越了 CosyVoice 3、Seed-TTS 和 VoxCPM 2 等基线模型。

• MiniMax 多语言测试集 (24 种语言)：

  • 在平均说话人相似度 (83.9) 上领先，超过了表现第二的基线模型 (VoxCPM 2 为 82.3)。
  • 在 24 种语言中的 19 种语言上取得了最高的 SIM。
  • WER 具有竞争力，但由于 BPE Token 覆盖范围限制，在低资源语言上略高。

• CV3-Eval (跨语言克隆)：

  • 在跨语言任务中领先说话人相似度 (en→zh 为 75.0, zh→en 为 72.8)，显著优于 CosyVoice 3。
  • 在经过 SOAR 后训练阶段后，在 "hard-en" 子集上表现出显著提升。

• EmergentTTS-Eval (表现力)：

  • 在所有系统（包括开源和闭源）中获得了最高的句法复杂度得分 (65.7%)，超越了 Gemini-2.5-Pro。
  • 在情感 (72.7%) 以及相对于 gpt-4o-mini-tts 的整体胜率方面领先开源系统。
  • 注意到一个权衡：SOAR 提升了文本忠实度 (Syntax)，但相比预训练检查点，在情感表现力方面略有代价。

• 效率：

  • 在单张 NVIDIA H800 GPU 上，MeanFlow 蒸馏模型在交错流式模式下实现了 54 ms 的首包延迟 (TTFP)，RTF 为 0.245。

5. 意义与声明

论文声称 dots.tts 成功弥合了连续潜变量生成的高表现力与生产所需稳定性之间的鸿沟。通过将语义推理与声学渲染解耦，并引入无奖励自我纠正机制，作者证明了连续 AR TTS 可以在不使用离散量化的情况下，实现最先进的稳定性和语音克隆质量。

该工作被呈现为一个可复现的连续-AR TTS 参考堆栈，采用 Apache 2.0 协议发布，并提供完整的训练与推理代码。作者将该系统定位为实时对话应用的有效解决方案，在高质量、多语言覆盖和低延迟之间取得了平衡，而这正是以往连续模型难以同时实现的。

承认的局限性：

• 低资源语言： 由于 BPE Token 覆盖范围限制，在差异化剧本或代表性不足的语言（如阿拉伯语、印地语）上的表现有限。
• 范围： 当前版本侧重于语音；歌唱及统一的语音-声音生成尚未涵盖。
• 控制： 系统是在标准的零样本条件下评估的，缺乏显式的风格或指令控制（尽管配对字幕的数据集暗示了前进路径）。
• 安全性： 作者承认了高保真零样本语音克隆的风险，并鼓励使用感知同意的政策和检测工具。