技术摘要：Qwen3-TTS

问题陈述

神经文本转语音（TTS）领域旨在实现稳定、可控且类人的语音合成，这一能力被视为通往通用人工智能（AGI）的关键路径。虽然基于大规模数据集训练的现代模型可以从短参考音频生成高质量语音，但在平衡稳定性与自然度、实现用于实时流式传输的超低延迟，以及在多样化语言和长文本语境下保持鲁棒性能方面仍面临挑战。现有的方法往往在分词（tokenization）过程中的语义保真度与声学丰富度之间难以权衡，或者由于复杂的基于扩散（diffusion-based）的解码器和前瞻（look-ahead）需求而面临延迟瓶颈。此外，如何将 TTS 无缝集成到大语言模型（LLM）中，以支持细粒度的指令遵循和语音克隆，同时避免对 ASR 指标的过拟合，仍然是一个重大障碍。

方法论

架构与分词

Qwen3-TTS 引入了一个基于双轨自回归架构的模型家族，专为实时合成设计。其核心创新在于开发了两个不同的语音分词器，以满足不同的延迟和质量需求：

1. Qwen-TTS-Tokenizer-25Hz： 一种强调语义内容的单码本编解码器（25 Hz）。它构建在 Qwen2-Audio 编码器之上，并增加了重采样和矢量量化（VQ）层。它利用基于流匹配（Flow Matching）的块状扩散 Transformer（DiT）进行波形重建。该分词器集成了语义和声学线索，能够与 Qwen-Audio 无缝集成，并通过滑动窗口块注意力机制支持流式传输。然而，其单码本设计和前瞻需求限制了其在超低延迟应用中的适用性。
2. Qwen-TTS-Tokenizer-12Hz： 一种具有 16 层残差矢量量化（RVQ）设计的多码本编解码器（12.5 Hz）。第一个码本捕捉语义内容，随后的层则对声学细节进行建模。受 Mimi 架构启发，它采用了带有教师-学生（WavLM）设置的 GAN 训练框架来处理语义路径。至关重要的是，它使用了完全因果（fully causal）的特征编码器和解码器，允许在无需前瞻的情况下立即发射首个数据包。波形重建由轻量级因果卷积网络（ConvNet）处理，消除了对说话人向量提取或复杂扩散模型的需求。

模型架构

Qwen3-TTS 模型利用了 Qwen3 大语言模型（LM）家族。

• 双轨表示： 文本和声学 token 沿通道轴进行拼接。在接收到文本 token 后，模型会预测相应的声学 token，随后由 Code2Wav 模块将其转换为波形。
• 分层预测（12Hz 版本）： 主干网络预测第零层码本，而多 token 预测（MTP）模块生成所有残差码本，从而捕捉复杂的声学细节并增强语音一致性。
• 说话人控制： 一个可学习的说话人编码器与主干网络进行联合训练，以保持精确的身份控制。该系统支持通过参考语音（说话人嵌入）或文本-语音对（上下文学习）进行语音克隆，同时也支持通过自然语言描述进行语音设计。

训练策略

训练过程包括预训练和后训练阶段，所有数据均采用 ChatML 格式：

1. 预训练：
   • 通用阶段 (S1)： 在超过 500 万小时的多语言语音数据上进行训练，以建立单调的文本到语音映射。
   • 高质量阶段 (S2)： 在分层的高质量数据上进行持续预训练（CPT），以减少幻觉并提高语音质量。
   • 长上下文阶段 (S3)： 将 token 长度从 8,192 增加到 32,768，并通过对长语音数据进行上采样，以增强上下文处理能力。
2. 后训练：
   • 直接偏好优化 (DPO)： 使用构建的偏好对使输出符合人类偏好。
   • 基于规则的奖励与 GSPO： 增强各项任务中的能力和稳定性。
   • 轻量级说话人微调： 使基础模型适应特定声音，同时提高自然度和可控性。
   • 指令遵循： 在训练中引入了一种概率激活的思维模式，以提高对复杂描述的遵循能力。

核心贡献

1. 双分词器框架： 引入了两个专门的分词器（25Hz 用于高保真语义集成，12Hz 用于超低延迟流式传输），使模型能够在表达能力与实时性能之间取得平衡。
2. 超低延迟流式传输： 12Hz 版本通过使用因果、多码本设计，实现了极低的首次数据包延迟（0.6B 模型为 97 ms，1.7B 模型为 101 ms），从而能够立即发射波形。
3. 高级可控性： 模型支持 3 秒语音克隆、预定义语音配置文件，以及通过自然语言描述对语音创建（Voice Design）和编辑（Target Speaker）进行的细粒度控制。
4. 鲁棒的多语言性能： 在超过 500 万小时、涵盖 10 种语言的数据上进行训练，该模型展示了说话人一致的多语言生成能力和卓越的跨语言语音迁移能力。
5. 长文本稳定性： 该架构解决了自回归模型中常见的稳定性问题，能够无缝生成超过 10 分钟的流畅语音，避免了块状系统（chunk-based systems）常见的伪影问题。

实验结果

语音分词器评估

• 25Hz 分词器： 在 ASR 任务（CommonVoice, Fleurs）上取得了与 S3 分词器系列相当或更优的词错率（WER），尤其是在第一阶段。第二阶段的 WER 略有上升，这是由于为了获得更好的 TTS 生成效果而刻意在声学丰富度方面进行了权衡。
• 12Hz 分词器： 在 LibriSpeech test-clean 集的所有指标（PESQ, STOI, UTMOS, SIM）上，在语音重建方面创下了新的纪录，超越了 Mimi、SpeechTokenizer 和 X-Codec 等模型，同时保持了极高的编码效率。

语音生成评估

• 零样本克隆： 在 Seed-TTS 基准测试中，Qwen3-TTS-12Hz-1.7B 的 WER 分别为 1.24（英语）和 0.77（中文），优于 CosyVoice 3、Seed-TTS 和 MiniMax-Speech 等基准模型。
• 多语言生成： 与 MiniMax 和 ElevenLabs 相比，该模型在 10 种语言中的 6 种语言（包括中文、英文、韩文、俄文）中实现了最低的 WER，并在所有 10 种语言中获得了最高的说话人相似度得分。
• 跨语言迁移： 展示了卓越的泛化能力，与 CosyVoice 3 相比，在中译韩生成中的错误率降低了约 66%。
• 可控生成： 在 InstructTTSEval 上，12Hz Voice Design 版本在描述-语音一致性（DSD）和响应精准度（RP）方面优于开源模型和商业系统（Hume, VoiceSculptor）。在目标说话人编辑（Target Speaker editing）方面，它显著优于 GPT-4o-mini-tts。
• 长文本生成： 25Hz 版本在 10 分钟长文本测试集中实现了最低的 WER（中文 1.533，英文 1.571），展示了优于 Higgs-Audio-v2 和 VibeVoice 等块状系统的稳定性。

效率

• 流式延迟： 在单并发条件下，12Hz 模型的首次数据包延迟（97–101 ms）明显低于 25Hz 模型（138–150 ms）。
• 并发性： 模型在不同并发水平（1, 3, 6）下均能保持稳定的性能，其中 12Hz 版本显示出更低的每个数据包稳态成本。

意义

论文声称，Qwen3-TTS 代表了迈向稳定、可控且类人语音合成的重要一步。通过在单一自回归框架内统一多样化的任务——零样本克隆、跨语言迁移和细粒度指令控制——它为下一代全能型音频系统铺平了道路。发布这两个模型及其分词器（采用 Apache 2.0 许可证）旨在促进社区研究以及开发更自然、更易获取的人机交互界面。这项工作强调，结合语义与声学分词、因果解码以及先进的训练策略，可以克服以往 TTS 架构中的延迟与稳定性限制。