🤖 AI

End-to-End Training for Discrete Token LLM based TTS System

本文提出了一种全端到端训练框架，通过联合优化语音分词器、自回归大语言模型、流匹配模型和奖励模型来统一基于离散标记的 TTS 组件，与传统的级联方法相比，该框架在实现新的最先进性能的同时，显著简化了流水线。

原作者： Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：从接力赛到交响乐

想象一下，构建一个文本转语音（TTS）系统（即让计算机朗读文本的系统）就像在组建一支接力赛队伍。

旧方法（级联流水线）：
在大多数现有系统中，你有三位独立的跑者：

翻译官（分词器/Tokenizer）： 将声音转化为一组数字组成的秘密代码（标记/tokens）。
预测员（大语言模型/LLM）： 阅读文本并猜测该秘密代码中的下一个数字。
歌手（流匹配模型/FM Model）： 将这些猜出的数字重新转化为声波。

问题在于？这三位跑者是分开训练的。翻译官训练目标是做好语音识别（ASR），预测员训练目标是猜测数字，而歌手训练目标是重建声音。他们在练习期间从未交流过。当他们最终一起比赛时，会因为互不了解彼此的风格而踉跄跌倒。这就像是一个翻译官所使用的方言，预测员听不懂，从而导致最终表演一团糟。

新方法（端到端训练）：
本文提出，将所有三位跑者（加上一位教练）放在一起进行一次大型、统一的练习赛。他们学习说同一种语言，预判彼此的动作，并实时调整自己的表现。

角色介绍

语音分词器（翻译官）：
- 职责： 它将人类的声音切碎成微小的、离散的“乐高积木”（标记）。
- 旧有问题： 它以前是为“人类”设计的优秀翻译官（例如用于语音转文字应用），而不是专门为计算机的下一步操作设计的。
- 改进方案： 在这个新系统中，翻译官学习制作专门为预测员和歌手使用的乐高积木。
大语言模型（预测员）：
- 职责： 它阅读你输入的文本，并预测实现该文本所需的乐高积木序列。
- 旧有问题： 它曾被训练去猜测“最可能”出现的积木，这往往会让声音听起来平淡、乏味或显得“平庸”。
- 改进方案： 它能从歌手和教练那里获得即时反馈，了解它的猜测是否真的听起来很好，而不仅仅是统计学上的概率是否正确。
流匹配模型（歌手）：
- 职责： 它接过乐高积木，并构建出实际的语音波形。
- 旧有问题： 它是在“完美”的积木（来自真实数据）上训练的，但在现实中，预测员会犯错。因此，当面对不完美的积木时，歌手会崩溃。
- 改进方案： 它学会了即使在积木略有瑕疵的情况下也能歌唱，使系统更加稳健。
奖励模型（教练）：
- 职责： 这是一个新增角色。它倾听输出内容并检查三件事：“他们说对词了吗？”（ASR/语音识别）、“听起来像同一个人吗？”（说话人识别/Speaker ID）以及“听起来有情感吗？”（情感/Emotion）。
- 角色： 它充当裁判，为准确的发音和风格打分，引导整个团队走向更好的表现。

如何训练：三阶段排练

作者并没有直接把所有人扔进赛场，而是使用了一个聪明的三阶段训练流程来保持稳定性。

第一阶段：基础建设（一阶损失/First-Order Loss）

类比： 想象翻译官、预测员和歌手都在看着同一份“完美的剧本”和“完美的录音”。
过程： 他们共同学习。翻译官学习制作易于预测员猜测且易于歌手使用的积木。教练在一旁观察，确保积木承载了正确的含义和情感。
目标： 让大家步调一致，防止翻译官制造出让其他人困惑的“坏”积木。

第二阶段：独立练习

类比： 翻译官现在成为了大师，停止改变。预测员和歌手开始各自练习，但他们被允许使用不同的数据集（例如，歌手在嘈杂的录音上练习，而预测员在干净的录音上练习）。
目标： 在不破坏翻译官编码的前提下，微调歌手和预测员的具体技能。

第三阶段：全套彩排（二阶损失/Second-Order Loss）

类比： 这是正式比赛。预测员现在被允许犯错（使用猜测的积木而非完美的积木）。歌手和教练必须应对这些不完美的猜测。
神奇之处： 如果预测员猜错了积木，歌手和教练会向预测员发送信号：“这个猜测让声音听起来很差，再试一次。”
目标： 这闭合了反馈环。预测员学会了做出歌手能够处理的猜测，而歌手学会了对错误具有鲁棒性。这消除了“训练与测试不匹配”（即系统在练习时表现良好，但在现实世界中失效）的问题。

结果：为什么这很重要

论文声称，通过让所有人共同训练，系统变得显著更好。

更高的准确度： 在一项标准测试（Seed-TTS）中，他们的系统在发音错误方面极少出错（中文词错率为 0.78%，英文为 1.56%）。这创下了新的“最先进水平”（SOTA）记录。
更小的模型： 他们使用相对较小的模型（预测员 0.6B 参数，歌手 0.5B 参数）就实现了这一目标，证明了如果你训练得当，并不需要一个庞大臃肿的系统也能获得极佳效果。
更丰富的信息： 该系统创建的“乐高积木”（标记）更聪明。它们包含了更多关于声音和意义的有用信息，并且更高效地利用了现有的“码本”（所有可能的积木集合），避免了系统只使用少数常见积木而忽略其他积木的问题。

总结

本文认为，过去构建 TTS 系统的方法——即分别构建各个部分并寄希望于它们能契合在一起——是低效的。通过将整个系统视为一个巨大的、相互关联的有机体进行端到端训练，你可以获得更准确、更有表现力且更易于训练的声音，即使使用的是较小的计算机模型。这就像是陌生人试图凑合着合奏一首歌，与一支已经共同排练了数月每一个音符的乐队之间的区别。

技术摘要：基于离散 Token 的端到端训练 TTS 系统

问题陈述

当前最先进（SOTA）的文本转语音（TTS）系统通常依赖于一个级联流水线，包括语音分词器（speech tokenizer）、自回归大语言模型（LLM）以及基于扩散的流匹配（flow-matching, FM）模型。这些组件传统上是独立设计和训练的，从而导致了三个主要局限性：

目标不一致： 分词器使用代理目标（例如 ASR 准确率、SSL 表示质量或自编码保真度）进行预训练，这些目标可能与下游自回归 Token 预测或 FM 重构的需求并不一致。这通常会导致次优的端到端行为，即增加 Token 的表达能力（例如更大的码本）虽然有利于重构，但会增加 LLM 的学习难度。
Token 表示不透明： 由于神经网络的黑盒性质，编码在离散 Token 中的信息难以解耦。Token 通常包含纠缠、冗余且不可控的变异因子（例如混合了说话人属性与语义内容的特征），这引入了歧义并降低了合成的可控性。
训练-测试不匹配： FM 模型通常是在地面真值（ground-truth）Token 上而非 LLM 预测的 Token 上进行训练的。因此，LLM 输出中的误差和分布偏移会传播到 FM，从而降低推理时的合成质量。此外，仅以最大化 Token 似然为目标的 LLM 往往会收敛到“安全”且“平均”的生成结果，无法捕捉富有表现力的 TTS 所需的多样化韵律和风格。

尽管最近的研究尝试进行部分联合优化（例如将分词器与扩散模型耦合，或将 LLM 与奖励模型耦合），但现有方法往往无法实现系统的整体优化，导致独立训练的组件之间存在接口不一致和训练-测试不匹配的问题。

方法论

本文提出了一个完全端到端（E2E）优化的框架，统一了语音分词器、LLM、FM 模型以及辅助奖励模型（RM）的训练。该框架利用两种不同的损失函数和一个三阶段训练流水线。

核心组件

语音分词器： 使用有限标量量化（Finite Scalar Quantization, FSQ）将语音信号转换为离散 Token 序列（ $c_{1:T}$ ）和量化表示（ $q_{1:T}$ ）。
奖励模型 (RM)： 一个多任务识别模型，在 Token 表示上执行自动语音识别（ASR）、说话人情感识别（SER）和说话人识别（SPK）。
流匹配 (FM) 模型： 一个扩散 Transformer（DiT），用于从 Token 表示中重构语音。
大语言模型 (LLM)： 一个自回归模型，根据输入文本和之前的 Token 预测下一个语音 Token。

损失函数

一阶损失 ( $L_1$ )：
- 目标： 使用地面真值 Token 联合优化分词器。
- 组成部分：
  - $L_{LLM}$ ：下一 Token 预测损失。
  - $L_{RM}$ ：ASR (CTC)、SER (交叉熵) 和 SPK (余弦相似度) 损失之和。
  - $L_{FM}$ ：流匹配重构损失。
- 机制： 来自这些任务的梯度直接反向传播到分词器，从而塑造离散 Token 空间，使其在声学和语义上对于特定的 TTS 流水线具有显著性。
二阶损失 ( $L_2$ )：
- 目标： 在其自身的生成分布下优化 LLM，以缓解训练-测试不匹配。
- 机制： LLM 生成 Token 序列（使用 Gumbel-Softmax 以保证可微性），这些序列被输入到 FM 和 RM 中。随后根据这些预测的 Token 的重构质量（ $L_{LFM}$ ）和识别一致性（ $L_{LRM}$ ）对系统进行优化。
- 效果： 这起到了一种强化学习式的对齐作用，鼓励 LLM 生成的 Token 不仅准确，而且对下游重构和识别需求具有鲁棒性。

训练流水线

训练分为三个阶段以确保稳定性：

阶段 1： 所有参数均可训练，使用 $L_1$ 。目标是利用来自 RM、FM 和 LLM 的下游监督来训练分词器。
阶段 2： 冻结分词器。独立训练 RM、FM 和 LLM（可能使用不同的数据集，例如为 RM 添加噪声数据）。
阶段 3： 冻结 RM。使用 $L_2$ （二阶损失）联合训练 LLM 和 FM，使 LLM 的生成分布与 FM 的重构能力相对齐。

核心贡献

整体 E2E 框架： 本文引入了一个统一的训练框架，能够同时优化分词器、LLM、FM 和 RM，超越了级联式、独立训练流水线的局限性。
双阶段优化： 一阶损失（用于分词器塑造的地面真值监督）与二阶损失（用于生成感知的 LLM 对齐的生成监督）之间的区别，同时解决了表示学习和推理时匹配的问题。
理论分析： 作者将语音分词器训练形式化为一个源编码问题，证明了所提出的 E2E 目标能最大化 Token 熵（ $H(X_n)$ ）和时间依赖性（ $I(X_{n+1}; X_n)$ ），从而实现更高效的码本利用和更好的预测信息保留。
简化的训练流水线： 该方法通过比现有的复杂级联系统更简单的训练过程，实现了 SOTA 性能。

实验结果

系统在 Seed-TTS-Eval 基准上进行了评估，使用了 0.6B 参数量的 LLM 和 0.5B 参数量的 FM 模型。

Zero-Shot TTS 性能：
- 实现了 0.78% 的字错率（中文）和 1.56% 的字错率（英文）。
- 这些结果代表了同等参数规模系统的新 SOTA，在内容一致性（WER/CER）和说话人相似度（SS）方面均优于级联基线模型和其他近期模型（如 Seed-TTS, CosyVoice3, Qwen3-TTS）。
重构与识别：
- FM 模型在训练阶段之间显示出显著的 WER 和说话人相似度（SS）提升，特别是在引入与分词器的联合训练后。
- RM 展示了鲁棒的 ASR 和 SER 性能，在中文 ASR 任务上优于 S3-tokenizer 和 Qwen-TTS-tokenizer。
消融实验：
- 移除 E2E 训练（即独立预训练分词器）会导致性能下降，证实了联合优化的关键作用。
- 对 Token 分布的统计分析表明，与未包含 $L_{LLM}$ 或 $L_{FM}$ 的模型相比，E2E 训练带来了更高的信息熵和更均匀的码本利用率。

意义

论文声称，整体端到端优化对于改进基于离散 Token 的 TTS 系统至关重要。通过将分词器的表示学习直接与 LLM 和 FM 的需求对齐，该系统克服了级联方法中固有的不一致和训练-测试不匹配问题。研究结果验证了，通过统一优化所有组件的更简单训练流水线，可以获得媲美甚至优于当前 SOTA 系统的性能，同时显著降低了训练基础设施的复杂度。