Technisches Resümee: End-to-End-Training für diskrete Token-basierte LLM-TTS-Systeme

Problemstellung

Der aktuelle Stand der Technik (SOTA) bei Text-to-Speech (TTS)-Systemen besteht typischerweise aus einer kaskadierten Pipeline, die aus einem Sprach-Tokenizer, einem autoregressiven Large Language Model (LLM) und einem diffusionsbasierten Flow-Matching (FM)-Modell besteht. Diese Komponenten werden traditionell unabhängig voneinander konzipiert und trainiert, was zu drei primären Einschränkungen führt:

1. Fehlende Zielausrichtung (Misaligned Objectives): Tokenizer werden mit Proxy-Zielen vortrainiert (z. B. ASR-Genauigkeit, SSL-Repräsentationsqualität oder Autoencoding-Fidelität), die möglicherweise nicht mit den nachgelagerten Anforderungen der autoregressiven Token-Vorhersage oder der FM-Rekonstruktion übereinstimmen. Dies führt häufig zu einem suboptimalen End-to-End-Verhalten, bei dem eine höhere Ausdrucksstärke der Token (z. B. größere Codebooks) zwar die Rekonstruktion begünstigt, aber die Lernschwierigkeit für das LLM erhöht.
2. Undurchsichtige Token-Repräsentationen: Aufgrund der Black-Box-Natur neuronaler Netze ist die in diskreten Token kodierte Information schwer zu entwirren. Token enthalten oft verschränkte, redundante und unkontrollierbare Variationsfaktoren (z. B. Mischung aus Sprecherattributen und semantischem Inhalt), was zu Ambiguität in der Vorhersage führt und die Synthese-Kontrollierbarkeit reduziert.
3. Trainings-Test-Mismatch: Das FM-Modell wird typischerweise auf Ground-Truth-Token trainiert und nicht auf den vom LLM vorhergesagten Token. Infolgedessen propagieren Fehler und Verteilungsverschiebungen in den LLM-Ausgaben zum FM, was die Synthesequalität zur Laufzeit verschlechtert. Darüber hinaus neigen LLMs, die ausschließlich darauf trainiert sind, die Token-Likelihood zu maximieren, dazu, zu „sicheren“ und „durchschnittlichen“ Generierungen zu konvergieren, wodurch sie die vielfältige Prosodie und den Stil, die für expressive TTS erforderlich sind, nicht erfassen können.

Obwohl jüngste Studien versucht haben, eine partielle gemeinsame Optimierung durchzuführen (z. B. Kopplung von Tokenizern mit Diffusionsmodellen oder LLMs mit Reward-Modellen), versäumen es bestehende Ansätze oft, das System ganzheitlich zu optimieren, wodurch Inkonsistenzen an den Schnittstellen und Train-Test-Mismatches in den unabhängig trainierten Komponenten bestehen bleiben.

Methodik

Das Paper schlägt ein vollumfängliches End-to-End (E2E) Optimierungsframework vor, das das Training des Sprach-Tokenizers, des LLM, des FM-Modells und eines Hilfs-Reward-Modells (RM) vereinheitlicht. Das Framework nutzt zwei unterschiedliche Verlustfunktionen und eine dreistufige Trainingspipeline.

Kernkomponenten

• Sprach-Tokenizer: Verwendet Finite Scalar Quantization (FSQ), um Sprachsignale in diskrete Tokensequenzen ($c_{1:T}$) und quantisierte Repräsentationen ($q_{1:T}$) umzuwandeln.
• Reward-Modell (RM): Ein Multi-Task-Erkennungsmodell, das automatische Spracherkennung (ASR), Sprecher-Emotionserkennung (SER) und Sprecheridentifikation (SPK) auf den Token-Repräsentationen durchführt.
• Flow-Matching (FM)-Modell: Ein Diffusion Transformer (DiT), der Sprache aus den Token-Repräsentationen rekonstruiert.
• Large Language Model (LLM): Ein autoregressives Modell, das den nächsten Sprach-Token unter Bedingung des Eingabetextes und der vorherigen Token vorhersagt.

Verlustfunktionen

1. First-Order Loss ($L_1$):

   • Ziel: Optimiert den Tokenizer gemeinsam unter Verwendung von Ground-Truth-Token.
   • Komponenten:
     • $L_{LLM}$: Next-Token-Prediction-Loss.
     • $L_{RM}$: Summe der ASR (CTC), SER (Cross-Entropy) und SPK (Cosine Similarity) Verluste.
     • $L_{FM}$: Flow-Matching-Rekonstruktionsverlust.
   • Mechanismus: Gradienten aus diesen Aufgaben werden direkt an den Tokenizer zurückpropagiert, um den diskreten Token-Raum akustisch und semantisch für die spezifische TTS-Pipeline zu formen.

2. Second-Order Loss ($L_2$):

   • Ziel: Optimiert das LLM unter seiner eigenen Generationsverteilung, um den Train-Test-Mismatch zu mildern.
   • Mechanismus: Das LLM generiert Tokensequenzen (unter Verwendung von Gumbel-Softmax zur Differenzierbarkeit), die in das FM und das RM eingespeist werden. Das System wird dann basierend auf der Rekonstruktionsqualität ($L_{LFM}$) und der Erkennungskonsistenz ($L_{LRM}$) dieser vorhergesagten Token optimiert.
   • Effekt: Dies fungt als eine Art Reinforcement-Alignment, das das LLM dazu ermutigt, Token zu generieren, die nicht nur akkurat sind, sondern auch robust gegenüber nachgeschalteten Rekonstruktions- und Erkennungsanforderungen.

Trainingspipeline

Das Training erfolgt in drei Stufen, um Stabilität zu gewährleisten:

1. Stufe 1: Alle Parameter sind trainierbar unter Verwendung von $L_1$. Das Ziel ist es, den Tokenizer mit Downstream-Supervision durch das RM, FM und LLM zu trainieren.
2. Stufe 2: Der Tokenizer wird eingefroren. Das RM, FM und LLM werden unabhängig trainiert (potenziell mit unterschiedlichen Datensätzen, z. B. Hinzufügen verrauschter Daten für das RM).
3. Stufe 3: Das RM wird eingefroren. Das LLM und das FM werden gemeinsam unter Verwendung von $L_2$ (Second-Order Loss) trainiert, um die Generationsverteilung des LLM mit den Rekonstruktionsfähigkeiten des FM abzugleichen.

Wichtigste Beiträge

• Ganzheitliches E2E-Framework: Das Paper führt ein vereinheitlichtes Trainingsframework ein, das den Tokenizer, das LLM, das FM und das RM gleichzeitig optimiert und damit die Grenzen der kaskadierten, unabhängig trainierten Pipelines überwindet.
• Dual-Stage-Optimierung: Die Unterscheidung zwischen First-Order Loss (Ground-Truth-Supervision zur Formung des Tokenizers) und Second-Order Loss (generationsbewusste Supervision für das LLM-Alignment) adressiert sowohl das Repräsentationslernen als auch den Mismatch zur Laufzeit.
• Theoretische Analyse: Die Autoren formulieren das Training des Sprach-Tokenizers als Quellencodierungsproblem und zeigen auf, dass die vorgeschlagenen E2E-Ziele die Token-Entropie ($H(X_n)$) und die zeitliche Abhängigkeit ($I(X_{n+1}; X_n)$) maximieren, was zu einer effizienteren Codebook-Ausnutzung und einer besseren Beibehaltung prädiktiver Informationen führt.
• Vereinfachte Trainingspipeline: Die Methode erzielt SOTA-Ergebnisse mit einem signifikant einfacheren Trainingsprozess im Vergleich zu bestehenden komplexen kaskadierten Systemen.

Experimentelle Ergebnisse

Das System wurde auf dem Seed-TTS-Eval Benchmark mit einem 0,6 Mrd. Parameter umfassenden LLM und einem 0,5 Mrd. Parameter umfassenden FM-Modell evaluiert.

• Zero-Shot TTS Performance:
  • Erreichte eine Wortfehlerrate (WER) von 0,78 % (Chinesisch) und 1,56 % (Englisch).
  • Diese Ergebnisse stellen ein neues SOTA für Systeme mit vergleichbarer Parametergröße dar und übertreffen kaskadierte Baselines sowie andere jüngste Modelle (z. B. Seed-TTS, CosyVoice3, Qwen3-TTS) sowohl in der Inhaltskonsistenz (WER/CER) als auch in der Sprecherähnlichkeit (SS).
• Rekonstruktion und Erkennung:
  • Das FM-Modell zeigte erhebliche Verbesserungen bei WER und Sprecherähnlichkeit (SS) zwischen den Trainingsstufen, insbesondere wenn das gemeinsame Training mit dem Tokenizer eingeführt wurde.
  • Das RM demonstrierte eine robuste ASR- und SER-Performance und übertraf die S3-Tokenizer- und Qwen-TTS-Tokenizer-Leistung bei chinesischen ASR-Aufgaben.
• Ablationsstudien:
  • Das Entfernen des E2E-Trainings (Vorab-Training des Tokenizers unabhängig) führte zu einer unterlegenen Leistung, was die kritische Rolle der gemeinsamen Optimierung bestätigt.
  • Statistische Analysen der Token-Verteilungen zeigten, dass E2E-Training zu einer höheren Informationsentropie und einer gleichmäßigeren Codebook-Ausnutzung führt als Modelle, die ohne $L_{LLM}$ oder $L_{FM}$ trainiert wurden.

Bedeutung

Das Paper behauptet, dass eine ganzheitliche End-to-End-Optimierung entscheidend für die Verbesserung von auf diskreten Token basierenden TTS-Systemen ist. Durch die direkte Abstimmung des Repräsentationslernens des Tokenizers auf die Anforderungen des LLM und des FM überwindet das System die Fehlstellungen und Train-Test-Mismatches, die kaskadierten Ansätzen eigen sind. Die Ergebnisse validieren, dass ein wesentlich einfacheres Trainingsverfahren, welches die Optimierung aller Komponenten vereinheitlicht, eine Leistung erzielen kann, die mit aktuellen SOTA-Systemen vergleichbar oder sogar besser ist, während die Komplexität der Trainingsinfrastruktur signifikant reduziert wird.