Technische Samenvatting: End-to-End Training voor Discrete Token LLM-gebaseerde TTS-systemen

Probleemstelling

Huidige state-of-the-art (SOTA) tekst-naar-spraak (TTS) systemen vertrouwen doorgaans op een gekoppelde pipeline bestaande uit een spraak-tokenizer, een autoregressief Large Language Model (LLM) en een op diffusie gebaseerd flow-matching (FM) model. Deze componenten zijn traditioneel onafhankelijk ontworpen en getraind, wat leidt tot drie primaire beperkingen:

1. Niet-afgestemde Doelstellingen: Tokenizers worden vooraf getraind met proxy-doelstellingen (bijv. ASR-nauwkeurigheid, SSL-representatiekwaliteit of autoencoding-getrouwheid) die mogelijk niet overeenkomen met de downstream-behoeften van autoregressieve tokenvoorspelling of FM-reconstructie. Dit resulteert vaak in suboptimaal end-to-end gedrag, waarbij een grotere expressiviteit van tokens (bijv. grotere codebooks) de reconstructie ten goede komt maar de leerbaarheid voor het LLM bemoeilijkt.
2. Ondoorzichtige Token-representaties: Vanwege het black-box-karakter van neurale netwerken is de informatie die in discrete tokens is gecodeerd, moeilijk te ontwarren. Tokens bevatten vaak verstrengelde, redundante en oncontroleerbare factoren van variatie (bijv. sprekerattributen gemengd met semantische inhoud), wat ambiguïteit in voorspelling introduceert en de synthese-controleerbaarheid vermindert.
3. Train-Test Mismatch: Het FM-model wordt doorgaans getraind op ground-truth tokens in plaats van op de voorspelde tokens van het LLM. Hierdoor worden fouten en distributieverschuivingen in de output van het LLM doorgegeven aan het FM, wat de synthesekwaliteit tijdens de inferentie verslechtert. Bovendien neigen LLM's die uitsluitend getraind zijn om de token-likelihood te maximaliseren naar "veilige" en "gemiddelde" generaties, waardoor ze er niet in slagen de diverse prosodie en stijl te vangen die vereist zijn voor expressieve TTS.

Hoewel recente studies hebben geprobeerd om gedeeltelijke gezamenlijke optimalisatie toe te passen (bijv. het koppelen van tokenizers aan diffusiemodellen of LLM's aan beloningsmodellen), schieten bestaande benaderingen vaak tekort in het holistisch optimaliseren van het systeem, waardoor interface-inconsistenties en train-test mismatches in onafhankelijk getrainde componenten overblijven.

Methodologie

Het artikel stelt een volledig End-to-End (E2E) optimalisatiekader voor dat de training van de spraak-tokenizer, het LLM, het FM-model en een hulp-Reward Model (RM) verenigt. Het kader maakt gebruik van twee verschillende verliesfuncties en een driestaps trainingspipeline.

Kerncomponenten

• Spraak-tokenizer: Gebruikt Finite Scalar Quantization (FSQ) om spraaksignalen om te zetten in discrete tokensequenties ($c_{1:T}$) en gekwantiseerde representaties ($q_{1:T}$).
• Reward Model (RM): Een multi-task herkenningsmodel dat Automatic Speech Recognition (ASR), Speaker Emotion Recognition (SER) en Speaker Identification (SPK) uitvoert op de token-representaties.
• Flow-Matching (FM) Model: Een Diffusion Transformer (DiT) die spraak reconstrueert vanuit token-representaties.
• Large Language Model (LLM): Een autoregressief model dat de volgende spraak-token voorspelt, geconditioneerd op de inputtekst en voorgaande tokens.

Verliesfuncties

1. First-Order Loss ($L_1$):

   • Doelstelling: Optimaliseert de tokenizer gezamenlijk met behulp van ground-truth tokens.
   • Componenten:
     • $L_{LLM}$: Next-token prediction loss.
     • $L_{RM}$: Som van ASR (CTC), SER (Cross-Entropy) en SPK (Cosine Similarity) losses.
     • $L_{FM}$: Flow-matching reconstructie loss.
   • Mechanisme: Gradiënten van deze taken propageren direct terug naar de tokenizer, waardoor de discrete tokenruimte wordt gevormd om akoestisch en semantisch relevant te zijn voor de specifieke TTS-pipeline.

2. Second-Order Loss ($L_2$):

   • Doelstelling: Optimaliseert het LLM onder zijn eigen generatiedistributie om train-test mismatch te beperken.
   • Mechanisme: Het LLM genereert tokensequenties (met behulp van Gumbel-Softmax voor differentieerbaarheid) die in het FM en RM worden gevoed. Het systeem wordt vervolgens geoptimaliseerd op basis van de reconstructiekwaliteit ($L_{LFM}$) en de herkenningsconsistentie ($L_{LRM}$) van deze voorspelde tokens.
   • Effect: Dit fungeert als een reinforcement-achtige alignment, die het LLM aanmoedigt om tokens te genereren die niet alleen accuraat zijn, maar ook robuust tegen downstream reconstructie- en herkenningsvereisten.

Trainingspipeline

De training wordt in drie stadia uitgevoerd om stabiliteit te garanderen:

1. Stadium 1: Alle parameters zijn trainbaar met behulp van $L_1$. Het doel is om de tokenizer te trainen met downstream supervisie van de RM, FM en LLM.
2. Stadium 2: De tokenizer is bevroren. De RM, FM en LLM worden onafhankelijk getraind (mogelijk met verschillende datasets, bijv. het toevoegen van ruisige data voor de RM).
3. Stadium 3: De RM is bevroren. De LLM en FM worden gezamenlijk getraind met behulp van $L_2$ (second-order loss) om de generatiedistributie van het LLM af te stemmen op de reconstructiecapaciteiten van het FM.

Belangrijkste Bijdragen

• Holistisch E2E-kader: Het artikel introduceert een verenigd trainingskader dat de tokenizer, LLM, FM en RM simultaan optimaliseert, waarmee de beperkingen van gekoppelde, onafhankelijk getrainde pipelines worden overstegen.
• Dual-Stage Optimalisatie: Het onderscheid tussen First-Order Loss (ground-truth supervisie voor tokenizer-shaping) en Second-Order Loss (generatie-bewuste supervisie voor LLM-alignment) adresseert zowel representatieleer als de mismatch tijdens de inferentie.
• Theoretische Analyse: De auteurs formuleren de training van de spraak-tokenizer als een broncoderingsprobleem, waarbij zij aantonen dat de voorgestelde E2E-doelstellingen de token-entropie ($H(X_n)$) en temporele afhankelijkheid ($I(X_{n+1}; X_n)$) maximaliseren, wat leidt tot een efficiënter gebruik van het codeboek en een betere retentie van voorspellende informatie.
• Vereenvoudigde Trainingspipeline: De methode bereikt SOTA-resultaten met een aanzienlijk eenvoudigerere trainingsprocedure vergeleken met bestaande complexe gekoppelde systemen.

Experimentele Resultaten

Het systeem is geëvalueerd op de Seed-TTS-Eval benchmark met een 0.6B-parameter LLM en een 0.5B-parameter FM-model.

• Zero-Shot TTS Prestaties:
  • Behaalde een Word Error Rate (WER) van 0.78% (Chinees) en 1.56% (Engels).
  • Deze resultaten vertegenwoordigen een nieuwe SOTA voor systemen met vergelijkbare parametergroottes, waarbij ze de gekoppelde baselines en andere recente modellen (bijv. Seed-TTS, CosyVoice3, Qwen3-TTS) overtreffen op zowel inhoudelijke consistentie (WER/CER) als spreker-gelijkenis (SS).
• Reconstructie en Herkenning:
  • Het FM-model vertoonde substantiële verbeteringen in WER en Speaker Similarity (SS) tussen de trainingsstadia, met name wanneer gezamenlijke training met de tokenizer werd geïntroduceerd.
  • De RM demonstreerde robuuste ASR- en SER-prestaties, waarbij deze de S3-tokenizer en Qwen-TTS-tokenizer op Chinese ASR-taken overtrof.
• Ablatie-studies:
  • Het verwijderen van E2E-training (het onafhankelijk pre-trainen van de tokenizer) resulteerde in inferieure prestaties, wat de cruciale rol van gezamenlijke optimalisatie bevestigt.
  • Statistische analyse van token-distributies toonde aan dat E2E-training leidt tot hogere informatie-entropie en een meer uniforme codeboek-benutting vergeleken met modellen die zonder $L_{LLM}$ of $L_{FM}$ zijn getraind.

Betekenis

Het artikel stelt dat holistische End-to-End optimalisatie cruciaal is voor het verbeteren van discrete-token-gebaseerde TTS-systemen. Door de representatieleer van de tokenizer direct af te stemmen op de vereisten van het LLM en het FM, overwint het systeem de misalignment en de train-test mismatches die inherent zijn aan gekoppelde benaderingen. De resultaten valideren dat een veel eenvoudigere trainingspipeline, die de optimalisatie van alle componenten verenigt, prestaties kan leveren die vergelijkbaar met of beter zijn dan huidige SOTA-systemen, terwijl de complexiteit van de trainingsinfrastructuur aanzienlijk wordt verminderd.