Riepilogo Tecnico: Addestramento End-to-End per Sistemi TTS Basati su Token Discreti

Problema

Gli attuali sistemi di text-to-speech (TTS) allo stato dell'arte (SOTA) si affidano tipicamente a una pipeline a cascata composta da un tokenizer vocale, un Large Language Model (LLM) autoregressivo e un modello di diffusione basato su flow-matching (FM). Questi componenti sono tradizionalmente progettati e addestrati indipendentemente, il che porta a tre limitazioni primarie:

1. Obiettivi Disallineati: I tokenizer sono pre-addestrati utilizzando obiettivi proxy (ad es., accuratezza ASR, qualità della rappresentazione SSL o fedeltà dell'autoencoding) che potrebbero non allinearsi con le necessità a valle della predizione di token autoregressiva o della ricostruzione FM. Ciò spesso risulta in un comportamento end-to-end subottimale, dove l'aumento dell'espressività dei token (ad es., codebook più grandi) favorisce la ricostruzione ma aumenta la difficoltà di apprendimento per l'LLM.
2. Rappresentazioni dei Token Opache: A causa della natura black-box delle reti neurali, l'informazione codificata nei token discreti è difficile da disaggregare. I token contengono spesso fattori di variazione intrecciati, ridondanti e incontrollabili (ad es., attributi del parlatore mescolati con il contenuto semantico), introducendo ambiguità nella predizione e riducendo il controllo della sintesi.
3. Discrepanza tra Addestramento e Test (Train-Test Mismatch): Il modello FM è tipicamente addestrato su token di ground-truth piuttosto che sui token predetti dall'LLM. Di conseguenza, gli errori e gli shift distribuzionali nelle uscite dell'LLM si propagano al FM, degradando la qualità della sintesi durante l'inferenza. Inoltre, gli LLM addestrati esclusivamente per massimizzare la verosimiglianza dei token tendono a convergere verso generazioni "sicure" e "medie", fallendo nel catturare la diversità di prosodia e stile richiesta per una TTS espressiva.

Sebbene studi recenti abbiano tentato un'ottimizzazione congiunta parziale (ad es., accoppiando i tokenizer con modelli di diffusione o gli LLM con modelli di ricompensa), gli approcci esistenti spesso non riescono a ottimizzare il sistema in modo olistico, lasciando inconsistenze di interfaccia e discrepanze tra addestramento e test tra i componenti addestrati indipendentmente.

Metodologia

Il paper propone un framework di ottimizzazione completamente End-to-End (E2E) che unifica l'addestramento del tokenizer vocale, dell'LLM, del modello FM e di un modello di ricompensa (RM) ausiliario. Il framework utilizza due distinti funzioni di perdita e una pipeline di addestramento a tre stadi.

Componenti Core

• Tokenizer Vocale: Utilizza la Quantizzazione Scalare Finita (FSQ) per convertire i segnali vocali in sequenze di token discreti ($c_{1:T}$) e rappresentazioni quantizzate ($q_{1:T}$).
• Modello di Ricompensa (RM): Un modello di riconoscimento multi-task che esegue Automatic Speech Recognition (ASR), Speaker Emotion Recognition (SER) e Speaker Identification (SPK) sulle rappresentazioni dei token.
• Modello di Flow-Matching (FM): Un Diffusion Transformer (DiT) che ricostruisce il parlato dalle rappresentazioni dei token.
• Large Language Model (LLM): Un modello autoregressivo che predice il successivo token vocale condizionato sul testo in input e sui token precedenti.

Funzioni di Perdita

1. Perdita del Primo Ordine ($L_1$):

   • Obiettivo: Ottimizza congiuntamente il tokenizer utilizzando i token di ground-truth.
   • Componenti:
     • $L_{LLM}$: Perdita di predizione del next-token.
     • $L_{RM}$: Somma delle perdite ASR (CTC), SER (Cross-Entropy) e SPK (Cosine Similarity).
     • $L_{FM}$: Perdita di ricostruzione di flow-matching.
   • Meccanismo: I gradienti da questi compiti vengono retropropagati direttamente al tokenizer, modellando lo spazio dei token discreti affinché sia acusticamente e semanticamente saliente per la specifica pipeline TTS.

2. Perdita del Secondo Ordine ($L_2$):

   • Obiettivo: Ottimizza l'LLM sotto la propria distribuzione di generazione per mitigare la discrepanza tra addestramento e test.
   • Meccanismo: L'LLM genera sequenze di token (utilizzando Gumbel-Softmax per la differenziabilità) che vengono alimentate al FM e al RM. Il sistema viene quindi ottimizzato in base alla qualità di ricostruzione ($L_{LFM}$) e alla coerenza di riconoscimento ($L_{LRM}$) di questi token predetti.
   • Effetto: Agisce come un allineamento di tipo reinforcement, incoraggiando l'LLM a generare token che siano non solo accurati, ma anche robusti rispetto ai requisiti di ricostruzione e riconoscimento a valle.

Pipeline di Addestramento

L'addestramento è condotto in tre stadi per garantire la stabilità:

1. Stadio 1: Tutti i parametri sono addestrabili usando $L_1$. L'obiettivo è addestrare il tokenizer con la supervisione a valle proveniente da RM, FM e LLM.
2. Stadio 2: Il tokenizer è congelato. Il RM, il FM e l'LLM sono addestrati indipendentemente (potenzialmente con dataset diversi, ad es., aggiungendo dati rumorosi per il RM).
3. Stadio 3: Il RM è congelato. L'LLM e il FM sono addestrati congiuntamente usando $L_2$ (perdita del secondo ordine) per allineare la distribuzione di generazione dell'LLM con le capacità di ricostruzione del FM.

Contributi Chiave

• Framework E2E Olistico: Il paper introduce un framework di addestramento unificato che ottimizza simultaneamente il tokenizer, l'LLM, il FM e il RM, andando oltre i limiti delle pipeline a cascata addestrate indipendentemente.
• Ottimizzazione a Doppio Stadio: La distinzione tra Perdita del Primo Ordine (supervisione ground-truth per la modellazione del tokenizer) e Perdita del Secondo Ordine (supervisione consapevole della generazione per l'allineamento dell'LLM) affronta sia l'apprendimento della rappresentazione che la discrepanza tra addestramento e test.
• Analisi Teorica: Gli autori formulano l'addestramento del tokenizer vocale come un problema di codifica sorgente, dimostrando che i proposti obiettivi E2E massimizzano l'entropia dei token ($H(X_n)$) e la dipendenza temporale ($I(X_{n+1}; X_n)$), portando a un utilizzo più efficiente del codebook e a una migliore ritenzione delle informazioni predittive.
• Pipeline di Addestramento Semplificata: Il metodo raggiunge risultati SOTA con un processo di addestramento significativamente più semplice rispetto ai sistemi a cascata complessi esistenti.

Risultati Sperimentali

Il sistema è stato valutato sul benchmark Seed-TTS-Eval utilizzando un LLM da 0.6 miliardi di parametri e un modello FM da 0.5 miliardi di parametri.

• Performance Zero-Shot TTS:
  • Ha raggiunto un Word Error Rate (WER) dello 0.78% (Cinese) e dell'1.56% (Inglese).
  • Questi risultati rappresentano un nuovo SOTA per sistemi con dimensioni di parametri comparabili, superando i baseline a cascata e altri modelli recenti (ad es., Seed-TTS, CosyVoice3, Qwen3-TTS) sia nella coerenza del contenuto (WER/CER) che nella somiglianza del parlatore (SS).
• Ricostruzione e Riconoscimento:
  • Il modello FM ha mostrato miglioramenti sostanziali in WER e Somiglianza del Parlatore (SS) tra gli stadi di addestramento, in particolare quando è stato introdotto l'addestramento congiunto con il tokenizer.
  • Il RM ha dimostrato prestazioni robuste in ASR e SER, superando i tokenizer S3 e Qwen-TTS nei compiti di ASR in cinese.
• Studi di Ablazione:
  • Rimuovere l'addestramento E2E (pre-addestrando il tokenizer indipendentemente) ha portato a prestazioni inferiori, confermando il ruolo critico dell'ottimizzazione congiunta.
  • L'analisi statistica delle distribuzioni dei token ha mostrato che l'addestramento E2E porta a una maggiore entropia dell'informazione e a un utilizzo più uniforme del codebook rispetto ai modelli addestrati senza $L_{LLM}$ o $L_{FM}$.

Significato

Il paper sostiene che l'ottimizzazione End-to-End olistica è critica per migliorare i sistemi TTS basati su token discreti. Allineando l'apprendimento della rappresentazione del tokenizer direttamente con i requisiti di LLM e FM, il sistema supera le limitazioni di disallineamento e le discrepanze tra addestramento e test inerenti agli approcci a cascata. I risultati validano il fatto che una pipeline di addestramento molto più semplice, che unifica l'ottimizzazione di tutti i componenti, può fornire prestazioni comparabili o superiori ai sistemi SOTA attuali, riducendo significativamente la complessità dell'infrastruttura di addestramento.