Sintesi Tecnica: dots.tts

1. Definizione del Problema

Il documento affronta due limitazioni primarie nei sistemi attuali di Text-to-Speech (TTS):

1. Limitazioni dei Token Discreti: I sistemi autoregressivi (AR) mainstream per il TTS si affidano a token acustici discreti. Sebbene ciò permetta il riutilizzo degli stack di Large Language Model (LLM), il collo di bottiglia della quantizzazione limita la capacità del sistema di modellare una singola distribuzione che copra parlato, paralinguistica emotiva, canto e audio generico.
2. Instabilità dell'AR Continuo: I recenti tentativi di modellare il parlato come generazione AR di rappresentazioni continue evitano la quantizzazione ma soffrono di accumulo di errore a lungo raggio. A differenza dei sistemi discreti dove un codec riporta campioni imperfetti verso configurazioni valide, i latenti continui ricostruiscono fedelmente ogni piccolo errore di predizione, alimentandolo come condizionamento per il passo successivo. Ciò porta a deriva e instabilità durante i rollout prolungati.
3. Post-Training Immaturo: Lo stack di post-training per i modelli AR continui è meno maturo rispetto a quello dei sistemi a token discreti, mancando di metodi robusti per correggere gli errori in fase di inferenza senza l'uso di modelli di ricompensa esterni.

2. Metodologia

dots.tts è un modello foundation TTS autoregressivo, end-to-end e completamente continuo con 2 miliardi di parametri. Modella il parlato in uno spazio latente continuo utilizzando tre innovazioni architettoniche e di addestramento fondamentali:

A. Semantic Causal AudioVAE

Il sistema si basa su un AudioVAE ad alta fedeltà che codifica il parlato mono a 48 kHz in un flusso latente a 128 dimensioni a 25 Hz (downsampling temporale di 1920×).

• Architettura: Utilizza una variante causale del decoder BigVGAN-v2 e un encoder convoluzionale completamente causale.
• Obiettivi di Addestramento:
  • Fase 1: Si concentra sulla qualità della ricostruzione utilizzando una perdita avversaria multi-period/sub-band CQT, una perdita mel-spettrale multi-scala e una perdita di matching delle feature, regolarizzate da un prior KL + flow.
  • Fase 2: Migliora la apprendibilità dello backbone AR. Aggiunge una perdita di allineamento della rappresentazione WavLM (allineamento del coseno frame-level) e un blocco multitask downstream (ASR, emozione, classificazione del parlatore). Ciò assicura che lo spazio latente sia semanticamente strutturato e predisposto alla predizione senza sacrificare la fedeltà della ricostruzione.
• Semantic Encoder: Un modulo trasferito dalla pipeline di addestramento dell'AudioVAE proietta ogni patch di latente VAE a 25 Hz in un singolo embedding semantico audio a 6,25 Hz. Questo elimina i dettagli acustici ad alta varianza, fornendo all'LLM un riassunto semantico compatto invece di latenti grezzi.

B. Autoregressive Flow-Matching Backbone

Lo backbone consiste in tre componenti disaccoppiate:

1. Semantic Encoder: Converte le patch VAE in input per l'LLM.
2. LLM Backbone: Inizializzato da Qwen2.5-1.5B, consuma token di testo BPE e gli embedding semantici a 6,25 Hz. Gestisce la modellazione a lungo raggio testo-contenuto.
   • Dual Streaming: Supporta una modalità intercalata 1T1A (alternanza di token di testo e passi audio) per il dialogo a bassa latenza, permettendo la sintesi prima che un'intera utterance sia disponibile.
3. AR-FM Head (Autoregressive Flow-Matching): Un Diffusion Transformer (DiT) che genera la successiva patch latente VAE di quattro frame.
   • Full-History Conditioning: L'head si condiziona sullo stato nascosto dell'LLM, su tutte le patch pulite precedenti e sulla patch rumorosa corrente.
   • Block-Causal Attention: Una maschera di addestramento specializzata consente l'addestramento parallelo su tutte le patch pur riproducendo rigorosamente il contesto autoregressivo per passo durante l'inferenza, garantendo l'identità numerica tra addestramento e rollout.

C. Pipeline di Addestramento e Post-Training

L'addestramento procede in tre fasi:

1. Pretraining:
   • Allineamento della Modalità: Allinea il semantic encoder e l'AR-FM head con l'LLM congelato.
   • General Training: Addestramento end-to-end su 1,5 milioni di ore di dati multilingue.
   • Annealing: Fine-tuning su un sottoinsieme di alta qualità.
2. Reward-Free Self-Corrective Alignment (SOAR):
   • Adatta il concetto di SOAR all'head di flow-matching AR.
   • Il modello esegue un rollout Euler staccato dal proprio stato di inferenza per generare errori "off-trajectory".
   • Viene poi addestrato per guidare questi errori verso l'endpoint latente pulito. Ciò migliora la robustezza e la qualità acustica senza richiedere un modello di ricompensa o un insegnante esterno.
3. CFG-Aware MeanFlow Distillation:
   • Distilla il teacher DiT auto-correttivo in uno student DiT.
   • Lo studente predice la velocità media su un intervallo temporale, fondendo il Classifier-Free Guidance (CFG) direttamente nel target.
   • Ciò consente l'inferenza a bassa latenza con solo 2–4 valutazioni della funzione (NFE) per passo, eliminando la necessità di passaggi separati condizionali/incondizionali.

3. Contributi Chiave

1. Modello dots.tts: Un sistema TTS autoregressivo completamente continuo da 2 miliardi di parametri che rimuove i token acustici discreti pur raggiungendo una stabilità allo stato dell'arte e una qualità di voice cloning zero-shot.
2. Meccanismi di Stabilità: Una triade di design per alleviare l'instabilità dell'AR continuo:
   • Un AudioVAE causale semantico con allineamento WavLM.
   • Decomposizione in pianificazione semantica (LLM) e rendering acustico (AR-FM).
   • Allineamento auto-correttivo senza ricompensa per l'head di flow-matching.
3. Efficienza: Implementazione della distillazione MeanFlow consapevole del CFG e dello streaming intercalato 1T1A completamente causale, raggiungendo basse latenze del primo pacchetto (85 ms in modalità plain, 54 ms in modalità interleaved) adatte al deployment in tempo reale.

4. Risultati Sperimentali

Il modello è stato addestrato su 1,5 milioni di ore di parlato ed è stato valutato attraverso molteplici benchmark:

• Seed-TTS-Eval (Zero-Shot Voice Cloning):

  • Ha raggiunto le migliori prestazioni medie tra i sistemi open-source.
  • WER: 0,94% (zh), 1,30% (en), 6,60% (zh-hard).
  • SIM (Speaker Similarity): 81,0 (zh), 77,1 (en), 79,5 (zh-hard).
  • Ha superato i baseline come CosyVoice 3, Seed-TTS e VoxCPM 2.

• MiniMax Multilingual Test Set (24 Lingue):

  • Ha guidato nella similitudine del parlatore media (83,9), superando il miglior baseline successivo (VoxCPM 2 a 82,3).
  • Ha ottenuto la SIM più alta in 19 lingue su 24.
  • Il WER è competitivo, sebbene leggermente superiore nelle lingue a basse risorse a causa dei limiti di copertura dei token BPE.

• CV3-Eval (Cross-Lingual Cloning):

  • Ha guidato la similitudine del parlatore nei compiti cross-lingua (75,0 per en→zh, 72,8 per zh→en), superando significativamente CosyVoice 3.
  • Ha mostrato guadagni significativi nel subset "hard-en" dopo la fase di post-training SOAR.

• EmergentTTS-Eval (Espressività):

  • Ha raggiunto il punteggio di Complessità Sintattica più alto (65,7%) tra tutti i sistemi (open e closed-source), superando Gemini-2.5-Pro.
  • Ha guidato i sistemi open-source nelle Emozioni (72,7%) e nel win-rate complessivo contro gpt-4o-mini-tts.
  • È stata notata una scelta di compromesso dove SOAR ha migliorato la fedeltà del testo (Sintassi) a scapito di una leggera riduzione dell'espressività emotiva rispetto al checkpoint pre-addestrato.

• Efficienza:

  • Su una singola GPU NVIDIA H800, il modello distillato MeanFlow ha raggiunto un Time-to-First-Packet (TTFP) di 54 ms in modalità streaming intercalata con un RTF di 0,245.

5. Significato e Rivendicazioni

Il documento afferma che dots.tts colma con successo il divario tra l'espressività della generazione di latenti continui e la stabilità richiesta per la produzione. Decoupling (disaccoppiando) il ragionamento semantico dal rendering acustico e introducendo un meccanismo di auto-correzione privo di reward, gli autori dimostrano che l'AR TTS continuo può raggiungere la stabilità allo stato dell'arte e la qualità di voice cloning senza l'uso di token discreti.

Il lavoro è presentato come uno stack di riferimento riproducibile per l'AR TTS continuo, rilasciato sotto licenza Apache 2.0 con codice completo di addestramento e inferenza. Gli autori posizionano il sistema come una soluzione valida per applicazioni conversazionali in tempo reale, offrendo un equilibrio tra alta fedeltà, copertura multilingue e bassa latenza che i precedenti modelli continui faticavano a ottenere simultaneamente.

Limitazioni Riconosciute:

• Lingue a Basse Risorse: Le prestazioni sulle lingue con script divergenti o sotto-rappresentate (es. arabo, hindi) sono limitate dalla copertura dei token BPE.
• Ambito: Il rilascio attuale si concentra sul parlato; il canto e la generazione unificata di suoni vocali non sono coperti.
• Controllo: Il sistema è valutato in condizioni canoniche zero-shot senza controllo esplicito di stile o istruzioni (sebbene un dataset accoppiato a didascalie suggerisca una strada percorribile).
• Sicurezza: Gli autori riconoscono i rischi del voice cloning zero-shot ad alta fedeltà e incoraggiano l'uso di policy di consapevolezza del consenso e strumenti di rilevamento.