Sintesi Tecnica: WordVoice

1. Definizione del Problema

I recenti sistemi di Text-to-Speech (TTS) basati su Large Language Model (LLM) hanno raggiunto una naturalezza straordinaria, ma si affidano prevalentemente a paradigmi di generazione impliciti ed end-to-end. Questa architettura risulta in un controllo a grana grossa, creando un collo di bottiglia critico per applicazioni che richiedono interventi precisi e deterministici a livello di parola, come la narrazione di audiolibri e il doppiaggio video. Gli attuali modelli faticano a manipolare esplicitamente specifici attributi acustici (ad esempio, durata, energia, pitch, tono) per singole parole senza compromettere la stabilità globale. Inoltre, questa limitazione è esacerbata dalla scarsità di dataset annotati su larga scala e dalla difficoltà architettonica di integrare segnali di controllo multidimensionali nella generazione autoregressiva discreta.

2. Metodologia

Gli autori propongono WordVoice, un framework unificato che trasforma la generazione implicita in un paradigma esplicito e altamente controllabile attraverso un'architettura a due stadi e un nuovo dataset massivo.

2.1. Fondamenta dei Dati: WordVoice-5A

Per affrontare la scarsità di dati, gli autori hanno costruito WordVoice-5A, un dataset bilingue (cinese e inglese) composto da circa 4.700 ore di parlato.

• Pipeline di Annotazione: È stata sviluppata una rigorosa pipeline guidata dalla linguistica che prevede:
  • Ottimizzazione dei Timestamp: Allineamento a doppio modello (MFA e Qwen3FA) con ottimizzazione basata sulla loudness e controlli di coerenza per garantire confini di parola ad alta precisione.
  • Attributi Temporali: Estrazione della durata e discretizzazione dei confini in cinque livelli (dalla fonazione continua alle pause a livello di periodo).
  • Attributi Acustici/Prosodici: Estrazione di energia (media del 50% superiore dei frame), pitch (media dell'80% centrale di F0) e tono. Il tono è modellato tramite regressione morfologica guidata da esperti, mappando i contorni F0 continui in sette categorie prosodiche universali (piatto, crescente, forte crescita, decrescente, forte decrescita, picco, valle).

2.2. Framework Architetturale

WordVoice opera su un backbone derivato da CosyVoice3, raffinando la generazione a livello di frase in un processo di "pianificazione acustica" a livello di parola.

Stadio 1: WordVoice-LLM (Pianificazione Macro-Prosodica)

Gli autori introducono un meccanismo di token vincolato (⟨b⟩) all'interno dell'LLM autoregressivo per ristrutturare il processo di generazione causale.

• Pianificazione Acustica: Dopo la predizione del token vincolato per una parola, lo stato nascosto del modello viene instradato a un Word Decoder leggero per predire cinque attributi acustici: durata, confine, energia, pitch e tono.
• Controllo Esplicito: Questi attributi vengono incorporati in un token di stile e concatenati con l'embedding semantico per formare una condizione unificata. Ciò consente due modalità di inferenza:
  • Free Mode: Il modello pianifica autonomamente la prosodia.
  • Control Mode: Gli utenti possono bypassare il decoder e specificare manualmente i valori degli attributi per parole specifiche, ottenendo un controllo deterministico zero-shot senza alterare i pesi dell'LLM.

Stadio 2: WordVoice-FM (Modulazione Micro-Acustica)

Per colmare il divario di risoluzione tra token discreti e forme d'onda continue, un modulo di modulazione acustica fine-grained è integrato nello stadio di Flow Matching (FM).

• Upsampling: I token di stile a livello di parola vengono sottoposti a upsampling a livello di frame basandosi sulle durate e sulle pause predette.
• Modulazione: Questi token di stile a livello di frame vengono iniettati nel backbone FM tramite un modulo dedicato che genera parametri di scala ($\gamma_t$) e shift ($\beta_t$). Questo guida esplicitamente la sintesi della forma d'onda affinché aderisca ai confini pianificati di energia, pitch e temporali, compensando i dettagli acustici persi durante la quantizzazione.

3. Contributi Chiave

1. Fondamenta dei Dati: La creazione e l'open-sourcing di WordVoice-5A, un dataset bilingue di 4,7k ore con rigorose annotazioni a livello di parola in cinque dimensioni e una pipeline guidata dalla linguistica.
2. Innovazione Architetturale: La proposta del framework WordVoice, che combina un processo di "pianificazione acustica" esplicito tramite bound-token nell'LLM con un modulo di modulazione dello stile fine-grained nello stadio di Flow Matching.
3. Controllo a Livello di Parola: La dimostrazione di un controllo altamente preciso e disaccoppiato attraverso molteplici dimensioni acustiche (durata, confine, energia, pitch, tono) a livello di parola, mantenendo una stabilità di sintesi zero-shot competitiva.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui set di test WordVoice-5A (cinese e inglese) utilizzando CosyVoice3 come baseline.

• Valutazione Soggettiva: WordVoice-Control ha ottenuto i punteggi più alti in Naturalness (N-MOS) e Word Style Control (Ctrl-MOS), con miglioramenti statisticamente significativi ($p < 0.01$) nella controllabilità rispetto alla baseline. Sebbene la Similarità del Parlante (Spk-MOS) abbia subito un marginale compromesso dovuto a variazioni localizzate, l'espressività complessiva è stata significativamente potenziata.
• Valutazione Oggettiva:
  • Precisione del Controllo: In Control mode, WordVoice ha ridotto drasticamente l'Errore Assoluto Medio (MAE) per gli attributi continui (Durata, Energia, Pitch) e il Tasso di Errore (ER) per gli attributi discreti (Confine, Tono) rispetto alle baseline.
  • Allineamento Temporale: WordVoice ha superato MagicTTS (una forte baseline per il controllo temporale) sia nelle metriche di durata che di confine, dimostrando una stabilità superiore quando si manipolano più attributi simultaneamente.
  • Disaccoppiamento: Gli studi di ablazione hanno confermato che il meccanismo di controllo è ampiamente disaccoppiato; vincolare un singolo attributo ha ridotto significativamente il suo errore specifico con un impatto minimo sugli altri, eccetto per il tono, che ha mostrato un leggero intreccio a causa della sua natura dinamica.
• Studi di Ablazione: Rimuovere il modulo WordVoice-FM ha causato una degradazione significativa dell'accuratezza di energia e pitch, confermando la sua necessità per compensare le perdite di quantizzazione. Al contrario, gli attributi temporali sono stati modellati principalmente nello stadio LLM.

5. Significato e Rivendicazioni

Il paper sostiene che WordVoice affronti un limite fondamentale negli attuali LLM-based TTS: l'incapacità di eseguire un controllo acustico ad alta precisione e a grana fine a livello di parola. Trasformando la generazione implicita in un processo esplicito e interpretabile, il framework consente:

• Interventi Deterministici: I creatori possono manipolare meticolosamente la durata, l'enfasi e l'intonazione di parole specifiche per trasmettere emozioni sfumate o raggiungere un rigoroso allineamento cross-modale (ad esempio, lip-sync).
• Controllo Multidimensionale Unificato: A differenza degli approoli precedenti che erano spesso unidimensionali (ad esempio, solo durata o solo emozione), WordVoice controlla simultaneamente cinque dimensioni acustiche.
• Potenziale Futuro: Gli autori suggeriscono che questo meccanismo di pianificazione esplicita potrebbe servire come "catena di pensiero acustica" (acoustic chain-of-thought) per sistemi di dialogo parlato altamente espressivi e fornire una generazione interpretabile per il TTS basato su istruzioni.

Il lavoro si posiziona non solo come un miglioramento incrementale della naturalezza, ma come un cambiamento strutturale verso una sintesi vocale esplicita, controllabile e disaccoppiata.