UniVoice: A Unified Model for Speech and Singing Voice Generation

Riepilogo Tecnico: UniVoice

Problematica

La sintesi vocale (TTS) e la sintesi della voce cantata (SVS) condividono l'obiettivo di generare audio vocale umano da input simbolici, ma impongono requisiti fondamentalmente contrastanti al processo di generazione. La TTS si basa su una prosodia flessibile, guidata dal linguaggio e inferita dal contesto linguistico, mentre la SVS richiede un controllo esplicito della melodia (ad esempio, note MIDI) e un preciso allineamento ritmico.

Addestrare un singolo modello unificato su dati misti è complesso perché la semantica del condizionamento è incompatibile: i vincoli melodici devono agire come forti restrizioni per il canto, ma non dovrebbero limitare la prosodia naturale e dipendente dal contesto tipica del parlato. Un addestramento congiunto ingenuo costringe il modello ad assegnare significati contrastanti ai condizionamenti relativi alla melodia, portando a interferenze nei gradienti e a una degradazione della qualità di generazione per entrambe le modalità.

Metodologia

UniVoice è un framework unificato per la generazione di parlato e canto basato su Conditional Flow Matching (CFM) con un backbone Diffusion Transformer (DiT). L'innovazione principale risiede nel condizionamento fattorizzato e in un learned null melody token (token di melodia nulla appreso).

1. Architettura

Il modello utilizza un backbone DiT condiviso (adattato da Wan-DiT) con 24 strati, 16 teste di attenzione e circa 0,3 miliardi di parametri. Opera su feature latenti estratte da un Song Bloom VAE a 25 Hz.

• Backbone Condiviso: Sia il parlato che il canto sono trattati come modalità condizionate dello stesso flusso continuo.
• Modulazione Adattiva: Un Task Token leggero (che indica "speech" o "singing") viene iniettato tramite Adaptive Layer Normalization (AdaLN) per modulare il backbone condiviso senza introdurre teste specifiche per ogni task.

2. Condizionamento Fattorizzato

Per risolvere il conflitto di rappresentazione, UniVoice decompone il segnale di condizionamento $c$ in quattro assi ortogonali:

• Contenuto ($c_{cnt}$): Sequenze di fonemi codificate da un encoder basato su ConvNeXt.
• Melodia ($c_{mel}$):
  • Per il Canto: Codificata come sequenze di note MIDI utilizzando un encoder Conformer.
  • Per il Parlato: Sostituita da un learned null melody token ($e_\emptyset$). Questo token segnala al modello di inferire la prosodia dal contesto linguistico e acustico piuttosto che da vincoli melodici espliciti.
• Timbro ($c_{tmb}$): Derivato da un prompt audio di riferimento di 3–10 secondi, codificato tramite lo stesso VAE utilizzato per l'audio target. Ciò consente il voice cloning zero-shot attraverso entrambe le modalità.
• Task Token ($c_{tsk}$): Embedding discreto per distinguere le modalità di generazione.

3. Giustificazione Teorica

Il paper postula che il learned null token agisca come un'approssimazione efficiente dell'approssimazione di marginalizzazione della melodia. Nella generazione del parlato, il campo vettoriale ideale dovrebbe marginalizzare su tutte le possibili realizzazioni melodiche. Il null token permette al modello di apprendere la rappresentazione ottimale "priva di melodia" senza interferenze dai gradienti specifici del canto, eseguendo efficacemente una classificazione a guida libera (classifier-free guidance) selettiva per asse.

4. Addestramento e Inferenza

• Dati: Addestrato su un dataset misto di 30.000 ore di parlato (dal dataset Emilia) e 35.000 ore di canto (registrazioni da studio e "in-the-wild").
• Addestramento: Utilizza una dimensione del batch di 32.000 frame su 8 GPU A800 per 100 epoche. Le condizioni (testo, melodia, prompt audio) vengono rimosse casualmente con una probabilità del 10% per abilitare la classifier-free guidance.
• Inferenza: Genera audio utilizzando un solver ODE di Eulero con 32 step. Vengono applicate scale di guida specifiche per asse (ad esempio, $w_{txt}=5$ per il testo, $w_{mel}=1$ per la melodia).

Contributi Chiave

1. Architettura Unificata: Un singolo modello di flow-matching con un backbone DiT condiviso che genera sia parlato che canto senza teste specifiche per il task.
2. Condizionamento Fattorizzato: Uno schema che separa contenuto, melodia e timbro per eliminare i conflitti di gradiente tra la modellazione della prosodia del parlato e il controllo della melodia del canto.
3. Learned Null Melody Token: Un meccanismo per la generazione del parlato che sostituisce gli input melodici espliciti con un token appreso, teoricamente fondato sulla marginalizzazione sulla variabile melodia.
4. Benchmark UNISINGING-EVAL: Un nuovo benchmark di valutazione che copre 12 stili musicali, progettato per testare la generazione vocale unificata attraverso diversi stili, timestamp a livello di frase e coerenza cross-modale.

Risultati Sperimentali

Valutato su un compito di generazione cross-frase con clip di 10 secondi:

• Generazione del Parlato: UniVoice raggiunge un Phoneme Error Rate (PER) del 5,26%, comparabile a sistemi TTS dedicati come F5-TTS (5,21%) e CosyVoice3 (5,30%), nonostante utilizzi significativamente meno dati di parlato e un'architettura unificata. Raggiunge il punteggio più alto di naturalezza del parlato (S-MOS 3,76) tra i modelli unificati.
• Generazione del Canto: UniVoice raggiunge un PER del 16,22% e una Speaker Similarity (SIM) del 35,70%. Questo supera sostanzialmente il baseline unificato Vevo1.5 (PER 45,07%) e il modello dedicato al canto Soul-X-Singer (PER 26,22%).
• Efficienza: Con solo 0,3B di parametri e 65k ore di addestramento, UniVoice supera modelli unificati più grandi (Vevo1.5, 1B parametri) e modelli dedicati al canto, dimostrando l'efficienza del condizionamento fattorizzato.

Gli studi di ablazione confermano che:

• La rimozione del condizionamento fattorizzato causa un grave degrado (il PER del parlato sale al 12,31%; il PER del canto al 23,45%).
• Il learned null token è superiore a un vettore zero fisso.
• I task token sono essenziali per l'adattamento della modalità.
• Il condizionamento melodico esplicito è critico per il canto ma deleterio se forzato sul parlato.

Significato e Limitazioni

Significanza:
UniVoice dimostra che un singolo modello può colmare efficacemente il divario tra parlato e canto decuplicando i loro requisiti di condizionamento contrastanti. Stabilisce un nuovo standard per la generazione vocale unificata, offrendo una qualità competitiva rispetto ai sistemi dedicati e consentendo un'identità del parlatore coerente tra stili di parlato e di canto. L'introduzione di UNISINGING-EVAL affronta la mancanza di benchmark completi per questo campo emergente.

Limitazioni:

• Similitudine del Parlatore: Rimane un divario nella Speaker Similarity (SIM) rispetto ai sistemi solo-parlato, indicando un compromesso tra la condivisione cross-modale e la fedeltà del voice cloning.
• Ambito Linguistico: La valutazione è attualmente limitata a inglese e cinese.
• Latenza: Il processo di campionamento ODE a 32 step introduce una latenza più elevata rispetto ai metodi di generazione a pochi step.
• Copertura degli Stili: Stili vocali misti come il rap o il canto parlato non sono esplicitamente modellati.
• Rischi Etici: La capacità di zero-shot voice cloning attraverso le modalità solleva preoccupazioni riguardanti i deepfake e il copyright, rendendo necessari interventi di deployment responsabile come il watermarking e l'iscrizione basata sul consenso.