Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation

Il documento presenta Vevo2, un framework unificato e controllabile per la generazione di voce parlata e cantata che supera le limitazioni dei dati annotati e garantisce un controllo flessibile su prosodia, stile e timbro grazie a nuovi tokenizzatori audio e strategie di addestramento congiunto.

L'essenziale

Ecco una spiegazione semplice e creativa del paper Vevo2, pensata per chiunque, anche senza conoscenze tecniche.

Immagina di voler creare un "super-cantante digitale" capace di fare due cose: parlare come un umano normale e cantare come un'opera lirica, ma con un controllo totale su come suona. Fino a poco tempo fa, creare queste due cose era come avere due cucine separate: una per il pane (la voce parlata) e una per la torta (la voce cantata). Erano difficili da unire perché mancavano le ricette precise per la torta.

Vevo2 è come un nuovo "Cucina Universale" che risolve questo problema. Ecco come funziona, usando delle metafore:

1. Il Problema: La Scarsità di Ricette per il Canto

Per insegnare a un computer a parlare, abbiamo milioni di libri e registrazioni (come un'enorme biblioteca). Ma per insegnargli a cantare, le registrazioni sono poche e spesso richiedono "spartiti musicali" scritti a mano da esperti (come se dovessimo leggere la musica nota per nota per ogni canzone). Questo rendeva difficile creare un'intelligenza artificiale che sapesse fare entrambe le cose bene.

2. La Soluzione: Due "Traduttori Magici" (I Tokenizer)

Vevo2 introduce due nuovi strumenti, che chiamiamo Traduttori, per capire la voce senza bisogno di spartiti scritti a mano.

• Il Traduttore del "Ritmo e Melodia" (Prosody Tokenizer):
  Immagina di avere un orecchio che non ascolta chi sta parlando o cantando, ma solo come si muove la voce. Questo traduttore guarda la "forma" della voce (l'andamento delle note, il ritmo, l'emozione) e la trasforma in una serie di piccoli mattoncini digitali.

  • La magia: Funziona anche se la voce viene da uno strumento musicale (come un pianoforte) o da qualcuno che fischia una melodia! Non serve lo spartito; basta il suono. È come se il computer potesse "sentire" la melodia direttamente dall'aria.

• Il Traduttore del "Contenuto e Stile" (Content-Style Tokenizer):
  Questo è il secondo traduttore. Prende le parole che vuoi dire, l'emozione (felice, triste, arrabbiato) e lo stile (accento, modo di parlare), ma lascia fuori la voce specifica della persona.

  • La magia: È come se potessi prendere la voce di un attore famoso, togliergli il "timbro" (il suo suono unico) e lasciare solo le sue parole e il suo modo di recitare, per poi vestire questo "fantasma" con la voce di un'altra persona. Questo permette di separare perfettamente cosa viene detto da chi lo dice.

3. L'Allenamento: Imparare insieme (Joint Training)

Invece di addestrare due computer separati (uno per parlare, uno per cantare), Vevo2 addestra un unico cervello gigante usando entrambi i dati insieme.

• L'analogia: È come se un bambino imparasse a parlare e a cantare nello stesso momento. Quando impara a cantare, capisce meglio l'emozione nel parlare. Quando impara a parlare, capisce meglio la struttura delle frasi nel canto. Si aiutano a vicenda!
• Il sistema usa due strategie: a volte gli dice "canta seguendo questo spartito" (apprendimento esplicito) e a volte gli dice "canta questa frase come se fossi felice" senza spartito (apprendimento implicito).

4. Il Risultato: Un "Coltellino Svizzero" della Voce

Grazie a questo sistema, Vevo2 può fare cose incredibili:

• Da Fischio a Canzone: Puoi fischiettare una melodia e il sistema la trasforma in una canzone cantata da un cantante famoso.
• Da Strumento a Voce: Puoi suonare un pianoforte e il sistema trasformerà quella melodia in una voce umana che canta.
• Modifica del Testo: Puoi cambiare le parole di una canzone già registrata mantenendo intatta la melodia originale e il modo di cantare.
• Cambio di Stile: Puoi prendere una voce parlata e renderla cantata, o cambiare l'accento (es. da americano a italiano) mantenendo la stessa persona.

5. Il "Rifinitore" (Post-Training)

Dopo aver costruito il modello, gli autori gli hanno fatto un "esame di maturità" speciale. Gli hanno mostrato migliaia di esempi e gli hanno detto: "Se non capisci bene le parole o se non segui la melodia, non passi". Questo ha reso il sistema molto più preciso e affidabile, specialmente quando deve seguire melodie complesse o testi difficili.

In Sintesi

Vevo2 è come un orchestra digitale universale. Non ha bisogno di spartiti scritti a mano, può imparare da qualsiasi suono (parlato, cantato, fischiato o suonato da uno strumento) e può trasformare qualsiasi testo in una voce umana o cantata, controllando ogni dettaglio: dal timbro della voce, all'emozione, fino alla durata esatta della frase.

È un passo gigante verso un futuro dove creare musica o voci realistiche sarà facile come scrivere un messaggio di testo, aprendo la strada a nuove forme di creatività per tutti.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation" in italiano.

1. Il Problema

La generazione controllata della voce umana, specialmente in domini espressivi come il canto, rimane una sfida significativa. Sebbene ci siano stati progressi notevoli nella sintesi vocale (TTS) grazie a grandi corpora di dati, la generazione del canto (SVS) soffre di due limitazioni principali:

• Scarsità di dati annotati: I dataset per il canto richiedono spesso annotazioni musicali dettagliate (spartiti, allineamento preciso tra testo e note), che sono costose da produrre e limitano la scalabilità rispetto ai vasti dataset di parlato.
• Mancanza di unificazione e controllabilità: Esistono modelli che uniscono TTS e SVS, ma spesso faticano a gestire il controllo indipendente di testo, prosodia (melodia), stile (accento, emozione, tecniche vocali) e timbro (identità del parlante) all'interno di un unico framework coerente. Inoltre, la separazione tra le caratteristiche del parlato e quelle del canto rende difficile il trasferimento di apprendimento tra i due domini.

2. Metodologia

Vevo2 è un framework unificato che utilizza un'architettura a due stadi, simile ai sistemi di generazione vocale zero-shot classici, ma con componenti innovativi progettati specificamente per unificare parlato e canto.

A. Tokenizer Audio Unificati

Vevo2 introduce due nuovi tokenizer basati su VQ-VAE (Vector Quantized Variational Autoencoder) per convertire l'audio in token discreti:

1. Unified Prosody Tokenizer (Tokenizzatore di Prosodia Unificato):
   • Opera a 6.25 Hz.
   • Utilizza il chromagram (una rappresentazione musicale robusta che rimuove l'informazione dell'ottava) come obiettivo di ricostruzione.
   • Vantaggio: Elimina la necessità di spartiti musicali annotati manualmente. Può estrarre token di prosodia/melodia direttamente dall'audio grezzo (voce parlata, canto o persino strumenti musicali), rendendo il sistema scalabile e capace di gestire suoni non umani.
2. Unified Content-Style Tokenizer (Tokenizzatore di Contenuto-Stile Unificato):
   • Opera a 12.5 Hz.
   • Ricostruisce sia le feature del Whisper (per il contenuto linguistico) che il chromagram (per la melodia e i dettagli stilistici).
   • Vantaggio: Codifica contenuto, prosodia e stile, garantendo al contempo un robusto disentanglement del timbro (separazione dell'identità del parlante dal contenuto).

B. Addestramento Congiunto Parlato-Canto (Joint Training)

Per colmare il divario tra parlato e canto durante la fase di modellazione autoregressiva (AR), Vevo2 propone due strategie di apprendimento della prosodia:

• Explicit Prosody Learning (EPL): I token di prosodia sono forniti come input esplicito insieme al testo.
• Implicit Prosody Learning (IPL): Il modello genera i token di contenuto-stile basandosi solo sul testo, inferendo la prosodia implicitamente.
• Strategia: Durante l'addestramento, entrambi i metodi vengono applicati casualmente a tutti i dati (sia parlato che canto). Questo forza il modello a imparare una rappresentazione unificata della prosodia, migliorando la capacità di seguire la melodia nel canto e l'espressività nel parlato.

C. Allineamento Multi-Obiettivo (Post-Training)

Dopo l'addestramento preliminare, viene applicato un task di post-training utilizzando l'algoritmo GRPO (Group Relative Policy Optimization).

• Obiettivo: Ottimizzare contemporaneamente due reward:
  1. Intelligibilità: Basata su un corpus di preferenze (INTP) per garantire che il testo generato sia chiaro.
  2. Similarità Prosodica: Misura quanto la melodia generata segue il prompt di prosodia (anche se derivato da musica strumentale o MIDI).
• Questo approccio previene l'ottimizzazione eccessiva su un singolo obiettivo e migliora la robustezza del modello su dati fuori distribuzione (es. suoni strumentali).

3. Contributi Chiave

1. Nuovi Tokenizer: Introduzione di un tokenizer di prosodia "senza spartiti" (basato su chromagram) e di un tokenizer contenuto-stile che disentangola il timbro, funzionanti sia per parlato che per canto.
2. Framework Unificato Vevo2: Un modello capace di gestire sintesi, conversione e editing per parlato e canto in un'unica architettura, sfruttando i benefici reciproci dell'addestramento congiunto.
3. Strategie di Addestramento Ibride: L'uso combinato di apprendimento esplicito e implicito della prosodia per unificare le caratteristiche vocali.
4. Post-Training Multi-Obiettivo: Un metodo efficace per migliorare il controllo su testo e melodia senza sacrificare l'intelligibilità.
5. Nuove Applicazioni: Abilitazione di task unici come la conversione da "fischiettio a canto" (humming-to-singing) e da "strumento a canto" (instrument-to-singing).

4. Risultati Sperimentali

I risultati dimostrano che la modellazione unificata porta benefici reciproci:

• Qualità e Controllabilità: Vevo2 supera o eguaglia i modelli esistenti (come MaskGCT, CosyVoice 2, F5-TTS) sia nel dominio del parlato espressivo che in quello del canto.
• Sintesi del Canto (SVS): Nel task zero-shot SVS, Vevo2 mostra una migliore intelligibilità (WER inferiore) e naturalità rispetto ai baselines, mantenendo un'ottima capacità di seguire la melodia (Melody-MOS > 2.0 su una scala di 3).
• Editing e Conversione: Il modello eccelle nell'editing del testo (mantenendo la prosodia originale) e nella conversione vocale (VC/SVC), dimostrando un forte disentanglement del timbro.
• Controllo della Durata e del Pitch: Grazie alla struttura dei token, Vevo2 permette un controllo preciso della durata dell'output e dello spostamento del registro (pitch shift) semplicemente modificando i token di prosodia in ingresso.
• Generalizzazione: Il modello funziona efficacemente anche quando la prosodia è fornita da suoni strumentali o MIDI, dimostrando una forte capacità di generalizzazione.

5. Significato

Vevo2 rappresenta un passo avanti significativo nell'audio generation unificata. Dimostra che l'addestramento congiunto di parlato e canto non solo è fattibile, ma migliora le prestazioni di entrambi i domini. La capacità di eliminare la dipendenza da spartiti musicali annotati e di controllare finemente melodia, stile e timbro apre la strada a nuove applicazioni creative, come la generazione di musica da fischiettii o la conversione di melodie strumentali in canto umano, rendendo la tecnologia più accessibile e versatile. Il codice e i checkpoint sono stati rilasciati come open source su Amphion.