Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer

Il paper propone S2S-ZEST, un framework zero-shot per il trasferimento dello stile emotivo da voce a voce in contesti privi di testo e non paralleli, che preserva contenuto e identità del parlante mentre imita l'emozione di riferimento, dimostrando prestazioni superiori rispetto ai metodi precedenti e un'utilità per l'aumento dei dati nei compiti di riconoscimento emotivo.

L'essenziale

Immagina di avere una registrazione della tua voce che racconta una storia in modo molto neutro, quasi come se stessi leggendo un elenco della spesa. Ora, immagina di voler far sì che questa stessa storia venga raccontata con la stessa energia e passione di un amico che sta raccontando una barzelletta esilarante, oppure con la malinconia di un vecchio che ricorda un momento triste.

Il problema è che la tua voce e quella del tuo amico sono diverse. Come fai a prendere le parole della tua registrazione e "vestirle" con l'emozione del tuo amico, senza però farle sembrare la voce del tuo amico? È come se volessi dare a un'automobile il colore e lo stile di un'altra, ma senza cambiarne il motore o il telaio.

Questo è esattamente ciò che fa il nuovo sistema descritto in questo articolo, chiamato S2S-ZEST. È un "trasformatore di emozioni" per la voce che funziona senza bisogno di script o testi scritti.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il "Chef" che separa gli ingredienti (L'Analisi)

Immagina che la voce sia una zuppa complessa. Per cambiare il sapore (l'emozione) senza cambiare gli ingredienti base (le parole) o il tipo di pentola (la voce del parlante), devi prima separare tutto.
Il sistema S2S-ZEST agisce come uno chef molto attento che prende la tua registrazione e la scompone in quattro ingredienti puri:

• Le parole (Il contenuto): Cosa stai dicendo.
• La voce (L'identità): Chi sta parlando (il timbro, il tono unico).
• L'emozione (Lo stile): Come ti senti mentre parli (felice, arrabbiato, triste).
• Il ritmo e l'altezza (La musica): Quanto velocemente parli e quanto la voce sale e scende.

Fino a poco tempo fa, questi ingredienti erano mescolati insieme in modo disordinato. Questo sistema è speciale perché riesce a separarli perfettamente, come se avesse un set di coltelli magici.

2. La "Cucina" senza ricette (Zero-Shot)

La cosa più incredibile è che questo sistema non ha bisogno di studiare migliaia di esempi di "come si parla arrabbiato". È come un cuoco che, dopo aver imparato a riconoscere i sapori di base, può prendere un nuovo ingrediente e capire istantaneamente come cucinarlo, anche se non l'ha mai visto prima.
Nel nostro caso, il sistema prende un esempio di voce "arrabbiata" (la fonte di ispirazione) e un esempio di voce "neutra" (la tua registrazione). Non ha bisogno che siano la stessa persona o che dicano le stesse parole. Capisce l'emozione della fonte e la applica alla tua voce.

3. Il "Trucco" finale (La Sintesi)

Una volta separati gli ingredienti, il sistema ricompone la zuppa, ma con un trucco:

• Prende le parole e la voce dalla tua registrazione originale (perché vuoi che sembri ancora te).
• Prende l'emozione e il ritmo dalla registrazione di riferimento (perché vuoi che sembri arrabbiato o felice).
• Usa un "motore" speciale (chiamato BigVGAN, che è come un sintetizzatore musicale di altissima qualità) per ricreare l'audio finale.

Il risultato è una nuova registrazione: le parole sono le tue, la voce è la tua, ma l'emozione è quella dell'altro.

Perché è importante?

Pensa a un attore che deve recitare una scena triste, ma è di umore allegro. Con questo sistema, potrebbe registrare la scena con la sua voce neutra e poi "vestirla" con l'emozione giusta presa da un'altra registrazione, rendendo tutto più naturale e veloce.

Inoltre, questo sistema è utile per insegnare alle macchine a riconoscere le emozioni. Immagina di avere pochi esempi di voci "arrabbiate" per addestrare un computer. Questo sistema può creare migliaia di nuove voci "arrabbiate" partendo da voci neutre, aiutando l'intelligenza artificiale a imparare molto più velocemente.

In sintesi:
S2S-ZEST è come un trasformatore di magia audio. Prende la tua voce, la spoglia delle sue emozioni attuali, e le indossa quelle di un'altra persona, mantenendo intatta la tua identità e le tue parole. È un passo avanti enorme per rendere le interazioni tra umani e computer più naturali ed empatiche.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer" (S2S-ZEST), presentata in italiano.

1. Il Problema

Il trasferimento dello stile emotivo (Emotion Style Transfer - EST) nell'elaborazione del parlato mira a modificare l'espressione emotiva di un segnale vocale preservando al contempo l'identità del parlante e il contenuto linguistico.
Le sfide principali identificate dagli autori sono:

• Dipendenza dai dati paralleli: I metodi tradizionali richiedono dataset paralleli (lo stesso parlante che esprime lo stesso contenuto con emozioni diverse), che sono costosi e difficili da raccogliere su larga scala.
• Entanglement (Intreccio) delle rappresentazioni: I metodi esistenti spesso non riescono a separare correttamente l'identità del parlante dallo stile emotivo, rendendo difficile il trasferimento dell'emozione su parlanti mai visti (zero-shot).
• Necessità di trascrizione: Molti approcci richiedono la conoscenza del testo (testo-dipendenti), limitando l'applicabilità in scenari reali dove il testo non è disponibile.

L'obiettivo del paper è proporre un framework textless (senza testo) e non-parallel (senza dati paralleli) per il trasferimento zero-shot dello stile emotivo da un parlato di riferimento a un parlato sorgente.

2. Metodologia: S2S-ZEST

Il framework proposto, denominato S2S-ZEST (Speech-to-Speech Zero-shot Emotion Style Transfer), segue un'architettura di analisi-sintesi basata su un obiettivo di auto-codifica. Il sistema è composto da due fasi principali:

A. Modulo di Analisi (Estrazione delle Rappresentazioni)

Il sistema scompone il segnale vocale in cinque componenti chiave:

1. Token Semantici: Utilizza le embedding "soft" di HuBERT (pre-addestrate) che vengono quantizzate in token discreti tramite clustering k-means. Questo permette di rappresentare il contenuto linguistico mantenendo l'intelligibilità e permettendo il controllo della durata.
2. Rappresentazione del Parlante: Utilizza un encoder pre-addestrato (ECAPA-TDNN) per estrarre vettori x-vector. Per evitare che l'emozione influenzi l'identità del parlante, viene applicata una perdita avversaria (adversarial loss) per disaccoppiare le informazioni emotive dal vettore del parlante.
3. Embedding Emotivo: Un classificatore emotivo (basato su HuBERT) estrae embedding a livello di frame e a livello di utterance. Anche qui, viene applicata una perdita avversaria per disaccoppiare l'emozione dall'identità del parlante.
4. Predizione della Durata: Un modulo prevede la durata dei token discreti (dopo la deduplicazione) condizionato all'identità del parlante e all'emozione di riferimento. Questo è cruciale per replicare il ritmo emotivo.
5. Ricostruzione della Contorno di Pitch (F0): Un modulo basato su Cross-Attention e CNN 1D ricostruisce il contorno di pitch. Utilizza i token come query e la somma delle embedding del parlante e dell'emozione come chiave/valore, permettendo di generare un pitch che combina l'identità del parlante sorgente con l'emozione di riferimento.

B. Modulo di Sintesi

• Vocoder: Viene utilizzato BigVGAN, un vocoder generativo basato su GAN, che riceve in input i token, l'embedding del parlante, l'embedding emotivo e il contorno di pitch ricostruito.
• Training: L'intero pipeline è addestrato con un obiettivo di ricostruzione (auto-encoding) per garantire che il sistema possa rigenerare fedelmente il parlato originale quando le condizioni non vengono modificate.

C. Fase di Trasferimento dello Stile (Inference)

Durante il trasferimento:

• I token e l'identità del parlante sono estratti dal parlato sorgente.
• L'embedding emotivo e la previsione della durata sono estratti dal parlato di riferimento.
• Il modulo di sintesi combina queste informazioni per generare un nuovo parlato che mantiene il contenuto e la voce del sorgente, ma con la prosodia e l'emozione del riferimento.

3. Contributi Chiave

Rispetto al lavoro precedente degli stessi autori e alla letteratura esistente, i contributi principali sono:

• Nuova Architettura Textless: Sostituzione di HuBERT standard e HiFi-GAN con soft-HuBERT (per tokenizzazione) e BigVGAN (per sintesi vocale), ottenendo una migliore qualità e controllo.
• Gestione della Durata e del Pitch: Introduzione di un predittore di durata che modula i token in base all'emozione e una tecnica di ricostruzione del pitch basata su attenzione incrociata, migliorando la naturalezza del parlato sintetizzato.
• Disaccoppiamento Avversario: Implementazione di perdite avversarie per garantire che le rappresentazioni del parlante e dell'emozione siano disaccoppiate, permettendo un trasferimento zero-shot efficace su parlanti non visti.
• Valutazione Completa: Una valutazione estensiva sia oggettiva che soggettiva in scenari di parlanti/testi noti e non noti.
• Applicazione SER: Dimostrazione dell'uso del sistema come strumento di data augmentation per il riconoscimento delle emozioni nel parlato (SER).

4. Risultati

Gli esperimenti sono stati condotti su dataset come ESD, CREMA-D e TIMIT, confrontando S2S-ZEST con baseline come StarGANv2-EST, VEVO e il precedente lavoro ZEST.

• Trasferimento Emotivo: S2S-ZEST ha ottenuto la massima similarità emotiva (Emo.-Sim.) in tutti gli scenari, inclusi quelli con emozioni e parlanti non visti (es. 0.64 in UTE, 0.51 in USUE), superando significativamente le baseline.
• Preservazione del Contenuto: Il sistema ha mantenuto un basso Word Error Rate (WER), dimostrando che il contenuto linguistico è preservato efficacemente. La variante "diverse" (addestrata su dati più ampi) ha ulteriormente ridotto il WER.
• Preservazione del Parlante: Sebbene VEVO abbia mostrato una similarità del parlante leggermente superiore, S2S-ZEST ha dimostrato una buona capacità di generalizzazione, specialmente con la variante addestrata su dataset più diversificati.
• Robustezza: Il sistema ha mostrato stabilità nel trasferimento emotivo anche in presenza di rumore additivo (fino a 10 dB SNR), sebbene l'intelligibilità (WER) ne risenta.
• Valutazione Soggettiva: I test di ascolto (MOS e SMOS) hanno confermato che S2S-ZEST è percepito come superiore nelle emozioni trasferite e nella qualità del parlato rispetto alle baseline.

5. Significato e Implicazioni

Il lavoro di S2S-ZEST è significativo per diversi motivi:

• Superamento dei limiti dei dati: Dimostra che è possibile ottenere un trasferimento emotivo di alta qualità senza la necessità di costosi dataset paralleli o trascrizioni, rendendo la tecnologia più scalabile.
• Generalizzazione Zero-Shot: La capacità di trasferire emozioni su parlanti mai visti e con emozioni non presenti nel training set apre nuove possibilità per applicazioni dinamiche.
• Utilità per il SER: L'applicazione come strumento di data augmentation ha dimostrato di migliorare significativamente le prestazioni dei modelli di riconoscimento delle emozioni, specialmente in scenari a risorse limitate (low-resource).
• Fondamento per il futuro: Sebbene le prestazioni su parlanti non visti siano inferiori rispetto a sistemi addestrati su corpus enormi, il framework fornisce una solida base architetturale che può beneficiare di futuri addestramenti su dataset più vasti e diversificati.

In sintesi, S2S-ZEST rappresenta un avanzamento sostanziale nel campo della conversione vocale espressiva, offrendo un approccio modulare, textless e robusto per il controllo dell'emozione nel parlato sintetizzato.