Riepilogo Tecnico: TRACE-EVC

Definizione del Problema

I sistemi tradizionali di Conversione della Voce Emotiva (EVC) si affidano a condizioni target esplicite — come etichette emotive discrete, segmenti audio di riferimento o descrizioni di stile assolute — per guidare la generazione. Sebbene efficaci, questi paradigmi definiscono uno stato target fisso ma non riescono a catturare la direzione o la natura della transizione emotiva rispetto alla sorgente. In molti scenari pratici, gli utenti potrebbero non avere in mente un'emozione target specifica, ma desiderano invece modificare l'enunciato sorgente in modo relativo (ad esempio, "rendi il parlato leggermente più calmo" o "suona sensibilmente più sicuro di sé"). I metodi esistenti mancano della capacità di interpretare tali istruzioni relative e condizionate alla sorgente, e vi è una lacuna significativa nei dati riguardante dataset che descrivano trasformazioni affettive piuttosto che stili di enunciati statici.

Metodologia

Gli autori propongono TRACE-EVC, un framework zero-shot per l'EVC relativa guidata da istruzioni, supportato dal dataset TRACE-Instruct. Il framework è composto da due componenti primarie:

1. Costruzione del Dataset TRACE-Instruct

Per affrontare la mancanza di dati di addestramento per istruzioni relative, gli autori hanno costruito TRACE-Instruct utilizzando coppie di parlato emotivo dai corpora ESD e MEAD.

• Costruzione delle Coppie: Le coppie sorgente-target sono formate tra diverse emozioni (inter-emozione) e livelli di intensità (intra-emozione).
• Calcolo della Differenza Affettiva: Un modello di Riconoscimento delle Emozioni nel Discorso (SER) predice le coordinate Valence-Arousal-Dominance (VAD) per entrambi gli enunciati sorgente ($VAD_{src}$) e target ($VAD_{tgt}$). La variazione affettiva relativa è calcolata come $\Delta VAD = VAD_{tgt} - VAD_{src}$.
• Generazione delle Istruzioni: Un Large Language Model (LLM, Qwen3) viene istruito con la descrizione dello stile sorgente, la descrizione dello stile target e il $\Delta VAD$ calcolato. L'LLM genera istruzioni in linguaggio naturale che descrivono la trasformazione (ad esempio, "aumenta la vivacità") piuttosto che lo stile target assoluto.
• Filtraggio: Un filtraggio basato su regole rimuove etichette esplicite dell'emozione target, valori VAD numerici e metadati per garantire che le istruzioni rimangano relative.

2. Framework TRACE-EVC

Il modello opera in modalità zero-shot, senza richiedere etichette target o segmenti audio di riferimento durante l'inferenza. Comprende due moduli in cascata:

• Emo-Compass (Predittore di Emozione):

  • Input: Embedding dell'emozione sorgente ($z_{src}$) e un embedding dell'istruzione codificato dal testo ($p$).
  • Rappresentazione: L'embedding dell'emozione $z$ concatena un embedding emotion2vec (livello categoriale), le coordinate VAD (stato affettivo continuo) e le caratteristiche prosodiche medie (F0 ed energia).
  • Meccanismo: A differenza dei modelli di diffusione che generano a partire dal rumore, Emo-Compass modella la conversione come un flusso rettificato ancorato alla sorgente (source-anchored rectified flow). Tratta l'istruzione come un vettore di spostamento nello spazio affettivo.
  • Addestramento: Un Transformer $D_\theta$ predice la velocità $\hat{v}$ del flusso, addestrato per corrispondere allo spostamento reale $v^* = z_{tgt} - z_{src}$. La funzione di perdita include un termine di regressione della velocità e termini di guida ausiliari per direzione, categoria, ricostruzione VAD/prosodia e ordinamento dell'intensità.
  • Inferenza: Partendo da $z_{src}$, il modello integra la velocità predetta su $K$ passi di Euler per generare l'embedding target $\hat{z}_{tgt}$.

• Modulo di Sintesi:

  • Basato sul backbone DurFlex-EVC, questo modulo eseglie la conversione zero-shot utilizzando embedding continui.
  • Combina l'embedding del parlatore sorgente con l'embedding dell'emozione target predetto per creare una rappresentazione dello stile target ($m_{tgt}$).
  • Un regolatore di durata e un decoder di diffusione condizionale generano lo spettrogramma mel, che viene convertito in una forma d'onda da un vocoder HiFi-GAN. Questo processo preserva l'identità del parlatore sorgente e il contenuto linguistico applicando al contempo lo spostamento emotivo istruito.

Contributi Chiave

1. Task di EVC Relativa Guidata da Istruzioni: L'introduzione di un nuovo paradigma di task in cui le istruzioni in linguaggio naturale specificano trasformazioni affettive condizionate alla sorgente (spostamenti categoriali e modifiche di intensità) anziché stati target fissi.
2. Dataset TRACE-Instruct: Un dataset di 0,54 milioni di istruzioni emotive relative che coprono spostamenti inter-emozionali, modifiche di intensità intra-emozionali e transizioni aperte, generate tramite LLM guidati dalle differenze VAD.
3. Framework TRACE-EVC: Un sistema zero-shot caratterizzato da Emo-Compass, che ripensa l'EVC basata su prompt ancorando il processo generativo all'embedding sorgente e modellando l'istruzione come velocità di un flusso rettificato. Ciò consente un controllo flessibile senza etichette target o audio di riferimento.
4. Validazione Empirica: Esperimenti esaustivi che dimostrano come il sistema segua accuratamente le istruzioni relative preservando l'identità del parlatore, il contenuto linguistico e la qualità del parlato.

Risultati Sperimentali

Conversione Inter-Emozione (Dataset ESD)

• Prestazioni: TRACE-EVC ha ottenuto i valori più alti di Somiglianza Emotiva (EECS: 0,82), Somiglianza del Parlatore (SECS: 0,68) e Accuratezza della Classificazione Emotiva (ACCcls: 93,00%) rispetto ai baseline confrontati (inclusi SGEVC/DurFlex-EVC basati su etichette e ZEST/VEVO basati su riferimento).
• Qualità: Ha mantenuto tassi di errore della parola competitivi (WER: 9,96%) e punteggi UTMOS (3,57), indicando alta intelligibilità e naturalezza.
• Ablazione: La rimozione di Emo-Compass e la semplice concatenazione degli embedding ha causato un calo significativo in EECS (0,65) e ACCcls (43,08%), validando la necessità di predire esplicitamente l'embedding target tramite il flusso.

Conversione dell'Intensità Intra-Emozione (Dataset MEAD)

• Capacità Zero-Shot: Valutato su parlatori non visti, TRACE-EVC ha ottenuto punteggi NISQA (3,147) vicini al ground truth (3,248), dimostrando un'alta naturalezza.
• Controllo dell'Intensità: Il sistema ha mostrato aumenti monotoni negli spostamenti medi di arousal corrispondenti alla forza dell'istruzione (ad esempio, "leggero aumento" rispetto a "forte aumento"), confermando un controllo fine sull'intensità emotiva.
• Preservazione del Parlatore: Il SECS è rimasto stabile (0,706 per parlatori non visti), indicando una robusta preservazione dell'identità del parlatore.

Seguire le Istruzioni

La valutazione soggettiva da parte di 15 valutatori ha prodotto punteggi elevati di Seguire l'Istruzione (IF): 4,135 per le impostazioni inter-emozione e 4,296 per le impostazioni intra-emozione (su una scala da 1 a 5).

Analisi dei Componenti (Emo-Compass)

• Indizi Affettivi: Gli studi di ablazione hanno confermato che, sebbene emotion2vec fornisca una forte accuratezza a livello categoriale, l'inclusione delle caratteristiche VAD e prosodiche è critica per le metriche continue. La rimozione di VAD ha aumentato la distanza L2 di VAD e la MSE dell'intensità; la rimozione della prosodia ha ulteriormente degradato la coerenza dell'intensità.

Significato e Rivendicazioni

L'articolo sostiene che TRACE-EVC colma con successo il divario tra istruzioni in linguaggio naturale e controllo emotivo fine-grained nella conversione della voce. Spostandosi dalla generazione orientata al target alla trasformazione relativa condizionata alla sorgente, il framework consente un controllo più intuitivo e flessibile (ad esempio, "più calmo", "più espressivo") senza richiedere agli utenti di specificare un'etichetta di emozia target o fornire una registrazione di riferimento. Il lavoro dimostra che modellare il cambiamento emotivo come uno spostamento in uno spazio affettivo continuo (tramite flusso rettificato) è una strategia efficace per l'EVC zero-shot, raggiungendo prestazioni competitive con i sistemi allo stato dell'arte nei compiti categoriali standard, abilitando al contempo nuove capacità di controllo dell'intensità relativa e del controllo affettivo aperto.