⚡ electrical engineering

Expressive Prompting: Improving Emotion Intensity and Speaker Consistency in Zero-Shot TTS

Il paper propone una strategia di selezione dei prompt in due fasi, che combina valutazioni statiche delle caratteristiche prosodiche e della coerenza testo-emozione con un'adeguata selezione dinamica basata sulla similarità testuale, per migliorare l'intensità emotiva e la coerenza dell'identità del parlante nella sintesi vocale zero-shot guidata da LLM.

Autori originali: Haoyu Wang, Chunyu Qiang, Tianrui Wang, Cheng Gong, Yu Jiang, Yuheng Lu, Chen Zhang, Longbiao Wang, Jianwu Dang

Pubblicato 2026-04-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Haoyu Wang, Chunyu Qiang, Tianrui Wang, Cheng Gong, Yu Jiang, Yuheng Lu, Chen Zhang, Longbiao Wang, Jianwu Dang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un chef robotico (il sistema di intelligenza artificiale) che sa cucinare qualsiasi piatto (creare qualsiasi voce), ma ha un problema: non sa come condire il piatto. Se gli dai un'istruzione vaga, il risultato sarà insipido. Se gli dai un'istruzione precisa e ricca di sapore, il piatto sarà delizioso.

In questo contesto, il "condimento" è la voce di esempio (chiamata prompt) che fornisci all'IA per dirle: "Copia questo tono, questa emozione e questo timbro".

Il problema è che spesso scegliamo questo "condimento" a caso, come se prendessimo un barattolo di spezie a occhi chiusi. A volte il robot imita bene la voce, ma l'emozione è piatta; altre volte l'emozione è forte, ma la voce non somiglia a quella originale.

Gli autori di questo paper hanno creato un metodo intelligente chiamato ExpPro per scegliere il "condimento" perfetto. Ecco come funziona, spiegato con un'analogia culinaria:

1. Il Problema: Scegliere a caso non funziona

Fino ad ora, per far parlare un'IA con un'emozione specifica (come la rabbia o la gioia), si sceglieva una registrazione a caso o si guardava solo se il testo scritto era simile.

L'analogia: È come chiedere a un cuoco di fare una "zuppa piccante" dandogli un pezzetto di peperoncino che potrebbe essere vecchio o non abbastanza forte. Il risultato è imprevedibile.

2. La Soluzione: Il Metodo a Due Fasi (ExpPro)

Gli autori hanno inventato un sistema di selezione in due passaggi, come se avessero un sommelier esperto che assaggia e seleziona i migliori ingredienti prima di darli al cuoco.

Fase 1: La Selezione Statica (L'Assaggio in Cucina)

Prima ancora di iniziare a cucinare (prima di generare la voce), il sistema esamina tutte le possibili registrazioni di esempio disponibili. Non le guarda a caso, ma le analizza con tre "sensori":

Il "Tono" della voce (Pitch): Analizza se la voce è alta e vibrante (come quando si è felici o sorpresi) o bassa e calma (come quando si è tristi). Immagina di misurare l'energia elettrica di una voce.
La "Qualità" del suono: Usa un software per assicurarsi che la registrazione sia chiara, senza rumori di fondo, proprio come un cuoco controlla che l'ingrediente sia fresco.
La "Coerenza" del testo: Chiede a un'IA (come ChatGPT) di leggere il testo della registrazione e chiedersi: "Questa frase suona davvero arrabbiata/triste?". Se il testo dice "Sono felice" ma la voce sembra triste, scarta quella registrazione.

Dopo questo primo giro di selezioni, il sistema fa una prova di cottura: chiede all'IA di generare una frase usando quelle registrazioni. Se l'IA riesce a copiare bene la voce e l'emozione, quella registrazione passa alla fase successiva.

Fase 2: La Selezione Dinamica (L'Accoppiamento Perfetto)

Ora abbiamo una lista ristretta di "ingredienti migliori". Ma quale scegliere per il piatto specifico che stiamo cucinando adesso?

L'analogia: Se devi cucinare una zuppa di pomodoro, non vuoi un ingrediente che sa di menta, anche se è di alta qualità.
Come funziona: Il sistema legge il testo che l'utente vuole far dire all'IA. Poi, confronta questo testo con le poche registrazioni selezionate nella Fase 1 e sceglie quella che è semanticamente più vicina.
- Esempio: Se devi dire "Che bello, sono felice!", il sistema sceglierà la registrazione di esempio che, pur essendo stata selezionata per la sua qualità, ha un testo o un'intonazione che si sposa meglio con la parola "felice".

3. I Risultati: Un Piatto Delizioso

Grazie a questo metodo, il risultato è sorprendente:

Emozioni più forti: La voce dell'IA esprime davvero la rabbia, la gioia o la tristezza, non solo le "mima".
Voce più stabile: L'IA imita perfettamente la persona originale, senza distorsioni strane.
Nessun addestramento extra: Il sistema non ha bisogno di imparare di nuovo; usa solo un metodo di selezione più intelligente.

In sintesi

Questo paper ci dice che non serve un nuovo chef (un nuovo modello di intelligenza artificiale) per ottenere risultati migliori. Basta avere un sommelier più attento (il sistema ExpPro) che sa scegliere l'ingrediente giusto (la registrazione di esempio) al momento giusto, analizzando sia la qualità dell'ingrediente sia quanto si abbina al piatto che stiamo preparando.

Il risultato? Un'IA che parla con un'emozione umana, chiara e convincente, proprio come se fosse una persona vera.

1. Il Problema

Negli ultimi anni, i sistemi di sintesi vocale (TTS) basati su grandi modelli linguistici (LLM) hanno raggiunto livelli di qualità paragonabili alla voce umana, permettendo il clonaggio vocale "zero-shot" (senza addestramento specifico) tramite l'uso di prompt audio. Tuttavia, la qualità dell'output generato dipende criticamente dalla scelta del prompt audio di riferimento.

Le sfide principali identificate sono:

Inconsistenza dell'identità del parlante e dell'intensità emotiva: I metodi di selezione esistenti (scelta casuale o basata solo sulla similarità testuale) spesso falliscono nel garantire che il prompt contenga indicatori stabili dell'identità del parlante e un'intensità emotiva appropriata.
Limitazioni dei metodi attuali: La selezione casuale non fornisce informazioni emotive ricche, mentre i metodi basati solo sul testo ignorano la disconnessione frequente tra il contenuto testuale e l'emozione desiderata nella voce.
Mancanza di adattamento al modello: Lo stesso prompt audio può produrre risultati molto diversi a seconda del modello TTS specifico utilizzato, rendendo necessaria una valutazione contestuale.

L'obiettivo della ricerca è migliorare l'intensità emotiva e la coerenza del parlante nella sintesi vocale zero-shot attraverso una migliore selezione del prompt, senza richiedere alcun addestramento aggiuntivo del modello TTS.

2. Metodologia: ExpPro

Gli autori propongono ExpPro, una strategia innovativa di selezione del prompt in due fasi (statica e dinamica), illustrata nella Figura 1 del paper.

A. Fase di Selezione Statica (Pre-sintesi)

In questa fase, i candidati prompt vengono valutati e filtrati in base alla loro qualità intrinseca e alle prestazioni attese nel modello specifico. La selezione avviene in tre step:

Analisi delle caratteristiche prosodiche (Pitch): Vengono calcolati la media e la varianza della frequenza fondamentale (pitch). Utilizzando l'algoritmo K-Means, i prompt vengono raggruppati in base a questi parametri, poiché diverse emozioni (es. rabbia, sorpresa) mostrano pattern di pitch distinti rispetto a emozioni più calme (es. tristezza, conforto). Vengono selezionati i cluster ( $m$ ) con le caratteristiche più adatte all'emozione target.
Valutazione della Qualità Percettiva e Coerenza Testuale:
- Qualità Percettiva: Viene utilizzata la metrica DNSMOS per valutare oggettivamente la chiarezza e la naturalezza dell'audio.
- Coerenza Emotiva Testuale: Viene impiegata un'API LLM (ChatGPT) per assegnare un punteggio di coerenza semantica tra il testo del prompt e l'etichetta emotiva target.
- I punteggi DNSMOS e di coerenza vengono combinati per selezionare il top $n\%$ dei dati più espressivi.
Valutazione delle Prestazioni nel Modello (Model Performance): I candidati rimanenti vengono testati sul modello TTS specifico (es. CosyVoice o GPT-SoVITS) usando frasi neutre. Vengono misurati:
- CER (Character Error Rate): Per valutare la fedeltà del contenuto.
- Similarità del Parlante: Utilizzando Resemblyzer e WavLM.
- Similarità Emotiva: Utilizzando emotion2vec.
  Questi metrici vengono combinati in una somma ponderata per selezionare i prompt che offrono le migliori prestazioni di generazione per quel specifico modello.

B. Fase di Selezione Dinamica (Durante la sintesi)

Una volta ridotta la lista dei candidati tramite la fase statica, viene selezionato il prompt finale in base al testo di input specifico da sintetizzare.

Viene utilizzata una modello di similarità testuale (stsb-distilroberta-base) per calcolare la similarità semantica tra il testo da sintetizzare e i testi dei prompt candidati.
Il prompt con la massima rilevanza semantica viene scelto come input finale per la generazione.

3. Contributi Chiave

Strategia ExpPro: Introduzione di un metodo a due stadi (statico-dinamico) per la selezione dei prompt emotivi, applicabile a qualsiasi sistema TTS basato su LLM senza ri-addestramento.
Analisi Multi-perspettiva: Integrazione di metriche che valutano sia la qualità intrinseca dell'audio (pitch, DNSMOS), sia la coerenza semantica (LLM), sia le prestazioni specifiche del modello (CER, similarità vocale/emotiva).
Flessibilità: Una strategia adattabile che può migliorare l'espressività emotiva in diversi modelli TTS che utilizzano il concetto di prompt speech.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due modelli SOTA (CosyVoice e GPT-SoVITS) utilizzando i dataset HE2D (Highly Emotionally Expressive Dataset) e ESD.

Confronto con Baseline: ExpPro supera significativamente i metodi di baseline (Selezione Casuale e Selezione basata su MiniLM) in termini di:
- MOS (Mean Opinion Score): Migliore qualità percepita e naturalezza.
- SP (Strength Perception): Maggiore intensità emotiva percepita dagli ascoltatori.
- Similarità del Parlante: Migliore conservazione dell'identità del parlante originale.
Impatto del Modello: I risultati (Tabella III) dimostrano che i prompt migliori variano a seconda del modello TTS utilizzato, confermando la necessità della fase di valutazione delle prestazioni del modello (Static Stage, punto 3).
Ablation Study:
- La rimozione della selezione basata sulla qualità del prompt (Tabella V) riduce drasticamente la similarità emotiva e la percezione della forza emotiva.
- La rimozione della selezione basata sulle prestazioni del modello (Tabella VI) porta a un calo nel MOS e nella SP, confermando che la qualità intrinseca del prompt non è sufficiente senza considerare come il modello lo elabora.
Parametri Ottimali: Sono stati identificati i parametri ottimali per la selezione ( $m=3$ , $n=15$ , $k=5$ ), che bilanciano la diversità dei cluster di pitch e la qualità percettiva.

5. Significato e Conclusioni

Il lavoro dimostra che una selezione intelligente e strutturata del prompt è fondamentale per sbloccare il pieno potenziale dei sistemi TTS zero-shot basati su LLM.

Significato Pratico: ExpPro offre una soluzione pratica per migliorare l'esperienza utente in applicazioni di sintesi vocale emotiva, garantendo voci più stabili ed espressive senza costi computazionali di addestramento.
Impatto Scientifico: Il paper evidenzia che la "qualità del prompt" non è una proprietà assoluta, ma dipende dall'interazione tra l'audio di riferimento, il testo target e l'architettura del modello TTS.
Lavori Futuri: Gli autori intendono estendere la strategia ad altre dimensioni e applicarla ad altri compiti, come la sintesi da testo ad audio (text-to-audio).

In sintesi, ExpPro risolve il problema dell'instabilità e della scarsa espressività nella sintesi vocale zero-shot trasformando la selezione del prompt da un processo casuale o puramente testuale a un processo sistematico, guidato dai dati e ottimizzato per il modello specifico.