VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation

Sintesi Tecnica: VowelPrompt: Ascoltare le Emozioni del Parlato dal Testo tramite l'Augmentation Prosodica a Livello di Vocale

Problema
Il Riconoscimento delle Emozioni nel Parlato (Speech Emotion Recognition - SER) è un compito multimodale complesso che richiede l'integrazione del contenuto linguistico e dell'espressività vocale, in particolare delle caratteristiche prosodiche come la frequenza fondamentale (F0), l'intensità e la dinamica temporale. Sebbene i Large Language Models (LLM) abbiano mostrato grande potenziale nel ragionare su trascrizioni testuali, essi tipicamente trascurano le informazioni prosodiche fini, limitandone l'efficacia e l'interpretabilità. Gli approcci esistenti affrontano un compromesso: i modelli audio-linguistici (ad es., AudioPaLM, Emotion-LLaMA) integrano encoder acustici ma si affidano a embedding opachi e "black-box" che ostacolano l'interpretabilità e il deployment esclusivamente testuale; viceversa, i metodi di prompting basati solo sul testo, che aumentano le trascrizioni con descrizioni prosodiche, spesso utilizzano riassunti grossolani a livello di intera unità di parlato (utterance) che sfumano i segnali emotivi fini. Inoltre, l'evidenza fonetica suggerisce che le vocali, essendo nuclei sonoramente eccitati con proprietà acustiche stabili, siano i principali vettori della prosodia affettiva, eppure le moderne pipeline SER estraggono le caratteristiche in modo uniforme su tutti i fonemi, potenzialmente diluendo il potere discriminante dei segnali specifici delle vocali.

Metodologia
Gli autori propongono VowelPrompt, un framework linguisticamente fondato che aumenta il riconoscimento delle emozioni basato su LLM con indizi prosodici interpretabili e fini a livello di vocale. La metodologia consiste in tre componenti principali:

1. Estrazione delle Caratteristiche Acustiche a Livello di Vocale:

   • Allineamento Forzato: Data un'unità di parlato e la sua trascrizione, una pipeline di allineamento forzato standard (ad es., Montreal Forced Aligner) ottiene i confini temporali precisi per i fonemi.
   • Selezione delle Vocali: Il sistema isola i segmenti vocalici (monottonghi e dittonghi) basandosi sull'Alfabeto Fonetico Internazionale (IPA), escludendo le regioni consonantiche per concentrarsi sui nuclei sonori ricchi di risonanza.
   • Estrazione dei Descrittori: Per ogni segmento vocalico, il sistema calcola i Low-Level Descriptors (LLD): pitch (F0) medio e pendenza, variazione del pitch (deviazione standard), intensità media (energia RMS) e variazione, e durata del segmento.
   • Normalizzazione e Discretizzazione: Le caratteristiche subiscono una z-normalizzazione per parlante e una normalizzazione per tipo di vocale per garantire la comparabilità tra diversi parlanti e diverse vocali. I valori continui vengono poi discretizzati tramite binning basato sui quantili in categorie ordinali (ad es., "molto basso", "alto").
   • Conversione in Linguaggio Naturale: Questi valori discretizzati sono mappati deterministicamente in descrizioni concise in linguaggio naturale (ad es., "F0 alto, ascendente, forte, allungato") per ogni vocale.

2. Costruzione del Prompt:
   I descrittori generati in linguaggio naturale vengono aggiunti alla trascrizione testuale. Ciò consente a un LLM basato solo sul testo di ragionare congiuntamente sulla semantica lessicale e sulla variazione prosodica localizzata a livello di segmento senza richiedere l'input audio grezzo durante l'inferenza.

3. Adattamento del Modello in Due Fasi:
   Per adattare gli LLM a questo input arricchito, gli autori impiegano una pipeline di addestramento in due fasi:

   • Supervised Fine-Tuning (SFT): Una fase di cold-start in cui l'LLM viene perfezionato su dati aumentati con descrittori a livello di vocale. Il modello impara a generare sia l'etichetta dell'emozione corretta sia una traccia di ragionamento interpretabile (racchiusa in tag <thought>) condizionata dal testo e dalle caratteristiche prosodiche.
   • Reinforcement Learning con Verifiable Reward (RLVR): Dopo la SFT, il modello viene raffinato utilizzando il Group Relative Policy Optimization (GRPO). Questa fase ottimizza due reward verificabili: l'accuratezza (corrispondenza con l'etichetta reale) e l'aderenza al formato (garantire che l'output contenga blocchi di ragionamento e di risposta validi). Una penalità KL vincola gli aggiornamenti rispetto al riferimento SFT per prevenire il drift.

Contributi Chiave

1. Augmentation Interpretabile a Livello di Vocale: Il paper introduce un metodo per estrarre caratteristiche di pitch, intensità e durata specificamente dai segmenti vocalici allineati temporalmente, convertendoli in linguaggio naturale. Questo colma il divario tra gli embedding acustici opachi e i prompt leggibili dall'uomo, consentendo agli LLM di ragionare sulla struttura prosodica fine.
2. Pipeline di Addestramento in Due Fasi: Gli autori progettano un regime di adattamento specifico che combina la SFT per l'allineamento e la RLVR (tramite GRPO) per migliorare la qualità del ragionamento, imporre un output strutturato e migliorare la robustezza attraverso domini e parlanti.
3. Generalizzazione Multilingue e Cross-Domain: Ancorando la selezione delle vocali agli standard IPA e applicando la normalizzazione a livello di lingua, il framework si estende a contesti multilingue (inglese, tedesco, francese) e dimostra robustezza in scenari di trasferimento cross-domain.

Risultati Sperimentali
Valutazioni estese sono state condotte su cinque dataset benchmark: IEMOCAP, MELD, CaFE (francese), EmoDB (tedesco) e ASVP-ESD (multilingue).

• Prestazioni Zero-Shot: Su IEMOCAP e MELD, VowelPrompt ha costantemente superato sia i baseline basati solo sulla trascrizione sia i metodi di augmentation prosodica a livello di frase (ad es., SpeechCueLLM). Ad esempio, su IEMOCAP con GPT-4o, VowelPrompt ha migliorato l'Unweighted Accuracy (UACC) fino al 7,80% rispetto al baseline della sola trascrizione.
• Prestazioni di Fine-Tuning: Sotto supervised fine-tuning (SFT) e SFT con GRPO, VowelPrompt ha raggiunto risultati allo stato dell'arte. Su IEMOCAP con LLaMA-3-8B-Instruct, ha raggiunto un Weighted F1 del 73,46% (SFT) e del 73,02% (SFT & GRPO), superando i baseline come InstructERC e SALMONN.
• Cross-Domain e Multilingue: Nei trasferimenti cross-domain (ad es., da IEMOCAP a MELD), VowelPrompt ha mostrato una generalizzazione superiore, migliorando del 5,12% rispetto ai baseline a livello di frase sotto SFT & GRPO. Nei setting zero-shot multilingue (CaFE, EmoDB) e nell'adattamento supervisionato multilingue (ASVP-ESD), il metodo ha costantemente superato gli approcci concorrenti, dimostrando trasferibilità senza supervisione specifica della lingua.

Significato e Rivendicazioni
Il paper sostiene che VowelPrompt offra un approccio pratico e scientificamente trasparente al riconoscimento delle emozioni consapevole della prosodia. Sfruttando l'evidenza fonetica ben consolidata riguardo al ruolo delle vocali nella prosodia affettiva, il framework consente agli LLM di raggiungere un'alta accuratezza senza fare affidamento su audio grezzo o encoder acustici "black-box". Gli autori sottolineano che il sistema fornisce rappresentazioni intermedie interpretabili, collegando esplicitamente i pattern acustico-prosodici alle categorie emotive. Ciò consente processi di ragionamento verificabili dall'uomo, affrontando il problema dell' "opacità" dei sistemi SER basati sul deep learning, mantenendo al contempo la flessibilità del deployment esclusivamente testuale. Il lavoro dimosta che caratteristiche fini, basate sul linguaggio, possono migliorare significativamente le capacità di ragionamento degli LLM in compiti multimodali.