Riepilogo Tecnico: Self-EmoQ

Problema

Gli attuali sistemi di IA conversazionale integrati con il Text-to-Speech (TTS) spesso mancano di un meccanismo per la determinazione dell'auto-emozione che operi efficacemente in scenari di streaming. Nelle applicazioni industriali in tempo reale, la generazione di testo e la sintesi vocale sono spesso collegate in modo tale che i segmenti audio vengono prodotti man mano che i token testuali vengono generati. Tuttavia, i tradizionali moduli di Emotion Recognition in Conversation (ERC) possono identificare gli stati emotivi solo dopo che l'intera risposta testuale è stata completata. Questa latenza impedisce il condizionamento immediato del modulo TTS, che richiede un'etichetta emotiva all'inizio della generazione per modulare la prosodia e lo stile acustico.

Sebbene i metodi esistenti come l'Emotion Prediction in Conversation (EPC) o le strategie basate su prompt tentino di prevedere le emozioni preventivamente, essi spesso soffrono di una pianificazione subottimale a causa della mancanza di aggiornamenti dei parametri (nel prompting) o sono vincolati dalla supervisione dei dataset, limitando la loro capacità di ottimizzare la qualità della conversazione a lungo termine e di generalizzare in situazioni versatili. La sfida centrale è trattare l'emozione non solo come un'etichetta statica da riconoscere, ma come una variabile decisionale controllabile che può essere esplicitamente pianificata per guidare un allineamento emotivo coordinato tra le modalità testuale e vocale in una pipeline di streaming.

Metodologia

Gli autori propongono Self-EmoQ, un nuovo framework che integra l'Apprendimento per Rinforzo (RL) basato sul valore con la generazione di Large Language Models (LLM) per determinare l'auto-emozione prima della generazione della risposta.

1. Formulazione come MDP

Il compito del dialogo emotivo è formalizzato come un Processo Decisionale di Markov (MDP) a livello di utterance:

• Stato ($S$): La concatenazione della cronologia del dialogo, delle informazioni di contesto e della query corrente dell'utente.
• Azione ($A$): La selezione dell'auto-emozione del sistema da un insieme discreto (basato sulla tassonomia di Plutchik).
• Ricompensa ($R$): Una funzione di ricompensa ibrida che combina:
  • Ricompensa di Imitazione: Basata sulle etichette emotive reali nei dataset di addestramento.
  • Ricompensa Teorica (Punteggio Plutchik): Un punteggio guidato dalla teoria generato da GPT-4o. Questo punteggio valuta tre dimensioni: Allineamento Emotivo, Plausibilità della Transizione Emotiva (aderendo alla struttura topologica della ruota di Plutchik, dove le transizioni adiacenti sono naturali e quelle opposte sono meno plausibili) e Consistenza Emozione-Funzione (corrispondenza con la funzione comportamentale associata all'emozione).
• Transizione: La cronologia viene aggiornata con l'emozione selezionata, il testo generato e il successivo utterance dell'utente.

2. Architettura Self-EmoQ

• Modulo Planner: Un modulo plug-and-play inizializzato da un LLM pre-addestrato (Llama3.1-1B-Instruct). È perfezionato per output di valori stato-azione ($Q$-values) anziché direttamente di token testuali.
• Stima del Q-Value: Similmente a StraQ*, il modello stima $Q(s, a)$ mediando le log-probabilità dei token di output quando l'azione (emozione) viene presentata come opzione a scelta multipla nel prompt.
• Addestramento: Il modulo è addestrato utilizzando i principi del Deep Q-Network (DQN). La perdita viene minimizzata tramite l'equazione di Bellman, ottimizzando la ricompensa cumulativa scontata a lungo termine.
• Pipeline di Streaming: Una volta addestrato, il modulo determina l'emozione ottimale ($a^* = \arg\max_a Q(s, a)$) prima che l'LLM generi il testo della risposta. Questa etichetta emotiva viene poi iniettata nel prompt per la generazione del testo e utilizzata per condizionare il modello Emo-TTS (CosyVoice2), consentendo al TTS di sintetizzare il parlato con la corretta prosodia emotiva in modalità streaming.

Contributi Chiave

1. Framework di Pianificazione Emotiva: Gli autori introducono un framework che determina l'auto-emozione tramite RL basato sul valore prima della generazione del testo, permettendo di pilotare i sistemi TTS in streaming.
2. Ricompensa Guidata dalla Teoria: Hanno progettato un meccanismo di ricompensa basato sulla Ruota delle Emozioni di Plutchik. Ciò consente all'agente di apprendere non solo a imitare le traiettorie dei dataset, ma di allinearsi ai comportamenti, ai pattern di transizione e ai ruoli funzionali umani.
3. Implementazione in Streaming: Il documento implementa e verifica una pipeline di streaming completa per la generazione di linguaggio e parlato emotivo, dimostrando che la pianificazione dell'emozione predeterminata può mantenere un'alta qualità in un deployment in tempo reale.

Risultati Sperimentali

Il metodo è stato valutato su quattro dataset: DailyDialog, EmoryNLP, MELD e IEMOCAP.

• Determinazione dell'Emozione: Self-EmoQ ha superato i baseline di prompting (0-shot, ECoT, Plan-and-Solve, Metacognitive Prompting) e i baseline supervisionati (SFT, FSM, EMDP) nelle metriche di ranking (Recall@3/5, NDCG, MRR). Ha dimostrato una capacità superiore nel classificare le azioni emotivamente appropriate.
• Generazione della Risposta: Il framework ha ottenuto punteggi più elevati in BLEU-2, ROUGE-L, CIDEr e Distinct-2, indicando che un migliore processo decisionale emotivo a livello di policy si traduce in una maggiore qualità delle risposte testuali.
• Valutazione Umana: In uno studio con 10 valutatori, Self-EmoQ ha ottenuto miglioramenti statisticamente significativi rispetto ai baseline in termini di fluidità, intensità emotiva, accettabilità, efficacia, sensibilità, allineamento e soddisfazione complessiva.
• Downstream TTS: In contesti di streaming (Setting C), Self-EmoQ ha mantenuto un'alta qualità del parlato (misurata tramite SpeechBERTScore e PESQ), mentre altri metodi basati sul riconoscimento dell'emozione post-generazione (Setting B) o privi di pianificazione hanno subito cali significativi di qualità quando costretti in un paradigma di streaming.
• Studi di Ablazione: I risultati hanno confermato che l'approccio RL senza SFT preventivo, l'uso dell'LLM per la stima del Q-value (anziché una testa MLP) e l'inclusione della cronologia del dialogo e delle descrizioni erano tutti critici per le prestazioni. Il peso del punteggio Plutchik ($w$) è risultato dipendente dal dataset, bilanciando la consistenza guidata dalla teoria con le annotazioni del dataset.

Significato e Rivendicazioni

Il documento sostiene che Self-EmoQ affronti una lacuna critica nell'IA conversazionale industriale: l'incapacità di integrare la cognizione emotiva in pipeline TTS di streaming. Trattando l'emozione come una variabile decisionale strategica ottimizzata tramite RL, il framework consente agli agenti di pianificare traiettorie emotive a lungo termine piuttosto che reagire al contesto immediato.

Gli autori sottolineano che il loro approccio va oltre la semplice predizione basata sui dati (limitata dalle annotazioni dei dataset) verso un processo decisionale emotivo strategico. Sfruttando la teoria di Plutchik, il sistema impara a generare transizioni psicologicamente plausibili e funzionalmente coerenti, risultando in interazioni più naturali ed empatiche. Il successo del deployment in una pipeline di streaming conferma che la pianificazione preventiva delle emozioni non compromette, ma anzi potenzia, la coerenza e l'espressività della generazione di testo e parlato in applicazioni real-time.

Il documento conclude con alcune limitazioni modeste, notando l'overhead computazionale dell'uso di LLM per la valutazione della ricompensa e la restrizione dello spazio delle azioni alle emozioni discrete definite dalla teoria di Plutchik, il che potrebbe limitare la rappresentazione di stati emotivi più fini o misti.