Technische Samenvatting: Self-EmoQ

Probleemstelling

Huidige conversationele AI-systemen die geïntegreerd zijn met Text-to-Speech (TTS) missen vaak een mechanisme voor zelfdeterminatie van emoties dat effectief werkt in streaming scenario's. In industriële real-time toepassingen zijn tekstgeneratie en spraaksynthese vaak aan elkaar gekoppeld, waarbij audiofragmenten worden geproduceerd terwijl teksttokens worden gegenereerd. Echter, traditionele Emotion Recognition in Conversation (ERC) modules kunnen emotionele staten pas identificeren nadat de volledige tekstuele respons is voltooid. Deze latentie verhindert de onmiddellijke conditionering van de TTS-module, die een emotielabel vereist aan het begin van de generatie om prosodie en akoestische stijl te moduleren.

Hoewel bestaande methoden zoals Emotion Prediction in Conversation (EPC) of prompt-gebaseerde strategieën proberen emoties vooraf te voorspellen, lijden ze vaak aan suboptimale planning door een gebrek aan parameterupdates (in prompting) of zijn ze beperkt door dataset-supervisie, wat hun vermogen om de kwaliteit van langetermijnconversaties te optimaliseren en te generaliseren naar veelzijdige situaties beperkt. De kernuitdaging is om emotie niet louter te behandelen als een statisch label dat herkend moet worden, maar als een beheersbare beslissingsvariabele die expliciet gepland kan worden om gecoördineerde emotionele afstemming over tekst- en spraakmodaliteiten in een streaming-pipeline te sturen.

Methodologie

De auteurs stellen Self-EmoQ voor, een nieuw framework dat waarde-gebaseerde Reinforcement Learning (RL) integreert met Large Language Model (LLM) generatie om de zelfemotie te bepalen vóór de responsgeneratie.

1. Formulering als een MDP

De emotionele dialoogtaak wordt geformaliseerd als een Markov Decision Process (MDP) op utterance-niveau:

• Toestand ($S$): De concatenatie van dialooggeschiedenis, achtergrondinformatie en de huidige query van de gebruiker.
• Actie ($A$): De selectie van de zelfemotie van het systeem uit een discrete set (gebaseerd op de taxonomie van Plutchik).
• Beloning ($R$): Een hybride beloningsfunctie die de volgende elementen combineert:
  • Imitatiebeloning: Gebaseerd op grondwaarheid emotielabels in de trainingsdataset.
  • Theoretische Beloning (Plutchik Score): Een door theorie gedreven score gegenereerd door GPT-4o. Deze score evalueert drie dimensies: Emotionele Afstemming, Emotionele Transitie-waarschijnlijkheid (voldoen aan de topologische structuur van de wiel van Plutchik, waarbij aangrenzende transities natuurlijk zijn en tegenovergestelde minder plausibel) en Emotie–Functie Consistentie (overeenkomen met de gedragsfunctie geassocieerd met de emotie).
• Transitie: De geschiedenis wordt bijgewerkt met de geselecteerde emotie, de gegenereerde tekst en de daaropvolgende gebruikersuitspraak.

2. Self-EmoQ Architectuur

• Planner Module: Een plug-and-play module geïnitialiseerd vanuit een pretrained LLM (Llama3.1-1B-Instruct). Het is gefinetuned om state-action waarden ($Q$-waarden) te outputten in plaats van direct teksttokens.
• Q-Waarde Schatting: Vergelijkbaar met StraQ*, schat het model $Q(s, a)$ door het gemiddelde van de log-waarschijnlijkheden van outputtokens te berekenen wanneer de actie (emotie) als een meerkeuzeoptie in de prompt wordt gepresenteerd.
• Training: De module wordt getraind met principes van Deep Q-Network (DQN). De loss wordt geminimaliseerd via de Bellman-vergelijking, waarbij wordt geoptimaliseerd voor de langetermijn cumulatieve gedisconteerde beloningen.
• Streaming Pipeline: Zodra getraind, bepaalt de module de optimale emotie ($a^* = \arg\max_a Q(s, a)$) voordat de LLM de respons-tekst genereert. Dit emotielabel wordt vervolgens in de prompt geïnjecteerd voor tekstgeneratie en gebruikt om de Emo-TTS model (CosyVoice2) te conditioneren, waardoor de TTS in een streaming-modus spraak met de juiste emotionele prosodie kan synthetiseren.

Belangrijkste Bijdragen

1. Emotie-Planning Framework: De auteurs introduceren een framework dat zelfemotie bepaalt via waarde-gebaseerde RL voorafgaand aan de tekstgeneratie, wat het aansturen van streaming TTS-systemen mogelijk maakt.
2. Theorie-Gedreven Beloning: Ze ontwerpen een beloningsmechanisme dat geworteld is in de Wiel van Plutchik. Dit stelt de agent in staat om niet alleen dataset-trajecten te imiteren, maar ook af te stemmen op menselijk emotioneel gedrag, transitiepatronen en functionele rollen.
3. Streaming Implementatie: Het paper implementeert en verifieert een volledige streaming-pipeline voor emotionele taal- en spraakgeneratie, en demonstreert dat vooraf bepaalde emotionele planning een hoge kwaliteit kan behouden in real-time implementaties.

Experimentele Resultaten

De methode werd geëvalueerd op vier datasets: DailyDialog, EmoryNLP, MELD en IEMOCAP.

• Emotiebepaling: Self-EmoQ presteerde beter dan prompting baselines (0-shot, ECoT, Plan-and-Solve, Metacognitive Prompting) en supervised baselines (SFT, FSM, EMDP) in ranking-metrieken (Recall@3/5, NDCG, MRR). Het toonde een superieur vermogen om emotioneel passende acties te rangschikken.
• Responsgeneratie: Het framework behaalde hogere scores in BLEU-2, ROUGE-L, CIDEr en Distinct-2, wat aangeeft dat betere emotionele besluitvorming op het beleidsniveau vertaalt naar een hogere kwaliteit van tekstuele responsen.
• Menselijke Evaluatie: In een studie met 10 evaluatoren behaalde Self-EmoQ statistisch significante verbeteringen ten opzichte van baselines in vloeiendheid, emotionele intensiteit, acceptatie, effectiviteit, sensitiviteit, afstemming en algehele tevredenheid.
• Downstream TTS: In streaming-settings (Setting C) behield Self-EmoQ een hoge spraakkwaliteit (gemeten via SpeechBERTScore en PESQ), terwijl andere methoden die vertrouwen op post-generatie emotieherkenning (Setting B) of een gebrek aan planning vertoonden, aanzienlijke kwaliteitsverminderingen leden wanneer zij in een streaming-paradigma werden gedwongen.
• Ablatie-studies: De resultaten bevestigden dat de RL-aanpak zonder voorafgaande SFT, het gebruik van de LLM voor Q-waarde schatting (in plaats van een MLP head), en de inclusie van dialooggeschiedenis en beschrijvingen allemaal cruciaal waren voor de prestaties. De Plutchik score gewicht ($w$) bleek dataset-afhankelijk te zijn, waarbij een balans wordt gevonden tussen theorie-gedreven consistentie en dataset-annotaties.

Betekenis en Claims

Het paper claimt dat Self-EmoQ een kritiek gat in industriële conversationele AI opvult: het onvermogen om emotionele cognitie te integreren in streaming TTS-pipelines. Door emotie te behandelen als een strategische beslissingsvariabele die via RL wordt geoptimaliseerd, stelt het framework agents in staat om langetermijn emotionele trajecten te plannen in plaats van enkel te reageren op de directe context.

De auteurs benadrukken dat hun aanpak verder gaat dan eenvoudige data-gedreven voorspelling (die beperkt wordt door dataset-annotaties) naar strategische emotionele besluitvorming. Door gebruik te maken van de theorie van Plutchik, leert het systeem emotionele transities te genereren die psychologisch plausibel en functioneel consistent zijn, wat resulteert in natuurlijkere en empathischere interacties. De succesvolle implementatie in een streaming-pipeline bevestigt dat vooraf geplande emoties de coherentie en expressiviteit van zowel tekst- als spraakgeneratie in real-time toepassingen niet in de weg staan, maar juist verbeteren.

Het paper concludeert met bescheiden beperkingen, waarbij wordt opgemerkt dat de computationele overhead van het gebruik van LLM's voor beloningsscoring en de restrictie van de actieruimte tot de discrete emoties gedefinieerd door de theorie van Plutchik, de representatie van fijnmazige of gemengde emotionele staten kunnen beperken.