A Mixture-of-Experts Model for Multimodal Emotion Recognition in Conversations

Probleemstelling

Emotieherkenning in gesprekken (Emotion Recognition in Conversations - ERC) is een complexe taak die modellen vereist om de temporale stroom van meer-draaiende dialogen te begrijpen en effectief cues uit meerdere modaliteiten (spraak en tekst) te integreren. Bestaande systemen gebruiken vaak monolithische architecturen die twee fundamenteel verschillende uitdagingen vermengen:

1. Het modelleren van de temporale context over meerdere dialoogbeurten heen.
2. Het uitvoeren van cross-modale fusie van informatie uit verschillende bronnen.

Deze verstrengeling kan de prestaties beperken, vooral bij schaarse trainingsdata, en leidt vaak tot overfitting op dataset-specifieke patronen in plaats van het leren van generaliseerbare emotionele cues. Een bestaand probleem is ook dat wanneer er een groot prestatieverschil is tussen modaliteiten (bijv. tekst is veel betrouwbaarder dan spraak), het totale systeem geen extra waarde toevoegt ten opzichte van het beste unimodale systeem.

Methodologie: MiSTER-E

De auteurs stellen MiSTER-E (Mixture of Speech-Text Experts for Recognition of Emotions) voor, een modulaire "Mixture-of-Experts" (MoE) architectuur. Het kernidee is het ontkoppelen van contextmodelleren en modale fusie, en het combineren van experts op het niveau van de beslissing (logits) in plaats van op het kenmerkenniveau.

De architectuur bestaat uit de volgende componenten:

1. Unimodale Feature Extractie (LLM/SLLM):

   • Tekst: Een Large Language Model (LLM), specifiek LLaMA-3.1-8B, wordt fijngefine-tuned (met LoRA) als een tekst-encoder in plaats van een generator.
   • Spraak: Een Speech Large Language Model (SLLM), specifiek SALMONN-7B, wordt eveneens fijngefine-tuned om emotioneel relevante akoestische patronen te leren.
   • Deze encoders zijn tijdens de training van de rest van de pijplijn bevroren.

2. Context Addition Network (CAN):

   • Om de embeddings contextbewust te maken, wordt een CAN gebruikt voor zowel spraak als tekst.
   • Dit netwerk bevat een Temporal Inception Network (TIN) met 1D-convoluties (kernen 1, 3, 5) voor korte-termijn afhankelijkheden.
   • Dit wordt gevolgd door een Bi-GRU (Bidirectional Gated Recurrent Unit) voor het vastleggen van langetermijnafhankelijkheden over het hele gesprek.
   • Residuale verbindingen behouden de semantische grondslag van de basis-LLM.

3. Multimodale Netwerk:

   • Een fusiemodule die cross-attention gebruikt om semantische cues uit tekst af te stemmen op affectieve signalen uit audio.
   • Hierna worden modality-specifieke self-attention lagen toegepast om de temporale context binnen de gealigneerde representaties te vangen.

4. Mixture-of-Experts (MoE) Gating:

   • In plaats van features te fuseren, worden de pre-softmax logits van drie experts samengevoegd:
     • Spraak-expert (alleen spraak-context).
     • Tekst-expert (alleen tekst-context).
     • Multimodale expert (gecombineerde context).
   • Een gating-mechanisme berekent dynamische gewichten ($\beta$) voor elke uiting op basis van de invoerlogits. Dit stelt het model in staat om per uiting te kiezen welke expert het meest betrouwbaar is (bijv. als de spraak slecht is, weegt de tekst-expert zwaarder).

5. Trainingsdoelstellingen (Loss Functions):

   • Focal Loss: Om de ernstige class-imbalance in ERC-datasets aan te pakken.
   • Supervised Contrastive Loss: Om de representaties van spraak en tekst voor dezelfde emotieklasse dichter bij elkaar te brengen.
   • KL-Divergentie Regularisatie: Om consistentie te bevorderen tussen de voorspellingen van de unimodale experts en de multimodale expert, wat de specialisatie van de experts stabiliseert.

Kernbijdragen

• Modulaire Architectuur: MiSTER-E is het eerste framework dat contextmodelleren expliciet ontkoppelt van multimodale fusie via een logit-level MoE-structuur.
• Adaptieve Expert-Weeging: Het model kan omgaan met modaliteitsonevenwichtigheden door unimodale experts dominant te laten zijn wanneer cross-modale cues onbetrouwbaar zijn.
• Gebruik van LLM/SLLM: Effectieve integratie van grote taalmodellen (LLaMA) en spraaktaalmodellen (SALMONN) als encoders binnen een modulaire ERC-architectuur.
• Onafhankelijkheid van Sprekeridentiteit: Het model presteert uitstekend zonder gebruik te maken van spreker-ID, wat het robuuster maakt voor algemene toepassingen.

Resultaten

Het model is getest op drie standaard benchmarks: IEMOCAP, MELD en CMU-MOSI. MiSTER-E behaalde state-of-the-art resultaten (gewogen F1-scores):

• IEMOCAP: 70,9%
• MELD: 69,5%
• CMU-MOSI: 87,9%

De resultaten tonen aan dat MiSTER-E verschillende bestaande baselines (zoals SMIN, HCAM, en MMGAT-EMO) overtreft. Belangrijke bevindingen uit de ablatiestudies:

• Modulariteit is cruciaal: Een monolithische variant (zonder MoE) resulteerde in een significante daling van de prestaties (bijv. van 70,9% naar 67,8% op IEMOCAP).
• Beslissingsniveau vs. Feature-niveau: Fusie op het niveau van de beslissing (logits) werkt beter dan vroege fusie van features.
• Robuustheid: Zelfs wanneer de LLM/SLLM-encoders worden vervangen door conventionele features (zoals RoBERTa en OpenSMILE), presteert de MiSTER-E-architectuur beter dan andere methoden met dezelfde features, wat aantoont dat de winst voortkomt uit het ontwerp en niet alleen uit de kracht van de embeddings.

Betekenis en Conclusie

MiSTER-E biedt een nieuw paradigma voor multimodale emotieherkenning door de complexiteit van de taak op te splitsen in gespecialiseerde modules. De dynamische gating-mechanisme zorgt ervoor dat het systeem flexibel kan omgaan met datasets waar de ene modaliteit (bijv. tekst in MELD) veel sterker is dan de andere (spraak), terwijl het in datasets met evenwichtige modaliteiten (zoals IEMOCAP) effectief kan fuseren.

Hoewel het gebruik van grote modellen rekenkracht vereist, demonstreert het paper dat de architecturale keuzes (ontkoppeling en MoE-gating) de belangrijkste drijvende kracht zijn achter de verbeterde prestaties. Dit maakt MiSTER-E een robuust en generaliseerbaar framework voor het bouwen van emotioneel intelligente AI-systemen.