A Mixture-of-Experts Model for Multimodal Emotion Recognition in Conversations

1. Il Problema: Riconoscimento delle Emozioni nelle Conversazioni (ERC)

Il Riconoscimento delle Emozioni nelle Conversazioni (ERC) è il compito di inferire gli stati emotivi degli interlocutori in dialoghi multi-turno. Questa attività è fondamentale per sviluppare agenti conversazionali empatici, sistemi di supporto alla salute mentale e monitoraggio dei social media.

Le sfide principali includono:

• Natura multimodale: Le emozioni sono espresse attraverso una combinazione di segnali testuali, prosodia vocale e (spesso) cue visivi.
• Dinamica temporale: Le emozioni non sono statiche; evolvono nel tempo e dipendono dal contesto conversazionale precedente.
• Architetture monolitiche: La maggior parte dei sistemi esistenti utilizza architetture "monolitiche" che fondono la modellazione del contesto temporale con la fusione delle modalità (audio/testo). Questo accoppiamento può limitare le prestazioni, specialmente quando i dati di addestramento sono scarsi o quando c'è uno squilibrio significativo tra le prestazioni delle singole modalità (es. il testo è molto più informativo dell'audio in un dataset specifico).

2. Metodologia Proposta: MiSTER-E

Gli autori propongono MiSTER-E (Mixture of Speech-Text Experts for Recognition of Emotions), un framework modulare basato su un'architettura Mixture-of-Experts (MoE). L'idea centrale è disaccoppiare la modellazione del contesto specifico per modalità dalla fusione multimodale, operando a livello di logit (decisione) piuttosto che a livello di feature.

Architettura del Modello

Il sistema è composto da tre rami principali ("esperti") che operano in parallelo:

1. Estrazione delle Feature Unimodali (LLM/SLLM):

   • Testo: Utilizza un Large Language Model (LLM) fine-tunato (LLaMA-3.1-8B) come encoder. Invece di generare testo, il modello estrae embedding contestuali per ogni frase.
   • Audio: Utilizza un Large Speech Language Model (SLLM) fine-tunato (SALMONN-7B) per estrarre rappresentazioni acustiche ricche di informazioni emotive.
   • Nota: Entrambi i modelli sono adattati tramite LoRA (Low-Rank Adaptation) per efficienza e non richiedono l'identità del parlante.

2. Reti di Aggiunta del Contesto (Context Addition Network - CAN):

   • Per ogni modalità (audio e testo), le embedding vengono elaborate da una rete CAN.
   • La CAN utilizza una Temporal Inception Network (TIN) con convoluzioni 1D di diverse dimensioni (1, 3, 5) per catturare dipendenze a breve raggio, seguita da un layer Bi-GRU per le dipendenze globali a lungo raggio.
   • Questo produce due set di logit preliminari: $\hat{y}^s$ (solo audio) e $\hat{y}^t$ (solo testo).

3. Rete Multimodale (Fusione):

   • Un terzo esperto fonde le rappresentazioni audio e testo utilizzando meccanismi di Cross-Attention (per allineare i segnali semantici e affettivi) e Self-Attention (per mantenere il contesto temporale).
   • Produce un terzo set di logit: $\hat{y}^m$ (multimodale).

4. Meccanismo di Gating (MoE):

   • Un network di gating apprende dinamicamente i pesi ($\beta$) per combinare i logit dei tre esperti.
   • La previsione finale è una somma pesata: $\hat{y}_{final} = \beta_s \cdot \hat{y}^s + \beta_t \cdot \hat{y}^t + \beta_m \cdot \hat{y}^m$.
   • Questo permette al modello di adattarsi: se un dataset ha un audio rumoroso, il gating può dare più peso all'esperto testuale.

Funzioni di Perdita (Loss Functions)

Per stabilizzare l'addestramento e gestire lo squilibrio delle classi, vengono utilizzate tre componenti di loss:

• Focal Loss: Applicata a ogni esperto per gestire lo squilibrio delle classi emotive (es. "felice" vs "triste").
• Contrastive Loss Supervised: Allinea le rappresentazioni di audio e testo che appartengono alla stessa classe emotiva, migliorando la coerenza inter-modale.
• Regolarizzazione KL-Divergence: Una perdita di consistenza che forza le distribuzioni di probabilità degli esperti unimodali ad allinearsi con quella dell'esperto multimodale (considerato il segnale più forte), senza però costringerli a essere identici.

3. Contributi Chiave

1. Architettura Modulare Decoupled: Separazione esplicita della modellazione del contesto dalla fusione multimodale, risolvendo il problema dell'entanglement nelle architetture tradizionali.
2. Gating Adattivo a Livello di Decisione: L'uso di un meccanismo MoE a livello di logit permette di gestire dinamicamente gli squilibri tra le modalità (es. quando l'audio è poco informativo, il modello si affida al testo).
3. Utilizzo di LLM/SLLM per ERC: Adattamento di modelli linguistici e vocali su larga scala (fine-tuned con LoRA) specificamente per l'estrazione di embedding emotivi, superando i metodi basati su feature ingegnerizzate tradizionali.
4. Indipendenza dall'Identità del Parlante: Il modello non utilizza l'identità del parlante come feature, rendendolo più generalizzabile e privo di bias legati al speaker.

4. Risultati Sperimentali

Il modello è stato valutato su tre dataset benchmark principali: IEMOCAP, MELD e CMU-MOSI.

• Prestazioni: MiSTER-E ha raggiunto nuovi stati dell'arte (SOTA) su tutti e tre i dataset senza utilizzare l'identità del parlante:
  • IEMOCAP: 70.9% (F1-weighted)
  • MELD: 69.5% (F1-weighted)
  • CMU-MOSI: 87.9% (F1-weighted)
• Ablation Studies:
  • La rimozione della modularità (modello monolitico) ha causato un calo significativo delle prestazioni (es. -3.1% su IEMOCAP), confermando che la separazione è cruciale.
  • L'uso di LLM/SLLM non è l'unico fattore di successo: MiSTER-E supera i baseline anche quando utilizza feature tradizionali (es. RoBERTa + OpenSMILE), dimostrando che il guadagno deriva dall'architettura MoE e non solo dalle embedding potenti.
  • La fusione a livello di decisione (MoE) è superiore alla fusione a livello di feature.

5. Significato e Implicazioni

Il lavoro di MiSTER-E è significativo perché:

• Ridefinisce l'approccio all'ERC: Sposta il paradigma dalla fusione precoce delle feature alla fusione decisionale adattiva, permettendo al modello di essere robusto in scenari reali dove una modalità potrebbe essere degradata.
• Efficienza e Scalabilità: Dimostra che l'uso di modelli su larga scala (LLM) può essere reso efficiente tramite LoRA e integrato in framework modulari senza bisogno di risorse computazionali proibitive per l'inferenza finale.
• Generalizzazione: La capacità di adattarsi dinamicamente alla qualità delle modalità (audio vs testo) rende il sistema più adatto per applicazioni reali dove la qualità dell'audio può variare notevolmente.

In sintesi, MiSTER-E dimostra che un'architettura modulare che disaccoppia la comprensione del contesto dalla fusione multimodale, guidata da un gating intelligente, è la chiave per raggiungere prestazioni superiori nel riconoscimento delle emozioni nelle conversazioni complesse.