A Mixture-of-Experts Model for Multimodal Emotion Recognition in Conversations

Título: MiSTER-E: Um Modelo de Mixture-of-Experts para Reconhecimento de Emoções Multimodais em Conversas

1. Problema e Contexto

O Reconhecimento de Emoções em Conversas (ERC) é uma tarefa complexa que visa inferir o estado emocional dos falantes em diálogos de múltiplas voltas. O desafio central reside na necessidade de capturar duas dimensões distintas simultaneamente:

1. Fluxo Temporal: A evolução das emoções ao longo do diálogo (contexto intra-turno e inter-turno).
2. Fusão Multimodal: A integração de sinais heterogêneos, como conteúdo textual, prosódia vocal e (em outros trabalhos) pistas visuais.

A maioria dos sistemas existentes adota arquiteturas monolíticas, que fundem o modelamento de contexto e a fusão de modalidades em um único bloco. Isso frequentemente leva a:

• Sobrecarga de parâmetros e risco de overfitting, especialmente com dados de treinamento escassos.
• Dificuldade em lidar com desequilíbrios entre modalidades (ex: quando o texto é muito mais informativo que o áudio, ou vice-versa).
• Falta de generalização, pois o modelo aprende padrões específicos do conjunto de dados em vez de cues emocionais universais.

O objetivo deste trabalho é responder: A modularidade arquitetural — especificamente, o desacoplamento do modelamento de contexto da fusão multimodal — pode levar a um reconhecimento de emoções mais eficaz e generalizável?

2. Metodologia Proposta: MiSTER-E

Os autores propõem o MiSTER-E (Mixture of Speech-Text Experts for Recognition of Emotions), uma arquitetura modular baseada no paradigma Mixture-of-Experts (MoE). A inovação central é realizar a fusão no nível dos logits (decisão), e não no nível de características (features).

O pipeline do modelo consiste nos seguintes componentes:

A. Extração de Embeddings Unimodais (Baseada em LLMs)

• Texto: Utiliza o modelo LLaMA-3.1-8B (fine-tuned com LoRA) como codificador de texto, em vez de gerador.
• Fala: Utiliza o modelo SALMONN-7B (Speech Large Language Model), também fine-tuned com LoRA, para extrair representações acústicas semanticamente ricas.
• Nota: Os extratores de embeddings são congelados após o treinamento inicial, focando o treinamento nos módulos subsequentes.

B. Modelamento de Contexto Conversacional (Context Addition Network - CAN)
Para cada modalidade (som e texto), um módulo CAN processa os embeddings para capturar dependências temporais:

• Temporal Inception Network (TIN): Aplica convoluções 1D com tamanhos de kernel variados (1, 3, 5) para capturar dependências de curto alcance (vizinhança local de falas).
• Bi-GRU: Uma camada recorrente bidirecional que integra dependências de longo alcance ao longo de toda a conversa.
• Residual Connection: Garante que a semântica base do LLM seja preservada enquanto o contexto é adicionado.
• Isso gera dois especialistas unimodais: Experto de Fala e Experto de Texto.

C. Rede Multimodal (Fusão de Características)
Um terceiro especialista, o Experto Multimodal, funde as representações de fala e texto:

• Utiliza mecanismos de Atenção Cruzada (Cross-Attention) bidirecional para alinhar pistas semânticas do texto com sinais afetivos do áudio.
• Aplica Auto-Atenção (Self-Attention) específica por modalidade para capturar o contexto temporal dentro das representações alinhadas.

D. Mecanismo de Gating (Mixture-of-Experts)
A fusão final ocorre no nível da decisão (logit-level):

• Um mecanismo de gating aprende a ponderar dinamicamente as saídas dos três especialistas (Fala, Texto, Multimodal) para cada utterance (falas).
• O logit final é uma soma ponderada: $\hat{y} = \beta_s \cdot \hat{y}_s + \beta_t \cdot \hat{y}_t + \beta_m \cdot \hat{y}_m$.
• Isso permite que o modelo priorize a modalidade mais confiável em cada momento (ex: confiar mais no texto se o áudio for ruidoso ou ambíguo).

E. Funções de Perda e Regularização
Para estabilizar o treinamento e lidar com desequilíbrio de classes:

1. Focal Loss: Aplicada em todos os especialistas para mitigar o desequilíbrio de classes emocionais.
2. Contrastive Loss Supervisionada: Alinha as representações de fala e texto que pertencem à mesma classe de emoção, forçando consistência inter-modal.
3. Regularização KL-Divergence: Penaliza a divergência entre as distribuições de probabilidade dos especialistas unimodais e o especialista multimodal, encorajando a especialização coerente.

3. Contribuições Principais

1. Arquitetura Modular Desacoplada: Separa explicitamente o modelamento de contexto (CAN) da fusão multimodal, permitindo que cada componente se especialize.
2. Fusão no Nível de Decisão (Logit-Level): Demonstra que combinar as previsões dos especialistas é superior à fusão precoce de características, especialmente em cenários de desequilíbrio modal.
3. Uso de LLMs/SLLMs para ERC: Adapta modelos de linguagem grandes (LLaMA) e modelos de linguagem de fala (SALMONN) como codificadores de embeddings, superando métodos tradicionais baseados em OpenSMILE ou wav2vec.
4. Independência de Identidade do Falante: O modelo não utiliza metadados de identidade do falante, focando puramente no conteúdo e contexto da conversa.

4. Resultados Experimentais

O MiSTER-E foi avaliado em três conjuntos de dados de referência (benchmarks): IEMOCAP, MELD e CMU-MOSI.

• Desempenho (F1-score ponderado):
  • IEMOCAP (6 classes): 70.9% (Superior ao estado da arte anterior de 70.5%).
  • MELD (7 classes): 69.5% (Superior ao estado da arte anterior de 67.2%).
  • CMU-MOSI (2 classes): 87.9% (Superior ao estado da arte anterior de 85.8%).
• Análise de Ablação:
  • Remover a modularidade (arquitetura monolítica) causou uma queda significativa no desempenho (ex: de 70.9% para 67.8% no IEMOCAP).
  • A fusão no nível de características (feat-MoE) foi inferior à fusão no nível de decisão.
  • O uso de LLMs/SLLMs trouxe ganhos, mas a arquitetura MoE foi identificada como o fator principal de melhoria, pois modelos menores (RoBERTa/OpenSMILE) com a arquitetura MiSTER-E ainda superaram baselines complexas.
• Comportamento dos Especialistas:
  • O mecanismo de gating adaptou-se dinamicamente: no IEMOCAP (onde fala e texto são equilibrados), o especialista multimodal recebeu mais peso; no MELD (onde o texto é dominante), o especialista de texto foi priorizado.

5. Significância e Conclusão

O trabalho MiSTER-E estabelece um novo estado da arte no reconhecimento de emoções em conversas sem depender de metadados de identidade do falante. Sua principal contribuição teórica é a validação de que desacoplar o modelamento de contexto da fusão multimodal e utilizar uma estratégia de Mixture-of-Experts no nível de decisão permite que o modelo lide melhor com a complexidade e a variabilidade dos dados conversacionais.

O modelo demonstra robustez ao lidar com desequilíbrios entre modalidades e oferece uma estrutura escalável que pode se beneficiar de futuros avanços em modelos de linguagem grandes (LLMs) e de fala (SLLMs), mantendo uma eficiência computacional razoável através do uso de LoRA (Low-Rank Adaptation). As limitações mencionadas incluem o custo computacional dos grandes modelos base e a necessidade de validação em cenários de conversação espontânea do mundo real.