A Mixture-of-Experts Model for Multimodal Emotion Recognition in Conversations

Resumen Técnico: MiSTER-E para Reconocimiento de Emociones en Conversaciones

1. Planteamiento del Problema

El Reconocimiento de Emociones en Conversaciones (ERC, por sus siglas en inglés) es una tarea compleja que requiere inferir el estado emocional de los hablantes en diálogos de múltiples turnos. Los desafíos principales incluyen:

• Naturaleza Multimodal: Las emociones se expresan a través de una combinación de señales textuales, prosodia vocal y (en algunos casos) visuales.
• Dependencia Temporal: Las emociones no son estáticas; evolucionan a lo largo del tiempo y dependen del contexto de la conversación.
• Limitaciones de Arquitecturas Actuales: La mayoría de los sistemas existentes utilizan arquitecturas monolíticas que entrelazan dos desafíos fundamentales: el modelado del contexto temporal y la fusión de información multimodal. Esta mezcla puede limitar el rendimiento, especialmente cuando los datos de entrenamiento son escasos o cuando hay un desequilibrio significativo en la calidad de las señales entre modalidades (por ejemplo, texto mucho más informativo que el audio).

El objetivo central de este trabajo es responder: ¿Puede la modularidad arquitectónica, específicamente desacoplar el modelado de contexto de la fusión multimodal, conducir a un reconocimiento de emociones más efectivo y generalizable?

2. Metodología Propuesta: MiSTER-E

Los autores proponen MiSTER-E (Mixture of Speech-Text Experts for Recognition of Emotions), un marco modular basado en una arquitectura de Mezcla de Expertos (MoE) que opera a nivel de logits (decisiones) en lugar de nivel de características.

Componentes Clave del Sistema:

1. Extracción de Características con LLM/SLLM:

   • Texto: Se utiliza un modelo de lenguaje grande (LLM), específicamente LLaMA-3.1-8B, ajustado finamente (usando LoRA) como codificador de texto en lugar de generador.
   • Voz: Se utiliza un modelo de lenguaje de voz grande (SLLM), SALMONN-7B, ajustado finamente para extraer representaciones acústicas emocionales.
   • Nota: Los extractores de características se congelan durante la mayor parte del entrenamiento posterior para preservar el conocimiento preentrenado.

2. Redes de Adición de Contexto (CAN):

   • Se diseñan dos redes independientes (una para texto y otra para voz) para enriquecer los embeddings con contexto conversacional.
   • Arquitectura: Utilizan una Red de Incepción Temporal (TIN) con convoluciones 1D de múltiples tamaños de kernel (1, 3, 5) para capturar dependencias a corto plazo, seguida de una capa Bi-GRU para dependencias globales a largo plazo.
   • Esto genera logits preliminares para el experto de solo texto ($\hat{y}^t$) y solo voz ($\hat{y}^s$).

3. Red Multimodal:

   • Un tercer experto fusiona las características de voz y texto mediante mecanismos de atención cruzada (para alinear señales semánticas y afectivas) y atención auto-referencial (para capturar contexto temporal dentro de la fusión).
   • Genera logits para el experto multimodal ($\hat{y}^m$).

4. Mecanismo de Puerta (Gating) MoE:

   • En lugar de fusionar características crudas, el modelo combina los logits de los tres expertos.
   • Una red de puerta (gating network) calcula dinámicamente pesos ($\beta$) para cada experto basándose en la entrada específica de cada enunciado.
   • La predicción final es una suma ponderada: $\hat{y} = \beta_s \hat{y}^s + \beta_t \hat{y}^t + \beta_m \hat{y}^m$.
   • Ventaja: Esto permite que el modelo priorice la modalidad más confiable en tiempo real (ej. si el audio es ruidoso, el experto de texto domina).

5. Funciones de Pérdida (Loss Functions):

   • Focal Loss: Para manejar el desequilibrio de clases en las emociones.
   • Pérdida Contrastiva Supervisada: Alinea las representaciones de voz y texto que pertenecen a la misma clase de emoción, mejorando la coherencia intermodal.
   • Regularización KL-Divergencia: Fomenta la consistencia entre las distribuciones de probabilidad de los expertos unimodales y el experto multimodal, estabilizando la especialización de los expertos.

3. Contribuciones Clave

• Arquitectura Modular Desacoplada: Separación explícita entre el modelado de contexto específico de la modalidad y la fusión multimodal, evitando el sobreajuste y permitiendo una especialización más efectiva.
• Fusión a Nivel de Decisión (Logit-Level): Uso de MoE en la etapa de decisión, lo que permite una selección dinámica de expertos por enunciado, manejando eficazmente el desequilibrio de modalidades.
• Independencia del Identificador del Hablante: El modelo logra alto rendimiento sin utilizar metadatos de identidad del hablante, lo que mejora su generalización.
• Uso Eficiente de LLMs/SLLMs: Adaptación de grandes modelos de lenguaje para tareas de reconocimiento emocional en un marco multimodal, superando el uso tradicional de extractores de características estáticos.

4. Resultados Experimentales

El modelo se evaluó en tres conjuntos de datos estándar: IEMOCAP, MELD y CMU-MOSI.

• Rendimiento (Puntuación F1 Ponderada):
  • IEMOCAP: 70.9% (Nuevo estado del arte, superando a baselines como SMIN y HCAM).
  • MELD: 69.5% (Nuevo estado del arte).
  • CMU-MOSI: 87.9% (Nuevo estado del arte).
• Análisis de Ablación:
  • Modularidad: Eliminar la estructura de expertos (fusión monolítica) causó una caída significativa en el rendimiento (ej. de 70.9% a 67.8% en IEMOCAP).
  • Nivel de Fusión: La fusión a nivel de logits (MoE) superó a la fusión a nivel de características (feat-MoE).
  • Independencia de Embeddings: MiSTER-E superó a otros modelos incluso cuando se reemplazaron los LLMs por características tradicionales (RoBERTa/OpenSMILE), demostrando que la mejora proviene de la arquitectura, no solo de los embeddings potentes.
• Comportamiento de los Expertos: En el conjunto MELD (donde el texto es mucho más informativo que el audio), la puerta MoE asignó automáticamente más peso al experto de texto, demostrando su capacidad de adaptación al desequilibrio de modalidades.

5. Significado e Impacto

El trabajo de MiSTER-E es significativo porque:

1. Resuelve el problema del "cuello de botella" arquitectónico: Demuestra que tratar el contexto y la fusión como problemas separados mejora la generalización.
2. Robustez ante desequilibrios: Proporciona una solución elegante a situaciones donde una modalidad es ruidosa o menos informativa que la otra, permitiendo que el sistema se adapte dinámicamente.
3. Eficiencia en el uso de LLMs: Muestra cómo los grandes modelos de lenguaje pueden integrarse en sistemas de reconocimiento de emociones sin necesidad de un entrenamiento completo desde cero, utilizando técnicas eficientes como LoRA.
4. Aplicabilidad: Al no depender de la identidad del hablante, el modelo es más fácil de desplegar en escenarios del mundo real donde la información del hablante puede no estar disponible o ser privada.

En conclusión, MiSTER-E establece un nuevo estado del arte en ERC mediante una arquitectura híbrida que combina la potencia de los LLMs modernos con una estrategia de fusión inteligente y modular, superando las limitaciones de los enfoques monolíticos anteriores.