A Baseline Multimodal Approach to Emotion Recognition in Conversations

Resumen Técnico: Un Enfoque Multimodal de Referencia para el Reconocimiento de Emociones en Conversaciones

Planteamiento del Problema
El reconocimiento de emociones en conversaciones (ERC, por sus siglas en inglés) es una tarea crítica en la computación afectiva; sin embargo, los enfoques unimodales tradicionales (que dependen únicamente de texto o audio) a menudo no logran capturar la interacción matizada entre las señales verbales y no verbales. Las emociones humanas son dinámicas y dependen del contexto; por ejemplo, el sarcasmo o las emociones reprimidas pueden transmitirse mediante un tono de voz que contradice el contenido semántico. Si bien investigaciones recientes abogan por la integración multimodal, existe la necesidad de implementaciones de referencia accesibles y transparentes que establezcan una base para comparaciones futuras, particularmente en el conjunto de datos SemEval-2024 Task 3 derivado de la comedia Friends.

Metodología
Los autores presentan un sistema de referencia multimodal ligero, diseñado para la transparencia y la reproducibilidad en lugar del rendimiento de vanguardia (state-of-the-art). La metodología consta de tres componentes principales:

1. Conjunto de Datos y Preprocesamiento: El estudio utiliza el conjunto de datos SemEval-2024 Task 3, que contiene diálogos de Friends anotados con pares causa-emoción. El preprocesamiento consistió en alinear los datos textuales y de audio para cada enunciado y estandarizar las señales de audio a una tasa de muestreo de 16 kHz. El conjunto de datos se dividió en un 80% para entrenamiento y un 20% para pruebas.
2. Arquitectura del Modelo (Baselines Unimodales):
   • Modalidad de Texto: Se ajustaron cuatro modelos basados en transformers: RoBERTa, DistilBERT, DeBERTa y DistilRoBERTa (específicamente una variante ajustada para sentimiento). Estos modelos utilizaron embeddings preentrenados para capturar matices semánticos y contextuales.
   • Modalidad de Audio: Se emplearon tres modelos de representación de voz autosupervisados: HuBERT, Wav2Vec2 y Wav2Vec2-large-robust. Estos modelos codifican características temporales y espectrales para extraer claves paralingüísticas como el tono y la entonación.
3. Estrategia de Fusión: El sistema emplea un enfoque de fusión tardía de ensamblaje (late-fusion ensemble). Las predicciones del mejor modelo de texto (RoBERTa) y del mejor modelo de audio (Wav2Vec2) se combinaron para generar la clasificación final. Esta estrategia aprovecha las fortalezas complementarias de la comprensión semántica y las claves vocales sin requerir una alineación intermedia compleja.

Contribuciones Clave

• Implementación de Referencia: El artículo proporciona una base de referencia documentada y accesible para ERC utilizando el conjunto de datos SemEval-2024 Task 3, evitando explícitamente propuestas arquitectónicas novedosas en favor de una configuración "directa".
• Comparación Empírica: Reporta resultados empíricos comparando modelos de texto unimodales, modelos de audio unimodales y un ensamblaje multimodal bajo un protocolo de entrenamiento limitado (ajuste mínimo de hiperparámetros).
• Transparencia: Los autores delinean claramente las limitaciones de su estudio, enmarcando los resultados como un punto de referencia en lugar de un benchmark definitivo. El código y los materiales se ponen a disposición pública para apoyar comparaciones rigurosas en el futuro.

Resultos
El estudio evaluó los modelos basándose en la precisión y el tiempo de ejecución (tiempo de reloj/wall-clock):

• Modelos de Texto: RoBERTa logró la mayor precisión entre los modelos de texto con un 50.68%, seguida de DistilBERT (49.82%), DeBERTa (48.29%) y DistilRoBERTa (41.83%). RoBERTa también requirió el mayor tiempo de ejecución (74.6s), mientras que DistilRoBERTa fue el más rápido (5.61s) pero el menos preciso.
• Modelos de Audio: Los modelos de solo audio funcionaron significativamente por debajo de los modelos de texto. Wav2Vec2 logró la mayor precisión de audio con un 35.43%, seguido de Wav2Vec2-large-robust (32.54%) y HuBERT (31.08%).
• Modelo de Ensamblaje: El ensamblaje de fusión tardía que combina RoBERTa y Wav2Vec2 alcanzó una precisión del 62.97%. Este resultado superó significativamente tanto a los baselines unimodales individuales como a ambos, demostrando la eficacia de integrar las modalidades textual y de audio.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como un informe técnico de referencia derivado de un proyecto final de grado de pregrado y un esfuerzo de replicación interna. Declaran explícitamente que el sistema no tiene la intención de ser de vanguardia (state-of-the-art). La significancia del artículo radica en:

1. Establecer un Punto de Referencia: Proporcionar un benchmark claro y reproducible para el conjunto de datos SemEval-2024 Task 3 para facilitar comparaciones futuras.
2. Validar la Fusión Multimodal: Demostrar que incluso con una estrategia de fusión tardía simple y un ajuste limitado, la integración multimodal (62.97%) mejora sustancialmente el rendimiento unimodal (máximo 50.68% para texto, 35.43% para audio).
3. Resaltar Limitaciones: Los autores advierten que sus resultados no son directamente comparables con las presentaciones oficiales de la tabla de clasificación de SemEval debido a diferencias en las divisiones de datos y los protocolos de entrenamiento. Señalan que el origen del conjunto de datos (Friends) puede limitar la generalización a otros dominios, idiomas o estilos de interacción, y que el estudio excluye las modalidades visuales.

En conclusión, el artículo afirma el potencial de los sistemas multimodales para el reconocimiento de emociones manteniendo una postura modesta, instando a la investigación futura a abordar los sesgos del conjunto de datos, incorporar modalidades adicionales (por ejemplo, visuales, fisiológicas) y desarrollar métodos más eficientes para aplicaciones en tiempo real.