Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

Resumen Técnico: Modelado Temporal Profundo y Fusión de Conjuntos para el Reconocimiento Multimodal de Emociones

Planteamiento del Probleo
La detección precisa y en tiempo real de los estados emocionales humanos y del estrés a partir de señales fisiológicas es crítica para el monitoreo de la salud mental, la computación vestible (wearable computing) y la computación afectiva. Mientras que los métodos tradicionales dependen de autoinformes subjetivos, los avances recientes en sensores vestibles (p. ej., EDA, ECG, respiración, acelerometría) permiten la inferencia basada en datos. Sin embargo, persisten desafíos significativos para modelar eficazmente las dependencias temporales, manejar modalidades de sensores heterogéneas y optimizar las estrategias de fusión para asegurar la generalización entre diferentes usuarios. La literatura existente a menudo evalúa arquitecturas únicas o estrategias de fusión específicas de forma aislada, careciendo de una comparación controlada y unificada de los principales modelos de aprendizaje profundo temporal (LSTM, TCN, Transformer) en entornos unimodales, multimodales y de conjunto (ensemble).

Metodología
Los autores presentan un marco de evaluación exhaustivo utilizando el conjunto de datos WESAD, un referente multimodal que involucra a 15 participantes bajo condiciones de línea base (baseline), estrés y diversión (amusement). El estudio emplea un protocolo de Validación Cruzada de Dejar a un Sujeto Fuera (LOSO-CV) para asegurar la generalización independiente del sujeto.

• Preprocesamiento de Datos: Las señales de la Empatica E4 (muñeca: EDA, BVP, TEMP, ACC) y RespiBAN (pecho: RES, ECG, ACC) se remuestrearon a 4 Hz, se segmentaron en ventanas no superpuestas de 10 pasos y se normalizaron por sujeto para evitar la fuga de datos (data leakage).
• Arquitecturas de Modelos: Se implementaron tres arquitecturas distintas de aprendizaje profundo temporal:
  • LSTM: Una LSTM bidireccional de dos capas diseñada para capturar dependencias temporales de largo alcance y transiciones graduales en los estados afectivos.
  • TCN: Una pila de convoluciones causales dilatadas de 1D con conexiones residuales, optimizada para el procesamiento paralelo y la extracción de características temporales multiescala.
  • Transformer: Un codificador compacto que utiliza atención de múltiples cabezales (multi-head self-attention) para modelar dependencias sobre pasos de tiempo arbitrarios sin asumir una estructura local, capaz de enfocarse en segmentos temporales destacados.
• Estrategias de Fusión:
  • Fusión Temprana (Nivel de Sensor): Las características de la muñeca y el pecho se concatenaron a lo largo de la dimensión de canal antes de la entrada a los modelos.
  • Fusión Tardía (Nivel de Conjunto): Se implementó una estrategia de conjunto mediante el promedio de las salidas de probabilidad softmax de los tres modelos entrenados independientemente (LSTM, TCN, Transformer) para producir una predicción final.
• Estudios de Ablación: Los autores realizaron extensos estudios de ablación entrenando modelos con entradas solo de la muñeca y solo del pecho para cuantificar la contribución individual de cada modalidad.

Resultados Clave
Los experimentos arrojaron las siguientes métricas de rendimiento (reportadas como media ± desviación estándar a través de las particiones LOSO):

• Rendimiento del Conjunto (Ensemble): El conjunto de fusión tardía alcanzó el mayor rendimiento general, logrando una precisión de 98.91 ± 0.13% y una puntuación F1 macro de 98.56 ± 0.17%. Este enfoque demostró una estabilidad superior, con una varianza significativamente menor entre sujetos en comparación con los modelos individuales.
• Comparación de Arquitecturas (Multimodal): En el entorno multimodal, la arquitectura Transformer logró consistentemente la mayor precisión entre los modelos independientes (99.02 ± 0.51%), atribuido a su capacidad para modelar dependencias temporales complejas mediante la autoatención.
• Rendimiento por Modalidad:
  • Solo Muñeca: El modelo TCN funcionó mejor en la configuración de solo muñeca (98.20 ± 0.41% de precisión), superando tanto al LSTM como al Transformer en este ajuste de ablación específico.
  • Solo Pecho: El LSTM logró los resultados más sólidos para las entradas de solo pecho, aunque el rendimiento general fue inferior a las configuraciones de solo muñeca.
• Contribución de la Modalidad: La fusión multimodal superó consistentemente a las configuraciones unimodales en todas las arquitecturas. Sin embargo, los modelos de solo muñeca demostraron un rendimiento competitivo, lo que sugiere la viabilidad para aplicaciones vestibles de recursos restringidos. La clase "Diversión" (Amusement) produjo consistentemente puntuaciones más bajas en todos los modelos, resaltando la dificultad de clasificar este estado en comparación con el estrés o la línea base.

Contribuciones Clave

1. Marco de Evaluación Unificado: El artículo establece una comparación sistemática e independiente de la arquitectura de los modelos LSTM, TCN y Transformer bajo configuraciones unimodales, multimodales y de conjunto, utilizando un protocolo LOSO-CV consistente en el conjunto de datos WESAD.
2. Estrategia de Doble Fusión: El estudio demuestra la eficacia de combinar la fusión temprana de sensores (concatenación de características) con la fusión de conjuntos de modelos tardía (promedio de probabilidades), mostrando que este enfoque dual aprovecha tanto la sinergia entre sensores como la reducción de la varianza.
3. Perspectivas de Modalidad y Arquitectura: El trabajo clarifica que, si bien los Transformers sobresalen en contextos multimodales, los TCN y LSTM siguen siendo altamente efectivos en escenarios limitados de sensores (solo muñeca), proporcionando orientación práctica para el diseño de sistemas basados en el hardware disponible.
4. Análisis de Robustez: Al reportar las desviaciones estándar a través de 15 particiones LOSO, el estudio proporciona una estimación fiable de la variabilidad entre sujetos, demostrando que los métodos de conjunto reducen significativamente la varianza y mejoran la generalización.

Significancia y Reivindicaciones
Los autores afirman que sus hallazgos ofrecen perspectivas prácticas para el desarrollo de sistemas robustos de reconocimiento de emociones. Específicamente, el artículo argumenta que:

• Los métodos de conjunto son altamente efectivos para el reconocimiento de emociones fisiológicas, proporcionando una precisión y estabilidad superiores en comparación con los enfoques de un solo modelo.
• La fusión de sensores es crítica, pero las señales de solo muñeca (comunes en relojes inteligentes) pueden soportar un reconocimiento preciso, lo que hace que la tecnología sea viable para un despliegue en el mundo real, no invasivo.
• No existe una única arquitectura "mejor" para todos los escenarios; la elección óptima depende de la modalidad de entrada (p. ej., TCN para solo muñeca, Transformer para multimodal).
• Este trabajo llena un vacío en la literatura al proporcionar un análisis comparativo controlado de estas tres principales arquitecturas temporales, aislando los efectos de la elección de la arquitectura, la modalidad del sensor y el diseño de la fusión sobre el reconocimiento del afecto.

El artículo concluye que la combinación de la fusión de sensores y la fusión basada en conjuntos es una dirección prometedora para la creación de sistemas fiables de detección de estrés y emoción fisiológica.