MAD: A Multimodal and Multi-perspective Affective Dataset with Hierarchical Annotations

Este trabajo presenta MAD, un nuevo conjunto de datos multimodal y multivista con anotaciones jerárquicas que sincroniza señales fisiológicas (como EEG y ECG) con videos faciales RGB-D de 18 participantes para modelar la dinámica emocional desde perspectivas neural, fisiológica y conductual, validando su utilidad mediante experimentos de reconocimiento de emociones y análisis de mecanismos afectivos.

Lo esencial

¡Hola! Imagina que quieres entender por qué nos sentimos felices, tristes o asustados. Hasta ahora, los científicos han tenido que adivinar mirando solo la "fachada" de la casa (nuestra cara) o escuchando lo que decimos. Pero el paper que me has compartido presenta algo mucho más profundo: MAD (Multimodal Affection Dataset), un nuevo y enorme "mapa del tesoro" para entender las emociones humanas.

Aquí te lo explico como si fuera una historia, usando analogías sencillas:

1. El Problema: Solo mirar la portada del libro

Imagina que intentas entender una película solo leyendo el título en la portada. A veces funciona, pero a menudo te pierdes la trama real.

• Lo viejo: Los estudios anteriores solo miraban expresiones faciales (la portada). El problema es que podemos sonreír cuando estamos tristes (por educación) o poner cara de enfado cuando estamos nerviosos. Es como si alguien nos dijera una mentira con la cara.
• La solución de MAD: Este nuevo proyecto no se conforma con la portada. Decide abrir el libro entero y leer todos los capítulos a la vez.

2. ¿Qué es MAD? Una orquesta sincronizada

MAD es un conjunto de datos (una biblioteca gigante de información) donde grabaron a 18 personas viendo videos emocionales. Pero no grabaron solo la cara. Imagina que tienen a un director de orquesta que asegura que todos los instrumentos toquen exactamente al mismo tiempo.

Grabaron seis tipos de señales simultáneamente:

1. EEG (El cerebro): Como un micrófono dentro de la cabeza que escucha los pensamientos eléctricos.
2. ECG, PPG, BCG (El corazón): Tres formas diferentes de escuchar el latido.
   • Analogía: Imagina que el corazón es un tambor. El ECG es escuchar el tambor con un estetoscopio en el pecho. El PPG es ver cómo la sangre hace vibrar la piel en la muñeca (como ver el tambor vibrar). El BCG es sentir las vibraciones del tambor en la silla donde te sientas. ¡MAD graba los tres a la vez!
3. EOG y EMG (Los músculos): Cómo se mueven los ojos y la cara.
4. Cámaras 3D (La cara): Tres cámaras filmando la cara desde la izquierda, el frente y la derecha, como si fueran tres amigos mirando a la persona desde diferentes ángulos.

3. La Gran Innovación: Tres niveles de verdad

Lo más genial de MAD es que no se conforma con una sola etiqueta. Para cada video, tienen tres niveles de "etiquetas", como si tuvieras tres narradores contando la misma historia:

• Nivel 1: El Guion (Estímulo): ¿Qué debería sentir la persona? (Ej: "Este video es de miedo"). Es la verdad externa.
• Nivel 2: La Experiencia Interna (Cognición): ¿Qué sintió realmente la persona? (Ej: "Yo vi miedo, pero me sentí triste"). Es la verdad subjetiva.
• Nivel 3: La Actuación (Expresión): ¿Qué mostró la cara? (Ej: "La cara se veía asustada"). Es la verdad visible.

La analogía: Es como tener una obra de teatro donde grabas el guion (lo que pasa), los pensamientos del actor (lo que siente) y su actuación final (lo que muestra). A veces coinciden, a veces no. MAD nos permite estudiar por qué a veces no coinciden.

4. ¿Qué descubrieron con este "mapa"?

Los científicos usaron este dataset para hacer pruebas y descubrieron cosas fascinantes:

• El cerebro es más honesto que la cara: Cuando compararon lo que el cerebro pensaba (EEG) con lo que la persona dijo que sentía, vieron que el cerebro es más consistente si solo miramos el video, pero la persona puede cambiar de opinión o mentir un poco sobre lo que siente.
• El corazón tiene varias voces: Descubrieron que escuchar el corazón de tres formas diferentes (ECG, PPG, BCG) da resultados muy similares. ¡Esto es genial! Significa que en el futuro, podríamos medir tus emociones con un reloj inteligente (PPG) o simplemente sentándote en una silla especial (BCG), sin necesidad de cables pegados al pecho.
• La cara necesita varios ángulos: Si solo miras a alguien de frente y gira la cabeza, la IA se confunde. Pero al usar las tres cámaras de MAD, la IA aprende a reconocer la emoción incluso si la persona mueve la cabeza, como si tuviera "ojos en la nuca".

5. ¿Por qué es importante esto para ti?

Imagina que en el futuro:

• Un médico pueda detectar ansiedad o depresión antes de que el paciente se dé cuenta, mirando solo sus señales corporales.
• Un coche autónomo sepa si el conductor está estresado o cansado y ajuste la música o la velocidad.
• Una película se adapte en tiempo real a cómo te sientes, haciéndose más divertida si te aburres o más tranquila si estás nervioso.

En resumen:
MAD es como un laboratorio de emociones de alta tecnología que nos permite ver la "orquesta completa" del cuerpo humano en lugar de solo un instrumento. Nos ayuda a entender que las emociones son un proceso complejo que va desde el cerebro hasta el corazón y la cara, y que a veces, lo que sentimos por dentro y lo que mostramos por fuera son dos historias diferentes. ¡Y ahora tenemos los datos para estudiarlas juntas!

Resumen técnico

Resumen Técnico: MAD (Multimodal Affection Dataset)

1. Problema y Motivación

El reconocimiento de emociones es fundamental para la computación afectiva, pero los enfoques actuales presentan limitaciones significativas:

• Dependencia de conductas observables: La mayoría de los métodos se basan en texto, voz o expresiones faciales (2D, monocámara). Estas señales son la salida final del proceso emocional y son susceptibles a la regulación consciente, el contexto social y la ocultación deliberada, no reflejando fielmente el estado interno.
• Limitaciones de las señales fisiológicas unimodales: Aunque señales como el EEG (actividad neural) o el ECG (actividad autonómica) son más objetivas, los conjuntos de datos existentes suelen cubrir solo un tipo de señal o carecen de sincronización precisa entre modalidades.
• Falta de anotaciones jerárquicas: Los datasets públicos actuales (ej. DEAP, SEED, FER2013) suelen proporcionar etiquetas de un solo nivel (ya sea basadas en el estímulo o en la autoevaluación), lo que impide analizar la consistencia y las divergencias entre la elicita ción del estímulo, la cognición subjetiva y la expresión conductual.
• Restricciones visuales: La falta de datos de video en múltiples vistas y con información de profundidad (RGB-D) limita la robustez ante cambios de postura y la percepción 3D de las expresiones.

2. Metodología y Diseño del Dataset

El trabajo presenta MAD, un dataset multimodal diseñado para capturar el proceso emocional completo desde perspectivas neural, fisiológica y conductual.

• Participantes y Protocolo:

  • 18 participantes sanos (9 hombres, 9 mujeres).
  • Exposición a 16 clips de video diseñados para elicitar emociones (alegría, ira, tristeza, miedo, ansiedad, asco, neutral).
  • Sesiones divididas en dos días para reducir la fatiga, con intervalos de descanso.

• Adquisición Multimodal Sincronizada:
  Se registraron seis tipos de señales fisiológicas y videos faciales en tiempo real mediante un sistema de marca de tiempo unificado:

  1. EEG: 14 canales (Emotiv Epoc+) a 128 Hz.
  2. Señales periféricas (BIOPAC MP150): 1 canal EOG, 2 canales ECG, 3 canales EMG a 1000 Hz.
  3. Señales cardíacas emergentes: PPG (fotopletismografía) y BCG (cardiografía de balistografía) a 34 Hz.
  4. Visual: Tres cámaras Intel RealSense D455 (vistas izquierda, frontal y derecha) capturando video RGB-D a 30 fps.

• Marco de Anotación Jerárquica (Tres Niveles):
  MAD introduce un esquema de etiquetado único que abarca tres niveles conceptuales:

  1. Etiquetas de Estímulo (Multimedia): Basadas en el contenido del video (asignadas por 50 anotadores externos).
  2. Etiquetas Cognitivas: Autoevaluación subjetiva de los participantes tras ver el clip (categorías e intensidad).
  3. Etiquetas de Expresión: Anotaciones basadas en la observación de las expresiones faciales (asignadas por 10 observadores humanos).

• Preprocesamiento:
  Los datos se segmentaron en clips de 60 segundos (picos de estimulación). Se aplicó filtrado de banda, eliminación de artefactos (ICA para EEG), resampling y sincronización de picos cardíacos.

3. Contribuciones Clave

1. Dataset Multimodal de Nivel Transversal: Integra señales centrales (EEG), periféricas (ECG, EMG, EOG, PPG, BCG) y comportamiento visual (RGB-D tri-vista) en un único marco sincronizado.
2. Marco de Anotación Jerárquica: Permite comparar cuantitativamente la información emocional entre la elicitación externa, la experiencia interna y la expresión externa, facilitando el estudio de la consistencia y la divergencia.
3. Protocolos de Benchmarking: Establece tareas estándar para evaluar modelos en reconocimiento intra-sujeto, transferencia inter-sujeto, fusión multimodal y reconocimiento facial multi-vista.

4. Resultados de los Experimentos de Referencia

Los autores realizaron cinco categorías de experimentos para validar el dataset:

• Reconocimiento EEG Intra-sujeto:

  • Los modelos entrenados con etiquetas de estímulo lograron una precisión significativamente mayor (89-90%) que aquellos entrenados con etiquetas cognitivas (40-69%).
  • Esto sugiere que la respuesta neural a estímulos externos es más consistente que la codificación de la experiencia subjetiva, la cual varía más entre individuos.
  • La consistencia entre etiquetas de estímulo y cognición mejoró drásticamente el rendimiento, validando la estabilidad de la actividad neural cuando coinciden la percepción y la experiencia.

• Transferencia Inter-sujeto (Cross-subject):

  • Se probaron cinco métodos de adaptación de dominio (DAN, DANN, etc.).
  • MAD mostró una variabilidad inter-sujeto "realista pero aprendible", permitiendo que los algoritmos de adaptación de dominio funcionen de manera estable sin colapsar, lo que lo convierte en un buen banco de pruebas para la generalización.

• Análisis de Señales Cardíacas (ECG, PPG, BCG):

  • Se verificó una alta sincronía temporal entre los picos de ECG, PPG y BCG.
  • En tareas de clasificación, las tres señales mostraron tendencias de rendimiento consistentes (50-80% de precisión).
  • Hallazgo crucial: El BCG (señal no invasiva/sin contacto) logró un rendimiento comparable al ECG y PPG, sugiriendo su viabilidad para reconocimiento de emociones en escenarios de bajo contacto.

• Fusión Multimodal Fisiológica:

  • El EEG fue la modalidad individual más discriminativa.
  • La fusión de modalidades periféricas (ECG+EOG+EMG) superó a cualquiera de ellas por separado, pero no superó al EEG solo.
  • Sin embargo, la fusión de EEG + periféricas proporcionó ganancias adicionales, confirmando que las señales periféricas complementan la información central.

• Reconocimiento Facial Multi-vista:

  • El entrenamiento con múltiples vistas (frontal + laterales) mejoró significativamente la robustez ante cambios de postura en comparación con el ajuste fino de una sola vista.
  • La introducción de aprendizaje contrastivo para alinear características entre vistas logró la mejor precisión (84.5% frontal, 81.8% laterales), demostrando la capacidad de aprender representaciones invariantes a la vista.

5. Significado e Impacto

• Puente entre Teoría y Práctica: MAD permite investigar mecanismos emocionales alineados con teorías psicológicas y neurocientíficas, analizando cómo la elicitación, la cognición y la expresión se relacionan o divergen.
• Validación de Nuevas Modalidades: Demuestra el potencial de señales emergentes como PPG y BCG para la computación afectiva, especialmente en entornos no invasivos.
• Benchmark Estándar: Proporciona un entorno unificado y riguroso para evaluar la robustez de los modelos de reconocimiento de emociones frente a variaciones de sujetos, modalidades y perspectivas visuales.
• Futuro: El dataset sienta las bases para el desarrollo de modelos afectivos jerárquicos, interpretables y generalizables, facilitando la transición hacia sistemas de interacción humano-computadora más naturales y precisos.

En conclusión, MAD no es solo un repositorio de datos, sino una plataforma experimental integral que aborda las brechas críticas en la investigación actual sobre emociones, ofreciendo una visión holística que abarca desde la actividad neuronal hasta la expresión conductual visible.