egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

El paper presenta egoEMOTION, el primer conjunto de datos que combina señales visuales egocéntricas y fisiológicas con autoinformes densos de emociones y personalidad para establecer nuevas tareas de referencia y modelos de comportamiento impulsados por el afecto en escenarios reales.

Lo esencial

¡Hola! Imagina que tienes unas gafas de realidad aumentada (como las de un videojuego futurista) que no solo ven lo que tú ves, sino que también "sienten" lo que tú sientes. Eso es básicamente lo que propone este paper llamado egoEMOTION.

Aquí te lo explico como si fuera una historia, usando analogías sencillas:

1. El Problema: Las gafas son "ciegas" a los sentimientos

Hasta ahora, las gafas inteligentes y los sistemas de visión por computadora eran como detectives muy inteligentes pero muy aburridos. Podían decirte: "¡Oye, estás cortando una cebolla!" o "¡Estás conduciendo un coche!". Pero no podían decirte: "¡Oye, estás cortando esa cebolla porque estás muy estresado y triste!".

Los investigadores anteriores asumían que todos los humanos somos robots: que actuamos igual y con la misma "cara de póker" (neutral) todo el tiempo. Pero la vida real no es así. A veces hacemos cosas porque estamos enojados, a veces porque estamos eufóricos. Sin entender esas emociones, las máquinas no pueden entender realmente por qué hacemos lo que hacemos.

2. La Solución: El "Kit de Detectives Emocionales"

Para arreglar esto, los autores del paper crearon egoEMOTION, que es como un gigantesco libro de recetas de emociones humanas.

• ¿Qué hay en el libro? Grabaron a 43 personas durante más de 50 horas.
• ¿Cómo lo grabaron? Les pusieron unas gafas especiales (las de Project Aria) que tienen cámaras para ver lo que ven los ojos y sensores para medir el movimiento de la cabeza.
• El toque especial: Además de las gafas, les pusieron a los participantes sensores en el cuerpo (como un reloj inteligente pero más avanzado) para medir su ritmo cardíaco, su respiración y la sudoración de la piel. Es como ponerles un "termómetro emocional" en todo el cuerpo.

3. La Misión: Dos tipos de "Pruebas de Fuego"

Para llenar este libro de recetas, hicieron dos tipos de actividades con los participantes:

• La Sala de Cine (Emociones Inducidas): Les mostraron videos cortos diseñados para provocar emociones específicas.
  • Ejemplo: Un video de un perro maltratado para provocar enojo.
  • Ejemplo: Un video de luces del norte para provocar asombro.
  • Ejemplo: Un video de alguien comiendo un gusano para provocar asco.
• La Vida Real (Actividades Naturales): Luego, les pidieron que hicieran cosas cotidianas pero con un giro emocional.
  • Ejemplo: Pintar un cuadro mientras escuchan música triste.
  • Ejemplo: Jugar a un juego de "Jenga" (torre de bloques) con alguien para ver si se ponen nerviosos.
  • Ejemplo: Escribir una carta a alguien que ya no está.

Después de cada actividad, los participantes tenían que decir: "¿Cómo me sentí?". Usaron un mapa de emociones (como una rueda de colores) para describir si estaban felices, tristes, asustados, etc.

4. El Gran Descubrimiento: ¡Los Ojos son más importantes que el Corazón!

Aquí viene la parte más sorprendente. Los investigadores probaron dos formas de predecir las emociones de las personas usando los datos:

1. Usando los sensores del cuerpo: (El corazón, la respiración, el sudor).
2. Usando solo las gafas: (Lo que ve la cámara, dónde miran los ojos, cómo se mueve la cabeza).

El resultado fue una sorpresa: ¡Las gafas solas funcionaron mejor que los sensores del cuerpo!

• La analogía: Imagina que quieres saber si alguien está nervioso antes de un examen.
  • Opción A (Sensores del cuerpo): Le pones un monitor cardíaco. Si el corazón late rápido, podría ser nerviosismo... ¡o podría ser que acaba de subir corriendo las escaleras!
  • Opción B (Las gafas): Miras sus ojos. Si están muy abiertos, mirando fijamente y con las pupilas dilatadas, sabes que está nervioso o asustado, sin importar si corrió o no.

El estudio descubrió que la forma en que miramos las cosas y cómo se mueven nuestros ojos nos delata mucho más sobre nuestro estado de ánimo que nuestro propio pulso cardíaco.

5. ¿Para qué sirve todo esto?

Este dataset (el libro de datos) es como un entrenador personal para la Inteligencia Artificial. Ahora, las máquinas pueden aprender a:

• Entender mejor a los humanos: Si un robot ve que estás frustrado, podría ayudarte de otra manera en lugar de seguir insistiendo.
• Salud mental: Podría detectar si alguien está pasando por un momento de ansiedad o depresión basándose en cómo mira y se mueve.
• Interfaces más humanas: Las aplicaciones podrían adaptarse a tu estado de ánimo. Si estás triste, la app podría poner música alegre o usar un tono de voz más suave.

En resumen

egoEMOTION es el primer gran paso para que las máquinas dejen de ser "ciegas emocionalmente". Nos enseña que para entender a una persona, no solo hay que escuchar lo que dice o medir su corazón, sino observar cómo mira el mundo. Es como pasar de tener un mapa de carreteras a tener un mapa que también muestra el clima y el estado de ánimo de los conductores.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo egoEMOTION, traducido y adaptado al español:

Título: egoEMOTION: Visión Egocéntrica y Señales Fisiológicas para el Reconocimiento de Emociones y Personalidad en Tareas del Mundo Real

1. El Problema

Los sistemas de visión egocéntrica (primera persona) han avanzado significativamente en la comprensión de actividades físicas, interacciones mano-objeto y modelado de la atención. Sin embargo, los benchmarks actuales ignoran casi por completo los estados afectivos internos (emociones) y los rasgos de personalidad que moldean las decisiones y acciones humanas.

• Limitación actual: Se asume implícitamente que los participantes tienen un afecto neutral y una personalidad uniforme, lo que limita la capacidad de los sistemas de visión para capturar los impulsores internos del comportamiento.
• Brecha: Falta un conjunto de datos que combine señales visuales egocéntricas con señales fisiológicas y reportes densos de emociones y personalidad en escenarios tanto controlados como naturales ("en la naturaleza").

2. Metodología y Diseño del Dataset

El artículo presenta egoEMOTION, el primer conjunto de datos multimodal que vincula la visión egocéntrica con señales fisiológicas para el reconocimiento de emociones y personalidad.

• Participantes y Equipo:

  • 43 participantes (estudiantes, rango de edad 19-29 años).
  • Dispositivo principal: Gafas Meta Project Aria, que capturan:
    • Video de seguimiento ocular (eye-tracking) a 90 fps (640x480 por ojo).
    • Cámara de punto de vista (POV) a 10 fps (1408x1408).
    • IMU de la cabeza (movimiento) a 1000 Hz y 800 Hz.
    • Sensor PPG (fotopletismografía) en la nariz.
  • Sensores fisiológicos adicionales:
    • ECG (cinta torácica), RSP (cinturón respiratorio), EDA (conductancia de la piel en dedos) y PPG (oreja), utilizando dispositivos Shimmer3 y Plux.
  • Cámara externa: Webcam para etiquetado externo de expresiones faciales.

• Protocolo Experimental (Dos Sesiones):

  • Sesión A (Inducida): Los participantes vieron 9 clips de video diseñados para elicitar emociones específicas (basadas en la Rueda de Mikels: diversión, asombro, miedo, tristeza, etc.) y una neutra.
  • Sesión B (Naturalista): Los participantes realizaron 7 actividades cotidianas espontáneas (ej. jugar a Jenga, pintar, escribir una carta triste, jugar a Flappy Bird, intentar reírse con un experimentador).
  • Duración total: Más de 50 horas de grabación sincronizada.

• Anotación (Ground Truth):

  • Estado Afectivo: Reportes autoevaluados después de cada tarea utilizando:
    1. Modelo Circunplejo (SAM): Valencia, Arousal (activación) y Dominancia.
    2. Rueda de Mikels (Ponderada): Distribución porcentual (100%) entre 9 emociones discretas + neutralidad.
  • Personalidad: Cuestionario Big Five (BFI-2) (Extraversión, Amabilidad, Responsabilidad, Inestabilidad Emocional, Apertura) completado antes del experimento.

3. Contribuciones Clave

1. Primer Dataset Multimodal Egocéntrico: Es el primer conjunto de datos público que utiliza un sistema de visión egocéntrico (gafas) para reconocimiento de emociones y personalidad, combinando inducción y tareas naturalistas.
2. Tres Tareas de Benchmark: Se definen y evalúan tres tareas predictivas:
   • Clasificación continua de afecto (Valencia, Arousal, Dominancia).
   • Clasificación de emociones discretas (9 clases).
   • Inferencia de rasgos de personalidad (Big Five).
3. Hallazgo Contraintuitivo: Demostración de que las señales capturadas por las gafas egocéntricas (especialmente el seguimiento ocular y el movimiento de la cabeza) superan a los sensores fisiológicos tradicionales en la predicción de emociones en tiempo real.
4. Liberación Abierta: El dataset y las implementaciones de línea base están disponibles bajo aprobación ética (ETH Zurich) para investigación académica.

4. Resultados y Análisis

Los autores evaluaron métodos de aprendizaje automático clásico (SVM, Random Forest) y compararon el rendimiento de diferentes modalidades de sensores.

• Rendimiento General:

  • Afecto Continuo: El modelo SVM con todas las modalidades alcanzó un F1-score de 0.75. Curiosamente, usar solo las gafas egocéntricas (F1 = 0.74) superó ligeramente a los sensores fisiológicos portátiles tradicionales (F1 = 0.70).
  • Emociones Discretas: Las gafas lograron un F1-score de 0.46, muy por encima de la línea base aleatoria (0.11) y superior a los sensores portátiles (F1 = 0.24). El tamaño de la pupila y la intensidad de los píxeles del video fueron características clave.
  • Personalidad: La combinación de todas las modalidades dio un F1 de 0.59, mientras que solo las gafas obtuvieron 0.57, superando a los sensores portátiles (0.50). El seguimiento de la mirada (eye gaze) fue la modalidad individual más fuerte.

• Comparación Clásico vs. Deep Learning:

  • Los métodos clásicos (SVM, Random Forest) con características extraídas manualmente superaron a los modelos de Deep Learning (CNN y Transformers) en todas las tareas. Esto sugiere que, para este tipo de datos y tamaño de muestra, la ingeniería de características tradicionales es más efectiva que el entrenamiento de redes profundas desde cero.

• Correlaciones: Se encontraron correlaciones significativas entre ciertos rasgos de personalidad y emociones (ej. la Amabilidad se correlacionó negativamente con la Tristeza y el Asco).

5. Significado e Impacto

• Cambio de Paradigma: El estudio demuestra que los sistemas de visión egocéntrica no solo pueden modelar el comportamiento observable (qué hace la persona), sino también inferir estados internos (cómo se siente y quién es).
• Aplicaciones Futuras: Abre nuevas direcciones para la interacción humano-computadora afectiva, permitiendo sistemas adaptativos en realidad mixta, salud mental, educación y computación inmersiva que responden al estado emocional y a la personalidad del usuario en tiempo real.
• Viabilidad Práctica: Al mostrar que las gafas inteligentes (sin necesidad de sensores corporales invasivos adicionales) pueden capturar señales ricas para el reconocimiento de emociones, se facilita la implementación de estas tecnologías en dispositivos de consumo masivo.

En resumen, egoEMOTION establece una nueva base para la investigación en percepción egocéntrica, integrando la dimensión afectiva y de personalidad como factores centrales para comprender el comportamiento humano en el mundo real.