Resumen Técnico: Combinación de Videos Faciales y Biosignales para la Estimación del Estrés Durante la Conducción

Planteamiento del Problema

El reconocimiento fiable del estrés es crítico para sistemas de seguridad crítica, particularmente en escenarios de conducción del mundo real. Si bien las señales fisiológicas (por ejemplo, frecuencia cardíaca, sudoración perinasal) son marcadores establecidos para la detección del estrés, su adquisición puede ser intrusiva o desafiante en entornos prácticos. Por el contrario, la estimación del estrés basada en video enfrenta obstáculos significativos debido a la naturaleza subjetiva del estrés, la variabilidad individual y la posibilidad de enmascaramiento consciente de las expresiones faciales. Los enfoques existentes basados en video a menudo dependen de características geométricas de bajo nivel o Unidades de Acción Facial (AUs), lo que puede entrelazar la identidad, la postura y la expresión, limitando su capacidad para capturar dinámicas faciales 3D sutiles. Además, pocos trabajos han explorado efectivamente la interacción complementaria entre dinámicas faciales 3D disociadas y señales fisiológicas dentro de un marco unificado, especialmente bajo las condiciones restringidas de la conducción donde las señales corporales son limitadas.

Metodología

Conjunto de Datos y Configuración Experimental

El estudio utiliza el conjunto de datos de conducción distraída disponible públicamente de Taamneh et al., recopilado en un simulador. El protocolo distingue entre Conducción Normal (ND) como línea base y fases de Distracción Sensoriomotora (MD) (P2 y P4), donde las tareas de envío de mensajes de texto inducen estrés. Otras fases (P1, P3, P5) sirven como intervalos sin estrés. El conjunto de datos incluye videos faciales infrarrojos sincronizados, señales fisiológicas (frecuencia cardíaca, frecuencia respiratoria, sudoración perinasal) y mediciones de la mirada.

Extracción de Características

1. Características Faciales 3D Disociadas:
Los autores extraen parámetros de expresión y postura facial 3D por cuadro utilizando EMOCA, un marco de reconstrucción facial 3D monoculares de última generación basado en DECA.

• Representación: Un vector de 56 dimensiones por cuadro ($x_t$) que comprende 50 coeficientes de expresión ($exp_t$) y 6 parámetros de postura ($pose_t$).
• Dinámica: Para capturar el comportamiento temporal, se calculan derivadas temporales de primer orden ($\Delta x_t$) para enfatizar cambios rápidos de movimiento y transiciones expresivas.
• Normalización: Se calcula un descriptor de diferencia de velocidad a nivel de ventana comparando la conducción con estresor (MD) contra la conducción normal emparejada (ND) para cada sujeto, enfatizando las desviaciones inducidas por el estrés respecto a la línea base.

2. Características Fisiológicas y de la Mirada:
Los marcadores fisiológicos incluyen la frecuencia cardíaca, la frecuencia respiratoria y la sudoración perinasal. Cuando están disponibles, las dinámicas de la mirada se calculan como velocidades y aceleraciones horizontales/verticales, junto con estadísticas a corto plazo (media móvil, desviación estándar y dispersión).

Análisis Estadístico

Antes del aprendizaje profundo, los autores realizan un análisis estadístico utilizando pruebas t de una muestra de dos colas emparejadas para comparar las fases MD y ND.

• Hallazgos: 38 de los 56 componentes faciales (expresión y postura) exhiben respuestas al estrés consistentes y específicas de la fase, comparables a los marcadores fisiológicos.
• Correlaciones Clave: El Análisis de Componentes Principales (PCA) y el Análisis Discriminante Lineal (LDA) identifican que la postura global (específicamente pose_00) y coeficientes de expresión específicos (por ejemplo, exp_40, exp_20) están más fuertemente correlacionados con el estrés. Las visualizaciones indican que estos componentes afectan principalmente deformaciones de la parte inferior de la cara (boca, mandíbula) y la postura de la cabeza.
• Importancia Temporal: Las representaciones basadas en velocidad (derivadas temporales) resultan ser más informativas que las características estáticas de nivel medio, lo que sugiere que el estrés se codifica en dinámicas rápidas de cuadro a cuadro.

Marco de Modelado

El núcleo del sistema propuesto es un marco de modelado temporal basado en Transformers diseñado para manejar la fusión multimodal.

• Arquitectura: La tubería utiliza un tallo convolucional multiescala (tamaños de kernel 3, 5, 7) para extraer patrones a corto plazo, seguido de una pila de capas de codificador Transformer con atención auto-referencial de múltiples cabezas.
• Agrupación Temporal: Una representación de ventana de longitud fija se obtiene mediante agrupación temporal basada en atención, que pondera segmentos temporales relevantes para el estrés.
• Estrategias de Fusión:
  1. Unimodal: Usando solo características faciales.
  2. Fusión Temprana: Concatenando parámetros faciales 3D con características fisiológicas/de la mirada a nivel de entrada.
  3. Atención Cross-Modal: Una arquitectura bidireccional donde los flujos facial y fisiológico se codifican independientemente y luego se fusionan mediante mecanismos de atención cruzada. Esto permite que cada modalidad se enfoque selectivamente en señales temporalmente relevantes en la otra antes de la agregación.

Contribuciones Clave

1. Rol Complementario del Movimiento Facial 3D: El trabajo demuestra que fusionar características densas de movimiento facial 3D (expresión y postura disociadas) con características fisiológicas mejora significativamente la predicción del estrés, confirmando su naturaleza complementaria.
2. Marco Robusto Cross-Modal: Los autores proponen un marco de atención cross-modal basado en Transformers que modela efectivamente la interacción entre dinámicas faciales y biosignales. Crucialmente, este marco permanece robusto y efectivo incluso cuando solo están disponibles videos faciales (rendimiento unimodal).
3. Enfoque Específico para la Conducción: El estudio destaca el movimiento facial como una fuente principal de información visual relacionada con el estrés en escenarios de conducción donde las señales corporales son limitadas, ofreciendo un protocolo que se generaliza a otros entornos de estimación del estrés.

Resultados

Los modelos se evaluaron utilizando validación cruzada por sujeto de 5 pliegues para evitar la fuga de datos.

• Rendimiento de Línea Base:

  • Solo Señales Fisiológicas: Rindieron pobremente, logrando un AUROC de 52.7% y una precisión de 51.0%.
  • Solo Características Faciales (Unimodal): Lograron un AUROC de 90.8% y una precisión de 84.1%, superando las líneas base tradicionales de ML (SVM/kNN) y las líneas base de aprendizaje profundo totalmente conectadas.
  • Fusión Temprana: Combinar características faciales y fisiológicas mediante concatenación simple arrojó un AUROC de 90.1%, ligeramente inferior a la línea base solo visual, lo que sugiere que las dinámicas faciales ya capturan información dominante del estrés en este entorno.

• Rendimiento de Atención Cross-Modal:

  • La estrategia propuesta de Atención Cross-Modal (facial + fisiológica) logró el rendimiento más alto: AUROC 92.0% y Precisión 86.7%.
  • Esto representa una mejora sustancial sobre las señales fisiológicas por sí solas y una ganancia consistente sobre los enfoques unimodales y de fusión temprana.
  • Las combinaciones que excluían dinámicas faciales (por ejemplo, Mirada + Bio) rindieron significativamente peor, reforzando la centralidad del movimiento facial.

Significado y Afirmaciones

El artículo afirma que, si bien la detección del estrés mediante señales fisiológicas por sí sola puede ser poco fiable o difícil de adquirir en la conducción del mundo real, la actividad facial proporciona señales complementarias que pueden capturarse de forma no intrusiva. El estudio establece que:

1. El estrés se codifica en la dinámica: Las modulaciones relacionadas con el estrés son más prominentes en la velocidad y las dinámicas temporales de los parámetros faciales 3D que en la apariencia estática.
2. Sinergia multimodal: Si bien las características faciales por sí solas son altamente efectivas, el modelado explícito de las interacciones inter-modales mediante atención cross-modal produce los mejores resultados, aprovechando la naturaleza complementaria de los biosignales.
3. Generalizabilidad: Aunque evaluado en datos de conducción simulada, la metodología y el protocolo propuestos están diseñados para extenderse a otros entornos que involucren reconocimiento del estrés a partir de videos faciales.

Los autores señalan limitaciones respecto al uso de datos simulados y sugieren que el trabajo futuro debe centrarse en validar estos hallazgos en entornos naturalistas, mejorar la interpretabilidad y explorar la implementación en tiempo real mediante pipelines de reconstrucción 3D ligeros.