🤖 AI

Spatiotemporal Facial Action Unit Detection using Twin Cycle Autoencoders for Driver Monitoring

Este artículo propone el Twin Cycle Autoencoder (TCA), una novedosa arquitectura espaciotemporal que integra el desenredo de la apariencia espacial y la consistencia de la trayectoria temporal para detectar de manera robusta las Unidades de Acción Facial para el monitoreo del conductor bajo condiciones desafiantes en el interior del habitáculo, logrando un rendimiento de vanguardia en los puntos de referencia mientras mantiene un rendimiento en tiempo real en hardware embebido.

Autores originales: Sai Sidharth D

Publicado 2026-07-21✓ Author reviewed ⓘ

📖 8 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Sai Sidharth D

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero tu única pista es una transmisión de cámara de seguridad granulada y parpadeante. No estás buscando a un ladrón; estás buscando a un conductor que está a punto de quedarse dormido al volante. Este es el mundo de los Sistemas de Monitoreo del Conductor (DMS, por sus siglas en inglés), un campo de la informática dedicado a mantenernos seguros observando cómo lucimos mientras conducimos. Durante años, estos sistemas han dependido de trucos simples, como contar cuánto tiempo permanecen cerrados tus ojos o verificar si te desvías del carril. Pero la verdadera historia se escribe en los diminutos e involuntarios espasmos de nuestros músculos faciales. Los científicos llaman a estos pequeños movimientos "Unidades de Acción" (AU). Piensa en una AU como un comando muscular único y atómico, como el espasmo específico que ocurre cuando bostezas, o el sutil tensado de tus párpados cuando luchas contra el sueño. El desafío es que, dentro de un coche, la iluminación cambia de un sol cegador a una oscuridad total, tu cabeza se balancea de un lado a otro y, a veces, usas gafas de sol. Es un entorno caótico donde una computadora tiene que detectar un espasmo muscular que dura menos de un segundo, a menudo oculto tras sombras o cristales.

Este artículo presenta un nuevo tipo de detective digital llamado "Autoencoder de Ciclo Doble" (TCA, por sus siglas en inglés). En lugar de simplemente mirar una instantánea para adivinar qué siente un conductor, este sistema utiliza dos ingeniosos "bucles" para aprender la historia de un rostro a lo largo del tiempo. El primer bucle, la rama "Espacial", aprende a reconocer los movimientos musculares mientras ignora quién es la persona o qué lleva puesto. El segundo bucle, la "Temporal", actúa como un editor que viaja en el tiempo, viendo el video hacia adelante y luego hacia atrás para asegurarse de que la historia del movimiento tenga sentido en ambas direcciones. Al forzar a estos dos bucles a estar de acuerdo entre sí, el sistema aprende a detectar incluso los signos más tenues de fatiga, como un parpadeo lento o una boca entreabierta, incluso cuando la cámara tiene dificultades. Los investigadores probaron esto en conjuntos de datos estándar y en un simulador de conducción real, encontrando que su sistema "gemelo" es mucho mejor para captar estos signos sutiles y fugaces de somnolencia que los métodos anteriores, y funciona lo suficientemente rápido como para ser utilizado en un coche real hoy mismo.

El Problema: La Cabina Caótica del Coche

Detectar la somnolencia en un coche es notoriamente difícil. En un laboratorio tranquilo, una cámara puede detectar fácilmente un bostezo. Pero dentro de un vehículo en movimiento, el mundo es un caos de desafíos. El sol puede dar directamente en la lente y luego, de repente, el coche entra en un túnel oscuro. El conductor puede girar la cabeza para revisar un punto ciego o usar gafas de sol que ocultan sus ojos. Además, los signos de fatiga suelen ser increíblemente sutiles. Un conductor podría no estar dormido todavía; podría estar experimentando una microexpresión de cansancio: un pequeño tic en la ceja o un parpadeo breve, casi invisible. Estas señales son tan tenues y de corta duración que los modelos informáticos más antiguos, que suelen mirar un fotograma a la vez, a menudo las pasan por alto por completo. También tienen dificultades porque no hay suficientes datos etiquetados; es costoso y difícil obtener miles de horas de video de conducción donde cada pequeño espasmo muscular haya sido marcado manualmente por un experto.

La Solución: El Autoencoder de Ciclo Doble

Los autores proponen una solución llamada Autoencoder de Ciclo Doble (TCA). Para entender cómo funciona, imagina que estás tratando de enseñar a un robot a reconocer un paso de baile específico, pero no tienes un video del baile, solo un montón de fotos aleatorias.

1. Las Dos Ramas (Los Gemelos)
El TCA está construido como un par de gemelos que se especializan en diferentes habilidades pero trabajan juntos:

El Gemelo Espacial (El Detector de "Parecidos"): Esta rama observa un solo fotograma de video. Su trabajo es eliminar todo lo que no sea el movimiento muscular. Ignora la identidad del conductor, su peinado o si lleva un sombrero. Se enfoca puramente en la "Unidad de Acción": la forma muscular específica. Utiliza un truco de "ciclo": intenta reconstruir el rostro a partir de los datos musculares. Si puede reconstruir el rostro correctamente, sabe que ha capturado la información muscular adecuada.
El Gemelo Temporal (El Editor de "Viaje en el Tiempo"): Esta rama observa un clip corto de video (aproximadamente 1.6 segundos). Observa el rostro moverse hacia adelante en el tiempo, y luego intenta reproducir el video hacia atrás. También utiliza un truco de "ciclo" aquí: si el movimiento tiene sentido yendo hacia adelante, también debería tener sentido yendo hacia atrás. Esto ayuda al sistema a entender el ritmo de un bostezo o un parpadeo, en lugar de solo una imagen estática de una boca.

2. El Apretón de Manos (Alineación Latente)
Estos dos gemelos no trabajan de forma aislada. Están conectados por un mecanismo de "apretón de manos". El sistema fuerza la comprensión del Gemelo Espacial sobre el rostro en un momento específico para que coincida con la comprensión del Gemelo Temporal sobre el movimiento en ese mismo momento. Esto asegura que el "aspecto" y el "movimiento" cuenten la misma historia. Si el Gemelo Temporal ve que un bostezo está comenzando, el Gemelo Espacial debe estar de acuerdo en que la boca se está abriendo, incluso si la iluminación es mala.

3. Aprendiendo sin un Maestro (Aprendizaje Auto-supervisado)
Uno de los aspectos más poderosos de este sistema es cómo aprende. Normalmente, para entrenar una IA, necesitas un conjunto masivo de datos donde los humanos hayan etiquetado cada uno de los espasmos musculares. Pero en la conducción, esos datos son escasos. El TCA evita esto utilizando el "aprendizaje auto-supervisado". Puede observar horas de video de conducción no etiquetado (donde nadie ha marcado las AU) y usar sus trucos de "ciclo" para aprender las reglas del movimiento facial por sí solo. Aprende cómo es un rostro "normal" y cómo se mueve, simplemente observando el video hacia adelante y hacia atrás. Solo después utiliza una pequeña cantidad de datos etiquetados para perfeccionar su capacidad de detectar signos específicos de fatiga.

Lo Que Encontraron

Los investigadores probaron su sistema "Gemelo" contra otros métodos populares, incluyendo sistemas que solo miran fotogramas individuales, sistemas que usan filtros de video 3D y sistemas que usan redes de grafos. Lo probaron en estándares de referencia (DISFA y BP4D) y en un conjunto de datos de conducción naturalista registrado en un simulador con conductores reales.

Mejor para Detectar lo Sutil: El TCA superó consistentemente a los otros métodos. Fue particularmente bueno detectando AUs de baja intensidad o muy rápidas, como la AU45 (cierre de ojos) y la AU43 (ojos cerrándose lentamente), que son signos clave de somnolencia. También funcionó bien con la AU26 (caída de la mandíbula), que indica bostezar.
El Poder del Tiempo: Cuando eliminaron la rama "Temporal" (el editor de viaje en el tiempo), el rendimiento del sistema cayó significativamente. Esto demostró que observar el movimiento a través del tiempo es crucial para detectar la fatiga.
El Poder del Auto-aprendizaje: Cuando compararon una versión de TCA que utilizaba preentrenamiento auto-supervisado (aprendiendo de video no etiquetado) contra una que no lo hacía, la versión preentrenada era mucho mejor. Esto sugiere que el sistema aprendió con éxito patrones útiles de las horas de metraje de conducción no etiquetado, cerrando la brecha causada por la falta de datos etiquetados.
Velocidad en el Mundo Real: El sistema no solo fue preciso; fue rápido. Probado en una computadora embebida (NVIDIA Jetson Xavier NX) que podría caber dentro de un coche, el sistema funcionó a 28.4 fotogramas por segundo. Esto es lo suficientemente rápido como para proporcionar alertas en tiempo real a un conductor, superando los 10–15 fps que usualmente se consideran necesarios para sistemas de seguridad.

Los Límites y Pasos Futuros

El sistema no es perfecto. Los investigadores encontraron que cuando los conductores usaban gafas de sol, el sistema tenía dificultades significativas con las AUs relacionadas con la parte superior del rostro (como las cejas o los párpados). Las gafas de sol bloqueaban la vista y el sistema no podía "adivinar" el movimiento basándose solo en la parte inferior del rostro. Sin embargo, se mantuvo robusto para las acciones de la parte inferior del rostro, como bostezar, porque la boca seguía siendo visible.

El artículo concluye que este enfoque de "Ciclo Gemelo" es una vía viable para la próxima generación de monitoreo del conductor. Sugiere que, al combinar ciclos espaciales y temporales, y al utilizar el aprendizaje auto-supervisado para aprovechar al máximo los datos no etiquetados, podemos construir sistemas que sean tanto precisos como prácticos para los coches reales. El trabajo futuro se centrará en enseñar al sistema a manejar mejor las oclusiones (como las gafas de sol) y en combinar las señales faciales con otros datos, como los movimientos del volante, para obtener una imagen aún más clara de la fatiga del conductor.

Resumen Técnico: Detección de Unidades de Acción Facial Espaciotemporales mediante Autoencoders de Ciclo Gemelo para el Monitoreo del Conductor

Planteamiento del Problema

Los Sistemas de Monitoreo del Conductor (DMS, por sus siglas en inglés) dependen cada vez más de las Unidades de Acción (AUs) faciales para inferir estados del conductor, tales como la somnolencia, la distracción y la carga cognitiva. Sin embargo, la detección de AUs en entornos de conducción naturalista presenta desafíos significativos en comparación con los entornos controlados de laboratorio. Estos desafíos incluyen:

Variabilidad Ambiental: Iluminación que cambia rápidamente (deslumbramiento solar, túneles, infrarrojo nocturno) y oclusiones parciales (gafas de sol, manos, mascarillas).
Condiciones Dinámicas: Variaciones extremas de la pose de la cabeza durante las comprobaciones de hombro.
Características de la Señal: Las AUs relevantes (por ejemplo, AU45, AU43 relacionadas con la fatiga; AU26 relacionada con el bostezo) suelen ser de baja intensidad, breves y sutiles.
Escasez de Datos: Los corpus de datos disponibles públicamente anotados para AUs (por ejemplo, DISFA, BP4D) han sido registrados en condiciones frontales, bien iluminadas y de no conducción, lo que conduce a una generalización deficiente en grabaciones de conducción. Por el contrario, los datos de conducción naturalista densamente etiquetados con AUs son escasos y costosos de recolectar.
Limitaciones Arquitectónicas: Los enfoques de aprendizaje profundo existentes a menudo tratan la apariencia espacial y la dinámica temporal por separado o carecen de mecanismos para utilizar la abundante cantidad de video no etiquetado para la regularización.

Metodología: El Autoencoder de Ciclo Gemelo (TCA)

Los autores proponen el Autoencoder de Ciclo Gemelo (TCA), una arquitectura espaciotemporal diseñada para aprender representaciones robustas de AUs aprovechando tanto el video de conducción etiquetado como el no etiquetado a través de la consistencia de ciclo autosupervisada.

1. Descripción General de la Arquitectura

El TCA consta de dos ramas acopladas que operan a diferentes granularidades:

Autoencoder de Ciclo Espacial (SCA): Opera sobre fotogramas individuales. Utiliza un codificador convolucional (backbone ResNet-18) para mapear una imagen facial a un código latente relevante para la AU ( $z_t^S$ ), descartando explícitamente la información específica de la identidad. Un decodificador reconstruye el fotograma utilizando este código latente y un código de identidad auxiliar. El ciclo espacial se forma perturbando el código latente a lo largo de direcciones de AU aprendidas, re-codificando y comparando contra el objetivo de manipulación. Esto impone una consistencia de ciclo a nivel de imagen para desentrelazar la apariencia de la AU de la identidad.
Autoencoder de Ciclo Temporal (TCAE-T): Opera sobre secuencias de códigos latentes espaciales. Un codificador temporal (GRU Bidireccional o Transformer) mapea la secuencia a una trayectoria latente temporal. Un decodificador temporal reconstruye la secuencia en orden inverso. La discrepancia entre la secuencia reconstruida y la secuencia inversa real forma la pérdida de consistencia de ciclo temporal, imponiendo consistencia hacia adelante y hacia atrás para capturar la dinámica de inicio-ápice-finalización (onset-apex-offset).

2. Acoplamiento y Fusión de Ramas Cruzadas

Las dos ramas se acoplan mediante una pérdida de alineación de latencia de rama cruzada. Esta minimiza la distancia entre el estado oculto del codificador temporal ( $h_t$ ) y el código latente espacial ( $z_t^S$ ) proyectado en un espacio de incrustación compartido mediante un MLP ligero.

Función de Pérdida: La alineación utiliza la distancia de coseno en lugar de la distancia euclidiana al cuadrado, ya que la dirección de la incrustación se considera más significativa para la semántica de la AU que la magnitud, y demostró ser más estable durante el preentrenamiento autosupervisado.
Fusión: Las incrustaciones espaciales y temporales alineadas se combinan utilizando un módulo de atención de múltiples cabezales para producir un descriptor espaciotemporal ( $f_t$ ) para la clasificación de etiquetas múltiples de AU.

3. Estrategia de Entrenamiento

El modelo emplea un proceso de entrenamiento de dos etapas:

Preentrenamiento Autosupervisado: Entrenado en un gran volumen de video de conducción no etiquetado ( $D_U$ ) utilizando únicamente objetivos de consistencia de ciclo ( $L_{rec}^S, L_{cyc}^S, L_{cyc}^T, L_{align}$ ). La pérdida de clasificación ( $L_{cls}$ ) se establece en cero.
Ajuste Fino Supervisado: Entrenado en el pequeño conjunto de datos etiquetados ( $D_L$ ) con todos los términos de pérdida activos, incluyendo la pérdida de clasificación de etiquetas múltiples ponderada de AU.

La pérdida total es una suma ponderada: $L = \lambda_1 L_{rec}^S + \lambda_2 L_{cyc}^S + \lambda_3 L_{cyc}^T + \lambda_4 L_{align} + \lambda_5 L_{cls}$ .

Contribuciones Clave

Arquitectura TCA: Un novedoso marco espaciotemporal que combina un Autoencoder de Ciclo Espacial para la apariencia invariante a la identidad y un Autoencoder de Ciclo Temporal para la consistencia dinámica hacia adelante y hacia atrás.
Alineación de Rama Cruzada: Introducción de una pérdida de alineación de latencia que acopla las representaciones espaciales y temporales, estabilizando la representación fusionada.
Preentrenamiento Autosupervisado: Una estrategia que explota grandes volúmenes de video de conducción no etiquetado para aprender la estructura espaciotemporal antes del ajuste fino con datos etiquetados escasos.
Evaluación Integral: Experimentos extensos en benchmarks estándar (DISFA, BP4D) y un conjunto de datos de simulación de conducción naturalista (que incluye iluminación NIR, gafas de sol y oclusión de manos), incluyendo estudios de ablación y análisis de inferencia en tiempo real en hardware embebido.

Resultados Experimentales

El TCA fue evaluado en DISFA, BP4D y un conjunto de datos de simulador de conducción naturalista (que presenta iluminación NIR, gafas de sol y oclusión de manos).

Rendimiento en Benchmarks: El TCA logró los puntajes F1 medios más altos tanto en DISFA (64.7%) como en BP4D (67.3%), superando a las líneas base basadas en fotogramas (JAA-Net), recurrentes (ConvLSTM-AU), 3D-CNN (I3D) y basadas en grafos (ME-GraphAU). Las ganancias fueron más pronunciadas para las AUs de baja intensidad y transitorias.
Rendimiento en Conducción Naturalista: En el conjunto de datos de conducción, el TCA con preentrenamiento autosupervisado logró un F1 general de 63.1%, superando significativamente al mismo modelo sin preentrenamiento (56.3%) y a otras líneas base. Esto demuestra la eficacia de transferir la estructura espaciotemporal desde datos no etiquetados.
Estudios de Ablación:
- Eliminar la pérdida de ciclo temporal causó la mayor caída de rendimiento (de 63.1% a 57.8%), confirmando su papel como la principal fuente de mejora.
- Eliminar la alineación de rama cruzada resultó en una caída menor pero consistente (a 60.6%).
- Reemplazar el codificador temporal GRU por un Transformer produjo una ligera mejora en el F1 (+0.8%) pero aumentó la latencia.
Rendimiento en Tiempo Real: En una NVIDIA Jetson Xavier NX, el TCA basado en GRU logró 28.4 fps (35.2 ms de latencia), superando el umbral de 10–15 fps requerido para la alerta de somnolencia.
Análisis de Oclusión: El modelo mostró robustez ante oclusiones de la parte inferior de la cara, pero una degradación significativa del rendimiento (caída de 24–27 puntos F1) para las AUs de la parte superior de la cara (AU4, AU6, AU7) bajo oclusión por gafas de sol, confirmando que la región de los ojos se vuelve no observable y el modelo carece de señales compensatorias.

Significado y Reivindicaciones

El artículo afirma que la arquitectura TCA aborda la brecha crítica en el monitoreo del conductor al utilizar eficazmente el video de cabina no etiquetado para aprender representaciones espaciotemporales robustas. Al imponer la consistencia de ciclo tanto en el dominio espacial como en el temporal, el modelo aprende características de AU que son invariantes a la identidad y coherentes en el tiempo, lo cual es particularmente beneficioso para detectar señales de fatiga sutiles y de corta duración en condiciones de conducción desafiantes.

Los autores sostienen que la combinación de preentrenamiento autosupervisado y la arquitectura TCA permite una detección de AU de alto rendimiento incluso con datos de conducción etiquetados limitados. Además, la demostración de rendimiento en tiempo real en hardware embebido (Jetson Xavier NX) respalda la viabilidad práctica de desplegar DMS basados en AU en sistemas ADAS de grado de producción. El trabajo destaca las limitaciones específicas de los sistemas actuales respecto a la oclusión de la parte superior de la cara (gafas de sol), motivando trabajos futuros sobre extensiones conscientes de la oclusión en lugar de simples arreglos basados en la apariencia.