HST-HGN: Heterogeneous Spatial-Temporal Hypergraph Networks with Bidirectional State Space Models for Global Fatigue Assessment

1. Problema y Desafío

El artículo aborda el desafío crítico de detectar la fatiga del conductor a partir de videos sin recortar (untrimmed videos) bajo restricciones computacionales estrictas (entornos edge). Los principales obstáculos identificados son:

• Dependencias temporales de largo alcance: La fatiga es un estado que evoluciona gradualmente y requiere modelar secuencias temporales extensas, algo que las redes RNN/LSTM tradicionales no logran bien debido al olvido a largo plazo.
• Limitaciones espaciales: Los métodos basados en CNN son computacionalmente pesados y sensibles a la postura de la cabeza. Los métodos basados en Grafos (GCN) estándar solo modelan relaciones de pares (bordes), lo que impide capturar sinergias de alto orden en las deformaciones musculares faciales (ej. la coordinación compleja entre ojos y boca durante un bostezo).
• Ambigüedad temporal: Es difícil distinguir acciones transitorias ambiguas como "bostezar" frente a "hablar" o "parpadear", especialmente sin un contexto temporal bidireccional completo.
• Eficiencia: Los modelos basados en Transformers, aunque buenos en contexto global, tienen una complejidad cuadrática ($O(T^2)$), lo que los hace inviables para dispositivos edge con recursos limitados.

2. Metodología: HST-HGN

Los autores proponen HST-HGN, una arquitectura novedosa que integra grafos hiperbólicos espaciales heterogéneos con Modelos de Espacio de Estados (SSM) bidireccionales. El flujo se divide en tres etapas principales:

A. Muestreo Espacial Global Escaso (Global Sparse Sampling)

En lugar de usar ventanas deslizantes densas, el método extrae una secuencia fija de $T$ frames (ej. 128) muestreando uniformemente el video completo. Esto proporciona un campo receptivo temporal global sin redundancia espacial.

B. Construcción de Características Heterogéneas

Se crea una representación de doble flujo:

1. Flujo Geométrico: Se extraen 68 puntos clave faciales (landmarks) y se aplica un mecanismo de alineación canónica 3D. Esto elimina las variaciones de postura rígida de la cabeza, dejando solo las deformaciones musculares no rígidas puras.
2. Flujo de Textura: Se extraen parches de regiones de interés (ROI) de los ojos y la boca, procesados por un Micro-CNN ligero. Estos se tratan como "super-nodos" de textura.

C. Modelado de Hipergrafo Espacial Dinámico

Se construye un hipergrafo heterogéneo ($G = (V, E, W)$) con dos tipos de nodos (geométricos y de textura):

• Hiperaristas Geo-Geo: Conectan nodos geométricos basados en vecinos más cercanos para capturar estructuras locales.
• Hiperaristas Tex-Geo (Topología de Estrella): Conectan los super-nodos de textura con subconjuntos específicos de nodos geométricos. Esto permite fusionar la semántica visual (ej. ojo cerrado) con la topología global sin explosión dimensional.
• Se utiliza una capa de convolución de hipergrafos y un Agrupamiento por Atención Adaptativa para condensar las características de los nodos en una representación por frame.

D. Modelado de Evolución Temporal (Bi-Mamba)

Para capturar las dependencias temporales con complejidad lineal ($O(T)$):

• Se reemplaza la atención auto-regresiva (Transformers) o las RNN por Bi-Mamba (Modelos de Espacio de Estados Bidireccionales).
• Utiliza un mecanismo de escaneo selectivo que filtra dinámicamente el ruido (ej. conducción normal) y retiene información crítica (inicio de un bostezo).
• La naturaleza bidireccional (escaneo hacia adelante y hacia atrás) permite entender el contexto completo de una acción transitoria, distinguiendo mejor entre hablar y bostezar.
• Finalmente, se aplica un Max Pooling Temporal Global para extraer el vector más discriminativo antes de la clasificación.

3. Contribuciones Clave

1. Arquitectura HST-HGN: Primer marco que integra hipergrafos heterogéneos con SSMs bidireccionales (Bi-Mamba) para modelado de video de largo alcance con complejidad lineal.
2. Topología de Super-nodos Jerárquica: Diseño novedoso con alineación canónica 3D que desacopla la postura y facilita la fusión de alto orden entre texturas locales y estructuras geométricas globales.
3. Interpretabilidad y Localización Temporal: El marco permite una localización temporal débilmente supervisada de eventos de fatiga, mitigando significativamente la ambigüedad entre acciones (hablar vs. bostezar).
4. Optimización de Pérdida: Uso combinado de Focal Loss (para desequilibrio de clases) y Center Loss (para compactación intra-clase), mejorando la separabilidad de características en el espacio latente.

4. Resultados y Evaluación

Los experimentos se realizaron en múltiples conjuntos de datos, siendo el principal YawDD, junto con UTA-RLDD, FatigueView y DMD.

• Rendimiento (Precisión): HST-HGN alcanzó un 98.57% de precisión y un 98.28% de Macro F1 en YawDD, superando a los métodos State-of-the-Art (SOTA) como LiteFat (97.14%), VideoMAE y modelos basados en GCN.
• Generalización: El modelo mantuvo un rendimiento robusto en pruebas de generalización cruzada entre dominios (otros datasets), demostrando alta transferibilidad.
• Eficiencia Computacional:
  • Parámetros: Solo 0.30 M (300k), significativamente menor que competidores como VideoMAE (64.98 M).
  • Cálculo (FLOPs): 2.90 G FLOPs por clip, comparado con >400 G de modelos pesados.
  • Latencia: Logra un throughput de 26.45 clips/segundo en una GPU RTX 3060, cumpliendo con los requisitos de tiempo real (>25 FPS) para despliegue en vehículos.

5. Significado e Impacto

El trabajo es significativo porque resuelve la dicotomía tradicional entre precisión y eficiencia en la detección de fatiga:

• Viabilidad en Edge: Demuestra que es posible lograr un rendimiento SOTA en dispositivos con recursos limitados (in-cabin edge devices) sin depender de arquitecturas pesadas como Transformers.
• Modelado de Alto Orden: Introduce el uso de hipergrafos para capturar interacciones musculares complejas que los grafos de pares tradicionales ignoran, mejorando la detección de micro-expresiones sutiles.
• Robustez Temporal: La adopción de Bi-Mamba ofrece una alternativa superior a las RNN y Transformers para secuencias largas, permitiendo una comprensión completa del ciclo de vida fisiológico de la fatiga.

En resumen, HST-HGN establece un nuevo estándar para la detección de fatiga del conductor, ofreciendo un equilibrio óptimo entre poder discriminativo y eficiencia computacional, lo que lo hace ideal para aplicaciones de seguridad vial en tiempo real.