YawDD+: Frame-level Annotations for Accurate Yawn Prediction

Resumen Técnico: YAWDD+ – Anotaciones a Nivel de Cuadro para el Reconocimiento Preciso de Bostezos en Plataformas de Borde

Enunciado del Problema
La fatiga del conductor es un problema crítico de seguridad, responsable de aproximadamente el 24% de los accidentes de tráfico, siendo el bostezo un indicador conductual temprano clave. Aunque conjuntos de datos existentes como YawDD proporcionan anotaciones basadas en video, adolecen de ruido sistemático debido a un etiquetado temporal grueso. En estos conjuntos de datos, clips de video completos se etiquetan como "bostezando" incluso cuando la mayoría de los cuadros representan comportamientos no relacionados con el bostezo (por ejemplo, conducir normalmente, hablar o sonreír). Esta desalineación introduce ruido que dificulta el entrenamiento de modelos robustos de aprendizaje automático. Además, las soluciones actuales más avanzadas a menudo dependen de infraestructura en la nube o de arquitecturas pesadas de transformadores de video que son computacionalmente costosas e imprácticas para la implementación en tiempo real y en el dispositivo en vehículos donde la conectividad es limitada y la privacidad de los datos es primordial.

Metodología
Para abordar el ruido en las etiquetas y permitir una implementación eficiente en el borde, los autores proponen YawDD+, un conjunto de datos refinado que presenta anotaciones precisas a nivel de cuadro derivadas del YawDD original. El núcleo de su enfoque es una pipeline de etiquetado semiautomática que incorpora la verificación humana en el bucle, estructurada en tres etapas:

1. Clasificación del Estado de la Boca: Una Red Neuronal Convolucional (CNN) ligera con aproximadamente 421.000 parámetros se entrena para clasificar los estados de la boca como "abierta" o "cerrada". Este modelo logra una precisión del 96% en una tarea de clasificación binaria, utilizando aumento de datos para superar la escasez de conjuntos de datos existentes sobre el estado de la boca.
2. Detección de Rostro y Extracción de Puntos de Referencia: La pipeline emplea YOLOv8 para una detección robusta del rostro del conductor en diversas condiciones de iluminación y posturas. Para garantizar una extracción precisa de la región de la boca, el sistema integra MediaPipe Face Mesh para generar 468 puntos de referencia faciales en 3D. Este enfoque supera la inestabilidad temporal de los detectores Dlib en entornos vehiculares. El sistema selecciona automáticamente el rostro del conductor (el cuadro delimitador más grande) y extrae la región de la boca utilizando puntos de referencia específicos de los labios con relleno configurable.
3. Anotación Automatizada con Verificación Humana: La CNN entrenada clasifica las regiones de la boca recortadas. Las predicciones con alta confianza (>95%) se aceptan automáticamente. Los casos de baja confianza se enrutan a una interfaz gráfica de usuario (GUI) personalizada para verificación humana, permitiendo la corrección de falsos positivos y negativos en lotes de 64 imágenes. Este proceso reduce el esfuerzo manual al automatizar aproximadamente el 80% del etiquetado, mientras que el esfuerzo humano se centra en casos límite desafiantes.

El conjunto de datos resultante YawDD+ contiene 124.201 cuadros anotados como "bostezando" y 222.837 cuadros "no bostezando", sumando un total de 287.225 cuadros.

Contribuciones Clave

• Conjunto de Datos YawDD+: La creación de un conjunto de datos de alta calidad con anotaciones a nivel de cuadro que elimina el ruido sistemático presente en las anotaciones a nivel de video, distinguiendo instancias específicas de bostezos de otros movimientos de la boca.
• Pipeline Semiautomática: Un marco de etiquetado escalable con humanos en el bucle que reduce significativamente el tiempo de anotación manteniendo una alta calidad de los datos.
• Entrenamiento e Inferencia Optimizados para el Borde: La demostración del entrenamiento y despliegue de modelos (MNasNet para clasificación y YOLOv11 para detección) directamente en dispositivos de borde (NVIDIA Jetson NANO y AGX) sin depender de computación del lado del servidor.

Resultados Experimentales
Los autores evaluaron MNasNet y YOLOv11 en el conjunto de datos YawDD+ utilizando plataformas NVIDIA Jetson:

• Mejoras en Precisión: En comparación con la supervisión a nivel de video, el entrenamiento en YawDD+ mejoró la precisión de los cuadros hasta en un 6% y la Precisión Media Promedio (mAP) en un 5%.
• Métricas de Rendimiento:
  • MNasNet (Clasificación): Logró una precisión del 99,34% y una puntuación F1 del 98,30%.
  • YOLOv11 (Detección): Logró una mAP50–95 del 95,69% y una puntuación F1 del 98,67%.
• Eficiencia:
  • Latencia de Inferencia: Los modelos demostraron capacidades en tiempo real con tiempos de inferencia tan bajos como 12,03 ms (clasificación) y 24,33 ms (detección) en Jetson AGX, traduciéndose en hasta 115 FPS.
  • Tiempo de Entrenamiento: El entrenamiento en el dispositivo fue viable, con MNasNet completando una época en solo 8,69 minutos en Jetson AGX.
• Comparación: Estos resultados superan estudios anteriores basados en cuadros (que oscilaban entre un 93,31% y un 94,5% de precisión) y evitan los altos costos de inferencia y la falta de métricas de implementación en el borde asociadas con arquitecturas de transformadores de video basadas en video (por ejemplo, 2s-STGCN, DLS).

Significado y Afirmaciones
El artículo afirma que la calidad de datos mejorada proporcionada por YawDD+ es el principal impulsor del rendimiento superior de las arquitecturas ligeras. Al eliminar el ruido en las etiquetas, los autores demuestran que los transformadores de video complejos y pesados en recursos no son estrictamente necesarios para la detección de bostezos de alta precisión. En cambio, las anotaciones precisas a nivel de cuadro permiten que modelos eficientes y ligeros logren una precisión de vanguardia mientras se ajustan a las limitaciones de cómputo y memoria del hardware de borde comercial.

Este trabajo valida la viabilidad de sistemas de monitoreo de fatiga del conductor en el dispositivo que operan en tiempo real sin dependencia de la nube, abordando así requisitos críticos de privacidad de datos, latencia y fiabilidad en aplicaciones de seguridad automotriz. Los autores sugieren que la pipeline semiautomática puede migrarse a otras tareas de visión para reducir la carga de etiquetado manual, y que el conjunto de datos puede apoyar el análisis de fatiga multimodal y otros dominios que requieren un análisis detallado del comportamiento facial.