Investigating Driver-Specific Variability in Vision-Based Driver Fatigue Monitoring: A Subgroup Evaluation Design Tested in a Controlled Simulation

Resumen Técnico: Investigación de la Variabilidad Específica del Conductor en el Monitoreo de Fatiga Basado en Visión

Planteamiento del Problema
Los sistemas de monitoreo de fatiga del conductor basados en visión suelen validarse en conjuntos de datos agrupados donde los conjuntos de entrenamiento y prueba contienen conductores superpuestos o similares. Este enfoque produce una única métrica de precisión agregada que oculta disparidades significativas de rendimiento entre diferentes subgrupos de conductores. Los conductores varían en geometría ocular, uso de anteojos (anteojos graduados vs. gafas de sol), pose de la cabeza y condiciones de iluminación al conducir. Una regla que funciona bien en promedio puede fallar para grupos específicos (por ejemplo, conductores de ojos estrechos o aquellos que usan gafas de sol). La literatura existente a menudo trata estos factores como secundarios o agrega los resultados por algoritmo en lugar de hacerlo por características del conductor, dejando sin verificar la generalizabilidad de los sistemas de detección de fatiga en poblaciones diversas.

Metodología
El artículo propone y pone a prueba un diseño de evaluación por subgrupo y con sujetos disjuntos utilizando una simulación generativa controlada en lugar de datos del mundo real. El estudio no estima la precisión de los sistemas en conductores reales, sino que busca exponer mecanismos y definir protocolos de análisis para futuros estudios con datos reales.

• Diseño de la Simulación: Un modelo generativo simula 240 conductores por réplica (30 réplicas en total), cada uno con niveles específicos de factores:
  • Geometría Ocular: Definida por niveles de la Relación de Aspecto del Ojo (EAR) con el ojo abierto (estrecho, medio, ancho).
  • Anteojos: Sin anteojos, con anteojos graduados o con gafas de sol (modelados como una "compresión" de la señal EAR hacia una priori genérica).
  • Pose de la Cabeza: Frontal, moderada o grande (afecta las tasas de ruido y de pérdida de fotogramas).
  • Iluminación: Normal, baja o nocturna (afecta las tasas de ruido y de pérdida de fotogramas).
  • Fisiología: Tasas de parpadeo simuladas y estados de somnolencia (parpadeos lentos, caída parcial de los párpados) generan trazas sintéticas de EAR a 15 fps.
• Clasificadores: Se comparan dos reglas de detección:
  • C0 (Umbral Fijo): Un umbral universal ($m < 0.20$) para todos los conductores.
  • C1 (Calibrado por Conductor): Estima el nivel específico de ojo abierto ($\hat{E}_{open}$) de un conductor a partir de 60 segundos de conducción alerta y establece un umbral dinámico ($m < 0.6 \cdot \hat{E}_{open}$).
• Protocolo de Evaluación:
  • Divisiones de Sujetos Disjuntos: 50% de los conductores para entrenamiento (calibración), 50% para prueba. Ningún conductor aparece en ambos conjuntos.
  • Métricas: La precisión, la sensibilidad (Recall) y la Tasa de Falsos Positivos (FPR) se calculan por conductor y se agregan por subgrupo.
  • Verificaciones Estadísticas: Las pruebas de Kruskal–Wallis evalúan las diferencias entre subgrupos; las pruebas de Wilcoxon de rangos con signo comparan C0 vs. C1.
  • Robustez: Una comprobación de modelo nulo ($s=0$, sin efectos de factores) y un barrido de tamaño de efecto ($s=0$ a $2$) validan la sensibilidad del análisis. Una reimplementación independiente confirma los resultados.

Contribuciones Clave

1. Diseño de Evaluación: Un marco reutilizable que cuenta con cuatro factores de subgrupo anotados, divisiones de sujetos disjuntos, métricas por subgrupo y una comprobación de modelo nulo.
2. Simulación Generativa: Una simulación documentada que aísla factores específicos de variabilidad del conductor para probar mecanismos de detección sin el ruido de la recolección de datos del mundo real.
3. Hallazgos Cuantitativos sobre la Variabilidad:
   • Geometría Ocular: Impacta significativamente las reglas de umbral fijo (C0), causando altos falsos positivos para conductores de ojos estrechos y baja sensibilidad para conductores de ojos anchos. La calibración (C1) elimina en gran medida este desequilibrio.
   • Anteojos: Las gafas de sol degradan severamente el rendimiento de las reglas calibradas (C1). La compresión de la señal por las gafas de sol hace que el umbral calibrado caiga por debajo de la señal de ojo cerrado real, lo que provoca detecciones omitidas. Esto se identifica como un problema de parámetro de diseño (específicamente la fracción de cierre $\alpha$) en lugar de un fallo inherente de la calibración.
   • Iluminación: Las condiciones nocturnas aumentan los falsos positivos para las reglas fijas (C0), pero son mejor manejadas por las reglas calibradas (C1), aunque el mecanismo involucra interacciones de ruido con el modelo.
   • Pose de la Cabeza: Tuvo un efecto mínimo en las magnitudes asumidas en la simulación.
4. Guía de Tamaño de Muestra: El análisis de potencia indica que detectar efectos grandes (ej. impacto de los anteojos en C1) requiere ~8 conductores por subgrupo, efectos moderados ~16–20, y efectos pequeños ~30–40. Los conjuntos de datos públicos actuales (14–60 sujetos) suelen ser insuficientes para una inferencia de subgrupo robusta.
5. Lista de Verificación de Reporte y Herramientas: Un tablero (Streamlit/Plotly) y una lista de verificación para el reporte de subgrupos, enfatizando el bootstrapping a nivel de sujeto y la separación de los datos de calibración.

Resultados

• Desempeño General: En la simulación, la regla fija (C0) logró una precisión media mayor (0.81) que la regla calibrada (C1, 0.78), principalmente porque C1 tuvo dificultades con las gafas de sol.
• Disparidades de Subgrupo:
  • C0: Los conductores de ojos estrechos sufrieron una alta FPR (0.36) en comparación con los de ojos medios (0.07) y anchos (0.04).
  • C1: Los conductores con gafas de sol experimentaron una caída drástica en la precisión (0.62) y la sensibilidad (0.24) en comparación con aquellos sin anteojos (0.80).
• Eficacia de la Calibración: La calibración redujo las disparidades causadas por la geometría ocular y la iluminación nocturna, pero introdujo una nueva vulnerabilidad a las gafas de sol. La compresión de la señal por las gafas de sol hace que el umbral calibrado caiga por debajo de la señal de cierre real, lo que provoca detecciones omitidas. Esto se identifica como un problema de parámetro de diseño (específicamente la fracción de cierre $\alpha$) en lugar de un fallo inherente de la calibración.
• Independencia: La reimplementación independiente confirmó los patrones cualitativos, con diferencias cuantitativas dentro de 0.05, validando que los hallazgos provienen de la estructura del modelo.

Significancia y Reivindicaciones
El artículo establece explícitamente que sus hallazgos son condicionales a los supuestos de la simulación y no constituyen evidencia respecto a conductores reales. La significancia radica en:

• Definición de Hipótesis: Establecer hipótesis comprobables sobre cómo factores específicos del conductor (geometría, anteojos, pose, luz) afectan la detección de fatiga.
• Especificación de Protocolos: Proporcionar una lista de verificación de reporte rigurosa y requisitos de tamaño de muestra para futuros estudios de datos reales para asegurar que puedan detectar disparidades de subgrupo.
• Guía de Diseño de Sistemas: Sugerir que los sistemas prácticos deberían emplear la calibración por conductor combinada con una compuerta de calidad de señal (para manejar el problema de las gafas de sol) y reportar el desempeño por subgrupo en lugar de una única métrica agrupada.
• Evaluación de Recursos: Destacar que los conjuntos de datos públicos existentes suelen ser demasiado pequeños o carecen de las anotaciones necesarias (ej. tono de piel estandarizado o pose de la cabeza) para soportar un análisis de subgrupo robusto sin agrupar múltiples conjuntos de datos.

El autor concluye que, si bien la simulación muestra que la calibración puede desplazar los tipos de error (corrigiendo problemas de geometría pero exacerbando los de anteojos), el valor último de estos hallazgos debe ser determinado por un estudio de datos reales planificado utilizando el diseño de evaluación propuesto.