Leakage-Resistant Evaluation of Calibrated Multimodal Driver Drowsiness Detection Across Drivers and Routes

Imagina que estás intentando enseñarle a un robot a detectar cuándo un humano está a punto de quedarse dormido al volante. Le das al robot una cámara, un reloj inteligente y un sensor en el tablero para vigilar al conductor. Pero aquí está la parte difícil: si no tienes cuidado, el robot podría recurrir a los atajos. Podría aprender a reconocer el rostro específico del conductor o la carretera específica por la que circula, en lugar de aprender realmente qué es "estar somnoliento". Es como estudiar para un examen de matemáticas memorizando las respuestas de las preguntas de práctica en lugar de aprender las fórmulas. Si las preguntas del examen cambian aunque sea un poco, el robot falla. Este es el problema de la "filtración de datos" (data leakage) en la inteligencia artificial.

Para construir un sistema verdaderamente seguro, necesitamos asegurarnos de que el robot aprenda las señales universales de la somnolencia —como párpados pesados, reacciones lentas o cambios en la frecuencia cardíaca— para que pueda funcionar con cualquier conductor, en cualquier carretera, incluso en aquellas que nunca ha visto antes. También debemos asegurarnos de que el robot no solo adivine si alguien está "despierto" o "dormido", sino que pueda decirnos qué tan seguro está de ello. Si el robot tiene un 99% de certeza de que el conductor está dormido, queremos poder confiar en ese número. Este artículo profundiza en estas cuestiones, actuando como un árbitro estricto para comprobar si las afirmaciones anteriores sobre los detectores de conducción con sueño eran realmente justas o si solo eran golpes de suerte basados en el uso de atajos.

---

La Gran Auditoría del Detective de la Somnolencia

En este estudio, un equipo de investigadores decidió jugar el papel de "detectives de filtraciones". Tomaron dos colecciones masivas de datos —una con 225,000 observaciones de 15 conductores en autopistas, terrenos irregulares y calles de la ciudad, y otra con más de 87,000 lecturas de conductancia cutánea de 20 personas— y las sometieron a una prueba riguroosa, sin permitir atajos. Su objetivo era ver si los mejores modelos de estudios previos podían seguir haciendo su trabajo cuando no se les permitía echar un vistazo a las respuestas o memorizar a los conductores específicos.

La Limpieza de los "Atajos"
Primero, los investigadores limpiaron los datos. Se dieron cuenta de que algunas columnas de datos eran como darle la clave de respuestas al detective. Por ejemplo, si los datos incluían una columna que decía literalmente "Ocurrió un frenado repentino", la computadora podría simplemente adivinar "Somnolento" cada vez que hubo un frenado, sin entender realmente el estado del conductor. También eliminaron cualquier columna que fuera simplemente otra forma de escribir la etiqueta de "somnoliento". Una vez que eliminaron estos "atajos", se quedaron con las señales puras y honestas: frecuencia cardíaca, presión del agarre, movimiento de los pies y datos del vehículo.

Las Cuatro Formas de Probar
Para ver si los modelos eran realmente inteligentes o solo memorizadores, el equipo utilizó cuatro estrategias de prueba diferentes, como cambiar las reglas de un juego para ver quién conoce realmente las reglas:

1. División de Filas Aleatorias: Mezclar todos los datos como un mazo de cartas. Este es el "modo fácil" donde la computadora ve fragmentos del mismo conductor y la misma carretera tanto en su entrenamiento como en su prueba.
2. Bloqueo por Tiempo: Asegurarse de que la computadora solo aprenda del pasado para predecir el futuro, como ver una película e intentar adivinar el final sin haber visto los últimos 20 minutos.
3. Exclusión de Conductores: Esta es la prueba del "nuevo conductor". La computadora aprende de 10 conductores y es probada con 5 que nunca ha conocido.
4. Exclusión de Ruta: La prueba definitiva del "nuevo mundo". La computadora aprende en autopistas y caminos accidentados, pero es probada en el tráfico denso de una ciudad que nunca ha visto.

El Ganador: El Cerebro "Todo en Uno"
Los investigadores probaron tres tipos diferentes de cerebros de IA: un pensador lineal simple (Regresión Logística), un aprendiz de árboles complejo llamado Pooled HGB (Gradient Boosting basado en histogramas), y un equipo de especialistas que votan sobre la respuesta (CQMF, o Fusión de Modalidades con Calibración y Peso de Calidad).

El sorprendente ganador fue el Pooled HGB. Piensa en este modelo como un único detective súper inteligente que observa todo a la vez —frecuencia cardíaca, movimiento de los pies y velocidad del auto— simultáneamente. No intentó separar las pistas en diferentes categorías; simplemente dejó que los datos hablaran entre sí.

• Cuando fue probado con nuevos conductores (Exclusión de Conductores), este modelo fue increíblemente preciso. Obtuvo una puntuación de 0.9990 (de 1.0) para distinguir entre estar despierto o dormido, y una puntuación de 0.9819 para encontrar los momentos raros de somnolencia.
• También fue muy honesto sobre su confianza. Su "puntuación de Brier" (una medida de qué tan bien su confianza coincide con la realidad) fue un minúsculo 0.00355, lo que significa que cuando decía "estoy 90% seguro", casi siempre tenía razón.

El "Equipo de Especialistas" Falló
Los investigadores esperaban que el "Equipo de Especialistas" (CQMF) fuera mejor. La idea era: que una IA vigile el corazón, otra las manos y una tercera el auto, y luego que voten. Pero este enfoque en realidad funcionó peor. Cuando el equipo intentó combinar sus opiniones separadas, perdieron las conexiones sutiles entre las señales. Resulta que un solo detective que ve el panorama completo es mejor que un comité de especialistas que no pueden comunicarse entre sí. El cerebro "Todo en Uno" capturó el hecho de que un patrón específico de frecuencia cardíaca puede significar algo diferente dependiendo de lo que esté haciendo el auto, algo que los especialistas separados pasaron por alto.

La "Penalización por Nueva Ruta"
Aquí es donde las cosas son un poco menos perfectas. Cuando los investigadores probaron el modelo en un tipo de carretera completamente nuevo (Exclusión de Ruta), el rendimiento disminuyó.

• En autopistas, el modelo seguía siendo excelente.
• Pero en rutas urbanas densas, la capacidad de detectar conductores somnolientos cayó. La "sensibilidad" (cuántos conductores somnolientos detectó realmente) descendió a 0.7216.
  Esto revela una "penalización de transferencia de ruta". El modelo aprendió que los conductores somnolientos en las autopistas lucen de cierta manera, pero la conducción en la ciudad es caótica y diferente. Si tomas un modelo entrenado solo en autopistas y lo sueltas en una ciudad concurrida, podría perder de vista a los conductores somnolientos.

La Prueba de Estrés del "Sensor Roto"
La vida real es desordenada. Los sensores se rompen, los cables se sueltan y los datos se pierden. Los investigadores simularon esto eliminando aleatoriamente el 10%, 20%, 30% e incluso el 50% de los datos para ver qué sucedía.

• El modelo "Todo en Uno" (Pooled HGB) resistió sorprendentemente bien. Incluso con el 50% de los datos faltantes, logró una puntuación decente de 0.6630.
• El "Equipo de Especialistas" (CQMF) se desmoronó mucho más rápido, cayendo a 0.5260 con el 50% de los datos faltantes.
  Esto sugiere que tener un modelo robusto que pueda manejar piezas faltantes es mejor que depender de un equipo de especialistas que podrían quedar en silencio si su sensor específico falla.

El Misterio de la Conductancia Cutánea
El equipo también analizó un segundo conjunto de datos relacionado con la conductancia cutánea (qué tanto suda la piel cuando estás estresado o somnoliento). Incluso después de eliminar los "atajos", el modelo siguió funcionando de manera asombrosa, con una puntuación de 0.9994. Sin embargo, los investigadores son cautelosos. Observaron que, debido a que no tenían los registros originales de video o audio, no podían estar 100% seguros de que las etiquetas de "somnoliento" fueran perfectamente precisas en primer lugar. Es como encontrar una puntuación perfecta en un examen, pero no saber si el profesor calificó de manera justa. Por lo tanto, aunque los números se ven excelentes, no pueden afirmar que esto demuestre que el sistema funciona en el mundo real todavía.

La Conclusión

Este artículo no solo nos dice qué modelo de IA es el "mejor". Nos enseña cómo dejar de depender de los atajos. La principal conclusión es que no puedes confiar en un sistema de detección de somnolencia del conductor a menos que lo pruebes con conductores y carreteras que nunca ha visto antes.

El estudio encontró que un modelo único y poderoso que observa todos los datos juntos (Pooled HGB) es el más confiable. Es mejor que intentar combinar modelos separados, y es lo suficientemente robusto como para manejar datos faltantes. Sin embargo, el estudio también nos advierte que incluso el mejor modelo no es perfecto. Si mueves un sistema de una autopista a una ciudad concurrida, o si los sensores empiezan a fallar, el sistema podría pasar por alto el peligro.

Los autores concluyen que, si bien tenemos una herramienta muy fuerte para detectar la somnolencia en este momento, aún no estamos listos para ponerla en cada auto. Necesitamos más pruebas en el mundo real, mejores datos de sensores brutos y un sistema que sepa cuándo está confundido y deba pedir ayuda. Hasta entonces, esta investigación sirve como una crucial "auditoría de filtración", asegurando que cuando afirmamos que un sistema es seguro, no nos estamos engañando a nosotros mismos con un golpe de suerte.