ALERT Open Dataset and Input-Size-Agnostic Vision Transformer for Driver Activity Recognition using IR-UWB

Este trabajo presenta el conjunto de datos ALERT y el modelo ISA-ViT, un transformador de visión agnóstico al tamaño de entrada, para mejorar el reconocimiento de actividades del conductor mediante radar IR-UWB, abordando la falta de datos a gran escala y las limitaciones de adaptación de modelos existentes.

Lo esencial

¡Hola! Imagina que el coche del futuro no solo sabe conducir, sino que también tiene un "superpoder" para saber si tú, el conductor, estás distraído. Pero para tener ese superpoder, primero necesita aprender a ver lo que haces sin usar cámaras (que invaden tu privacidad) ni micrófonos (que te escuchan).

Este paper presenta una solución genial llamada ALERT, que es como un "kit de entrenamiento" completo para enseñar a los coches a detectar cuando un conductor está jugando con el móvil, fumando, bebiendo o incluso durmiendo al volante.

Aquí te lo explico como si fuera una historia, usando analogías sencillas:

1. El Problema: ¿Cómo "ver" sin cámaras?

Antes, para saber si un conductor estaba distraído, usaban cámaras (como los ojos del coche) o micrófonos. Pero a la gente no le gusta que lo graben o escuchen por privacidad. Además, las cámaras no funcionan bien de noche.

La solución es usar un radar de ondas de radio (IR-UWB).

• La analogía: Imagina que el radar es como un sonar de un submarino o como un murciélago usando ecolocalización. En lugar de luz, envía ondas de radio invisibles que rebotan en tu cuerpo. Si te mueves, el eco cambia.
• Ventaja: No te ve, no te graba, funciona de noche y no le importan las luces o la oscuridad. Es como tener "superpoderes" para ver a través de la ropa y la oscuridad, pero solo viendo tu movimiento, no tu cara.

2. El Primer Obstáculo: La falta de "libros de texto"

Para que una inteligencia artificial aprenda, necesita miles de ejemplos. El problema es que nadie tenía un "libro de texto" (un conjunto de datos) grande y real sobre conductores distraídos usando este tipo de radar en la vida real. La mayoría de los estudios anteriores eran en simuladores (como un videojuego), y los coches reales vibran y tienen ruidos que los simuladores no capturan.

• La solución (ALERT): Los autores crearon el conjunto de datos ALERT.
• La analogía: Imagina que antes solo tenías recetas de cocina hechas en una cocina de juguete. Ahora, han grabado a 9 personas reales conduciendo de verdad por la ciudad y por el campus, haciendo cosas como fumar, beber, mirar el móvil o controlar el panel. Han recogido más de 10,000 "instantáneas" de radar de estas actividades. Es como tener una biblioteca gigante de "cómo se mueve un conductor distraído en la vida real".

3. El Segundo Obstáculo: El "cuelle de botella" del modelo

Tenían los datos, pero el modelo de inteligencia artificial más potente que existe (llamado Vision Transformer o ViT) estaba diseñado para ver fotos cuadradas (como las que sacas con tu móvil). Los datos del radar, en cambio, son como rectángulos alargados y extraños (no son cuadrados).

• El problema: Si intentas forzar una foto rectangular a que quepa en un marco cuadrado, la estiras o la aplastas.
  • La analogía: Imagina que tienes una foto de un gato estirado (rectangular) y quieres ponerla en un marco cuadrado. Si la estiras para que quepa, el gato se ve deformado, como si tuviera las patas cortas o la cola gigante. El modelo de IA se confunde porque el gato ya no parece un gato.
• La solución (ISA-ViT): Crearon un nuevo modelo llamado ISA-ViT.
  • La analogía: En lugar de estirar la foto del gato, ISA-ViT es como un marco inteligente que se adapta. Si la foto es larga, el marco se hace largo; si es corta, se hace corto. Pero lo más importante: no aplasta al gato. El modelo aprende a mirar la foto tal como es, manteniendo todos los detalles importantes (como la velocidad de tu mano o la posición de tu cabeza) sin deformarlos.

4. El Secreto Final: Ver con "dos ojos"

El radar no solo te dice dónde estás (distancia), sino también cómo te mueves (velocidad).

• La analogía: Imagina que tienes dos ojos. Un ojo ve la forma de las cosas (distancia) y el otro ve el movimiento (velocidad).
  • Si solo usas el ojo de la distancia, podrías confundirte: ¿Estás bebiendo agua o fumando? Ambos movimientos son parecidos en distancia.
  • Si usas el ojo de la velocidad, ves que el vaso se mueve lento y el cigarrillo rápido.
• La fusión: El modelo ISA-ViT combina la información de ambos "ojos" (dominio de distancia y dominio de frecuencia). Al unirlos, el coche entiende mucho mejor lo que haces. Es como si tu cerebro combinara lo que ves con lo que sientes para tomar una decisión más rápida y precisa.

¿Qué lograron?

Gracias a este sistema (el dataset ALERT + el modelo ISA-ViT):

1. Precisión: El sistema acierta en el 76% de las actividades específicas (saber si estás fumando o bebiendo).
2. Seguridad: Si solo preguntamos "¿Está el conductor distraído o conduciendo bien?", el sistema acierta en un 97.35%. ¡Casi perfecto!
3. Privacidad: Todo esto se hace sin cámaras, protegiendo tu intimidad.

En resumen

Los autores crearon un entrenador de IA (ISA-ViT) que aprende a leer los "ecos" de un radar especial, usando una biblioteca de datos real (ALERT) que ellos mismos grabaron. En lugar de forzar los datos a encajar en un molde cuadrado (como hacían antes), crearon un molde flexible que no pierde información.

El resultado es un sistema que puede vigilar si estás distraído al volante de forma segura, privada y muy precisa, ayudando a evitar accidentes en el futuro. ¡Es como darle al coche un sexto sentido para cuidarte!

Resumen técnico

Resumen Técnico: ALERT y ISA-ViT para Reconocimiento de Actividad del Conductor

1. Problema y Contexto

La conducción distraída es una causa principal de accidentes mortales a nivel mundial. Aunque existen métodos para el Reconocimiento de Actividad del Conductor (DAR, por sus siglas en inglés) utilizando visión por cámara, señales acústicas o WiFi, estos presentan limitaciones significativas: problemas de privacidad, sensibilidad a la iluminación/ruido y riesgo de interferencias electromagnéticas.

El radar de Ultra Banda Ancha de Radio de Impulso (IR-UWB) ofrece ventajas superiores como resistencia a interferencias, bajo consumo y privacidad inherente (no captura imágenes ni audio). Sin embargo, su adopción en DAR enfrenta dos barreras críticas:

1. Falta de conjuntos de datos (datasets) a gran escala: No existen datasets abiertos que capturen actividades de conducción distraída en entornos de conducción real, ya que la mayoría se basa en simulaciones que no reflejan vibraciones, condiciones de la carretera ni la realidad física del vehículo.
2. Incompatibilidad de modelos: Los modelos de vanguardia, como los Transformadores de Visión (ViT), están diseñados para imágenes fijas (ej. 224x224). Aplicarlos directamente a datos de radar UWB (que tienen dimensiones variables y no cuadradas) requiere redimensionamiento (resizing) que distorsiona información crítica (como el desplazamiento Doppler y la fase) o requiere manipular los vectores de posición preentrenados (PEV), lo que degrada el rendimiento.

2. Metodología Propuesta

Los autores abordan estos desafíos mediante dos contribuciones principales: un nuevo dataset y una nueva arquitectura de red neuronal.

A. Dataset ALERT (Open Dataset)

• Descripción: Es el primer dataset abierto de radar UWB capturado en condiciones de conducción real.
• Datos: Contiene 10,220 muestras (de 5 segundos cada una) de 7 actividades: relajación (autopilot), conducción normal, cabeceo (somnolencia), fumar, beber, control del panel y uso de teléfono.
• Entorno: Se recolectó en dos rutas reales (urbana y campus) con diferentes superficies (asfalto, adoquines, baches) y condiciones de tráfico, montando el sensor en la rejilla de ventilación del vehículo para mantener una geometría estable.
• Representación: Proporciona datos en dos dominios: Tiempo-Rango (espacial) y Tiempo-Frecuencia (Doppler), permitiendo análisis flexibles.

B. ISA-ViT (Input-Size-Agnostic Vision Transformer)
Para adaptar los ViT preentrenados (en ImageNet) a datos UWB sin perder información, proponen ISA-ViT:

• Estrategia de Redimensionamiento sin Pérdida: En lugar de estirar o comprimir la imagen (que borra detalles), el método extiende el lado más corto de los datos UWB para igualar al más largo, calculando un tamaño de parche ($k$) que permita dividir la entrada en una cuadrícula de 14x14 parches. Esto mantiene la cuadrícula de tokens idéntica a la del ViT preentrenado.
• Adaptación de PEV (Positional Embedding Vectors): Al mantener la secuencia de 14x14, se pueden reutilizar directamente los vectores de posición preentrenados sin necesidad de interpolación o recorte agresivo, preservando la coherencia espacial aprendida.
• Ajuste de Kernel: Se adaptan los pesos de la capa convolucional inicial (kernel) para coincidir con el nuevo tamaño de parche $k \times k$, promediando los canales RGB a un solo canal UWB.
• Fusión de Dominios (Domain Fusion): Se propone una estrategia de fusión tardía (late fusion) ligera. Se procesan los datos de rango y frecuencia por separado (usando ISA-ViT para rango y un extractor ligero para frecuencia) y luego se concatenan. Se introduce un factor de ajuste entrenable ($\beta$) para equilibrar la contribución de la frecuencia, evitando que domine sobre la información espacial del rango.

3. Resultados Experimentales

Los experimentos se realizaron comparando ISA-ViT contra 8 algoritmos de referencia (CNNs como GoogLeNet/ResNet, RNNs y ViTs estándar) utilizando el dataset ALERT y el dataset RaDA (simulado).

• Rendimiento General:
  • ISA-ViT logró una precisión de clasificación del 76.28%, superando al ViT estándar (53.60%) en un 22.68%.
  • En la detección específica de conducción distraída (agrupando todas las actividades no de "conducción"), alcanzó una precisión del 97.35%.
• Análisis de Ablación:
  • Redimensionamiento: ISA-ViT superó a los métodos de redimensionamiento simple y a las CNNs, demostrando que preservar la información original es crucial.
  • Fusión de Dominios: La combinación de dominios de rango y frecuencia mejoró significativamente la precisión (de ~66% a 76.28%), especialmente para actividades visualmente similares (como fumar vs. beber).
  • Few-Shot Adaptation: El modelo se adaptó rápidamente a nuevos conductores con solo 5-30 muestras de calibración, alcanzando hasta un 91.75% de precisión.
• Eficiencia: Aunque ISA-ViT tiene un costo computacional ligeramente superior a las CNNs (60 GFLOPs vs 3-6 GFLOPs), ofrece un equilibrio óptimo entre precisión y complejidad en comparación con ViTs estándar que requieren redimensionamiento agresivo.

4. Contribuciones Clave

1. ALERT Dataset: Un dataset abierto y realista con 10,220 muestras de 7 actividades, diseñado para superar la brecha entre simulación y realidad en la investigación de DAR.
2. ISA-ViT: Un marco de trabajo novedoso que permite el uso de ViTs preentrenados en datos de radar con tamaños de entrada variables, resolviendo el problema de la incompatibilidad de dimensiones sin distorsionar las señales físicas.
3. Estrategia de Fusión: Una técnica de fusión de dominios de rango y frecuencia con un factor de ponderación aprendido, que mejora la discriminación de actividades complejas.
4. Benchmarking Exhaustivo: Evaluación de múltiples arquitecturas (CNN, RNN, Transformer) y análisis de parámetros como ventanas de tiempo, bandas de frecuencia y efectos de multipath.

5. Significado e Impacto

Este trabajo establece un nuevo estándar para la investigación en reconocimiento de actividades de conducción mediante radar.

• Seguridad Vial: Al lograr una detección de conducción distraída con un 97.35% de precisión, el sistema tiene un alto potencial para integrarse en vehículos autónomos o sistemas de asistencia al conductor (ADAS) para prevenir accidentes.
• Privacidad y Robustez: Demuestra que el radar IR-UWB es una alternativa viable y superior a las cámaras en términos de privacidad y funcionamiento en condiciones adversas (oscuridad, lluvia).
• Avance en IA para Sensores: La metodología ISA-ViT ofrece una solución generalizable para aplicar modelos de visión preentrenados a datos de sensores no visuales (radar, lidar, audio) que tienen geometrías de entrada irregulares, abriendo puertas a futuras aplicaciones en robótica y monitoreo de salud.

En conclusión, el artículo no solo proporciona una herramienta de datos esencial (ALERT), sino que también resuelve un problema técnico fundamental en la aplicación de Deep Learning a datos de radar, permitiendo sistemas de detección más robustos, escalables y precisos para el mundo real.