DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance

Este artículo presenta DriverGaze360, un nuevo conjunto de datos a gran escala con campo de visión de 360° y un método de predicción de atención llamado DriverGaze360-Net que, al integrar la detección de objetos, supera las limitaciones de los enfoques anteriores para modelar el comportamiento de la mirada del conductor en entornos de conducción omnidireccionales.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un coche autónomo a conducir como un humano experto. El problema es que, hasta ahora, los coches solo "miraban" hacia adelante, como si tuvieran los ojos pegados al parabrisas. Pero un conductor real no solo mira al frente; mira los espejos, echa un vistazo al lado para cambiar de carril y vigila a los peatones que vienen de atrás.

Aquí te explico el paper DriverGaze360 como si fuera una historia de superhéroes y espejos mágicos:

1. El Problema: Los Coches con "Visión de Túnel"

Imagina que estás conduciendo y necesitas cambiar de carril. Si solo miraras recto hacia adelante, ¡chocarías! Pero los sistemas de inteligencia artificial actuales para coches autónomos han estado entrenados con videos que solo muestran lo que hay justo enfrente. Es como intentar aprender a conducir viendo solo una foto pequeña del camino, sin poder girar la cabeza. Les falta entender qué pasa a los lados y atrás.

2. La Solución: El "Ojo Mágico" de 360 Grados

Los autores (del centro de investigación DFKI en Alemania) crearon algo revolucionario: DriverGaze360.

• ¿Qué es? Es un enorme libro de instrucciones (un conjunto de datos) que contiene 1 millón de instantáneas de lo que miran 19 conductores reales.
• La Magia: A diferencia de los libros anteriores, este no solo muestra el frente. Usa un sistema de pantallas y espejos en un simulador de conducción para capturar todo el entorno: 360 grados.
• La Analogía: Imagina que antes los coches tenían una cámara de seguridad fija en el techo. Ahora, gracias a este nuevo dataset, el coche tiene un "ojo de halcón" que puede girar y ver a un ciclista que viene por la izquierda, un peatón cruzando por detrás o un coche que se mete en su carril.

3. El Entrenamiento: El "Detective de Objetos"

No basta con saber dónde mira el conductor; hay que saber por qué mira allí.

• El Viejo Método: Era como intentar adivinar qué te interesa en una foto borrosa. El sistema intentaba predecir el punto de mira, pero a menudo se perdía.
• El Nuevo Método (DriverGaze360-Net): Imagina que le das al coche dos tareas al mismo tiempo:
  1. Dibujar un mapa de calor de dónde mira el conductor.
  2. Identificar el objeto: Decir "¡Eh, el conductor está mirando a ese autobús rojo!" o "¡Está mirando al semáforo!".

La Analogía del Detective:
Piensa en el sistema como un detective. El viejo sistema solo decía: "El detective está mirando hacia esa esquina". El nuevo sistema dice: "El detective está mirando hacia esa esquina porque hay un ladrón (un peatón) escondido allí". Al obligar al sistema a identificar el objeto (el ladrón), se vuelve mucho más inteligente y preciso sobre dónde debe mirar.

4. ¿Por qué es importante?

• Seguridad: Si el coche entiende que el conductor mira el espejo porque va a cambiar de carril, el coche puede esperar y no frenar de golpe.
• Confianza: Ayuda a crear coches autónomos que no solo obedecen reglas, sino que "entienden" el comportamiento humano.
• Realismo: Como los datos se tomaron en un simulador muy realista (con lluvia, tráfico, peatones), el coche aprende a reaccionar a situaciones peligrosas antes de que ocurran en la vida real.

En Resumen

Este paper es como pasar de enseñar a un niño a conducir con un videojuego de "solo adelante", a ponerlo en un simulador real donde puede girar la cabeza, mirar los espejos y entender que mirar a un objeto es tan importante como mirar el camino.

Gracias a DriverGaze360, los coches del futuro no solo verán el camino, sino que entenderán la historia completa de lo que sucede a su alrededor, haciendo las carreteras más seguras para todos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance" en español:

1. Planteamiento del Problema

La predicción de la atención del conductor es fundamental para desarrollar sistemas de conducción autónoma explicables y comprender el comportamiento humano en escenarios de tráfico mixto. Sin embargo, la investigación actual presenta limitaciones críticas:

• Campo de visión restringido: La mayoría de los conjuntos de datos y modelos existentes utilizan cámaras frontales de campo de visión estrecho. Esto impide capturar el contexto espacial completo, especialmente durante maniobras complejas como cambios de carril, giros o interacciones con objetos periféricos (peatones, ciclistas) que requieren mirar por los espejos retrovisores.
• Falta de diversidad: Los datos actuales se centran a menudo en eventos de seguridad críticos breves, careciendo de una dinámica de mirada continua y multidireccional.
• Limitación en la generalización: Los modelos entrenados en vistas frontales no logran modelar adecuadamente la atención omnidireccional necesaria para la percepción real del conductor.

2. Metodología

El trabajo propone una solución integral que combina un nuevo conjunto de datos masivo y una arquitectura de red neuronal innovadora.

A. DriverGaze360 (Conjunto de Datos)

Es el primer conjunto de datos a gran escala de atención del conductor con un campo de visión de 360°.

• Recolección: Se realizó en un entorno de simulación controlado utilizando el simulador CARLA.
• Participantes: 19 conductores humanos con licencia (edad 21-40 años).
• Configuración: Se utilizó un sistema de seguimiento ocular (Pupil Core) y una configuración de pantallas que simula un campo de visión continuo de 360° (tres pantallas frontales y dos espejos retrovisores).
• Escenarios: Incluye navegación no scriptada, navegación guiada por objetivos y eventos críticos de seguridad (frenado de emergencia, fusión en autopista, cruces peatonales, giros a la izquierda, etc.) bajo diversas condiciones climáticas y horarias.
• Estadísticas: Aproximadamente 9 horas de footage de conducción con ~1 millón de frames etiquetados con puntos de mirada (gaze). El 6% de las fijaciones corresponden a la vista trasera, un comportamiento ignorado en datasets anteriores.

B. DriverGaze360-Net (Arquitectura del Modelo)

Se introduce un modelo basado en Transformers de Video (Video Swin Transformer - VST) diseñado para predecir mapas de atención y objetos atendidos simultáneamente.

• Codificador: Utiliza un VST para extraer características espacio-temporales multi-escala de secuencias de frames RGB concatenados de las 5 cámaras.
• Decodificadores:
  1. Decodificador de Atención: Genera mapas de probabilidad de mirada densos en 360°.
  2. Decodificador de Objetos Atendidos (Auxiliar): Predice la segmentación semántica de los objetos específicos a los que el conductor está prestando atención (vehículos, peatones, ciclistas, señales, semáforos).
• Fusión de Tareas: A diferencia de los métodos anteriores que tratan la segmentación semántica como entrada estática, este modelo aprende conjuntamente la atención y la identidad de los objetos relevantes.
• Función de Pérdida: Optimiza una combinación ponderada de:
  • Pérdida de atención (Divergencia KL + Coeficiente de correlación negativo).
  • Pérdida de segmentación (Dice + IoU + Entropía cruzada) sobre los objetos atendidos.

C. Extracción de Objetos Atendidos

Se propone un pipeline de fusión "fijación-semántica" para generar las etiquetas de supervisión. Se binariza el mapa de mirada y se intersecta con las instancias de objetos del entorno (generadas por el simulador). Solo los objetos que tienen intersección con la zona de mirada se etiquetan como "atendidos" para el entrenamiento del decodificador de segmentación.

3. Contribuciones Clave

1. DriverGaze360: El primer dataset omnidireccional de atención del conductor que captura dinámicas de mirada completas (incluyendo miradas hacia atrás y laterales) en escenarios diversos y críticos.
2. DriverGaze360-Net: Una arquitectura basada en Transformers que introduce una cabeza de segmentación auxiliar. Esta guía al modelo hacia regiones semánticamente significativas, mejorando la conciencia espacial y la robustez en mapas de atención dispersos típicos de vistas panorámicas.
3. Pipeline de Extracción: Un método novedoso para mapear distribuciones de mirada a instancias de objetos, proporcionando anotaciones a nivel de objeto para la supervisión del modelo.

4. Resultados

Los experimentos demuestran el estado del arte (SOTA) en múltiples métricas:

• Rendimiento en DriverGaze360: El modelo supera a métodos existentes (Dr(eye)VE, BDDA, DADANet, ViNet++, FBLNet) en todas las métricas de saliencia:
  • Mejora del 12.18% en KLD (Divergencia Kullback-Leibler).
  • Mejora del 4.24% en SIM (Similitud).
  • Mejora del 4.51% en CC (Coeficiente de Correlación).
  • Mejora del 4.94% en NSS (Saliencia Normalizada de la Trayectoria de Escaneo).
• Generalización a Datos Reales: Al evaluar en el dataset DADA-2000 (vistas frontales, datos reales), el modelo también superó a los baselines, demostrando que no está sobreajustado al entorno simulado y es aplicable a datos del mundo real.
• Estudio de Ablación: La adición de la cabeza de segmentación de objetos atendidos (Attended Object Segmentation) mejoró significativamente el rendimiento en comparación con un modelo que solo predice atención o uno que segmenta todos los objetos sin considerar la atención. Esto confirma que la guía a nivel de objeto es crucial para refinar la predicción de la atención en entornos panorámicos.

5. Significado e Impacto

Este trabajo representa un avance significativo en la comprensión del comportamiento del conductor y el desarrollo de sistemas de asistencia a la conducción (ADAS) y vehículos autónomos:

• Modelado Holístico: Permite por primera vez modelar la conciencia del conductor en todo el entorno circundante, no solo frente al vehículo.
• Explicabilidad: Al identificar no solo dónde mira el conductor, sino qué objeto específico está observando, se facilita el diseño de sistemas de IA explicables que pueden anticipar la intención humana en escenarios de tráfico mixto.
• Seguridad: La capacidad de predecir la atención hacia objetos periféricos (como peatones en puntos ciegos o vehículos en carriles adyacentes) es vital para prevenir accidentes durante maniobras complejas.

En resumen, DriverGaze360 y su modelo asociado establecen un nuevo estándar para la investigación de la atención del conductor, superando las limitaciones de las vistas frontales y proporcionando una base sólida para sistemas de conducción autónoma más seguros y transparentes.