Understanding Real-World Traffic Safety through RoadSafe365 Benchmark

Resumen Técnico: RoadSafe365 – Entendimiento de la Seguridad Vial en el Mundo Real

1. El Problema (Problem)

A pesar de los avances en la conducción autónoma y los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs), existe una brecha crítica en la capacidad de estos modelos para comprender escenarios de seguridad críticos (accidentes, infracciones y eventos de borde). Los conjuntos de datos actuales presentan tres limitaciones principales:

• Falta de granularidad: Se centran en la identificación gruesa de accidentes, pero no en la causalidad o el detalle del evento.
• Desalineación con estándares oficiales: No siguen las clasificaciones técnicas de las autoridades de seguridad vial (como la NSC).
• Distribución de "cola larga" (Long-tail): Los accidentes son eventos raros que no están bien representados en los datasets de conducción rutinaria, lo que provoca que modelos avanzados (como GPT-4o o Gemini) malinterpreten la dinámica de un choque o una infracción.

2. Metodología (Methodology)

Los autores proponen RoadSafe365, un benchmark de visión-lenguaje a gran escala diseñado para el análisis detallado de la seguridad vial. Su metodología se divide en cuatro pilares:

• Recolección de Datos: Curación de 36,196 clips de video reales (10-20 segundos cada uno) provenientes de cámaras de tablero (dashcams) y cámaras de vigilancia, recolectados de plataformas como Bilibili y X (Twitter).
• Taxonomía Jerárquica: Introducen una estructura organizada en dos niveles alineada con estándares oficiales (ANSI D16). Clasifican los eventos en cinco categorías de Nivel 1: Choques de tráfico, Infracciones de tráfico, Choques de usuarios vulnerables (VRU), Incidentes de tráfico y Violaciones de leyes de seguridad. Cada una se desglosa en subcategorías de Nivel 2 (ej. choque por alcance, cambio de carril inseguro, conducción distraída).
• Pipeline de Anotación: Utilizan un enfoque híbrido de IA y verificación humana:
  1. Generación por MLLMs: Usan Gemini-2.5-Pro para extraer 6 atributos clave (hora, clima, área, tipo de vía, objetos y tipo de accidente) y GPT-4o para generar descripciones narrativas densas (captions).
  2. Verificación Humana: Expertos revisan y corrigen las anotaciones para garantizar la precisión factual y la coherencia entre la descripción y el video.
  3. Construcción de VQA: Transforman los atributos en conjuntos de preguntas de opción múltiple con distractores semánticamente plausibles para evitar respuestas por azar.
• Entrenamiento y Evaluación: Implementan un proceso de ajuste fino (fine-tuning) mediante aprendizaje por refuerzo (usando el framework VAU-R1) para mejorar la capacidad de razonamiento causal de los modelos.

3. Contribuciones Clave (Key Contributions)

• Nuevo Benchmark Multimodal: Un dataset masivo y diversificado que cubre múltiples perspectivas (dashcam y vigilancia).
• Taxonomía Estandarizada: El primer benchmark que conecta el aprendizaje de datos con los estándares oficiales de seguridad vial.
• Pipeline de Anotación Robusto: Un método escalable que combina la potencia de los MLLMs con el rigor de la validación humana.
• Dataset Sintético (RoadSafe365-Synthetic): Creación de un dataset complementario basado en simuladores (MetaDrive y Dreamland) para evaluar la generalización en entornos sintéticos.

4. Resultados (Results)

• Desempeño de Modelos Base: Los experimentos muestran que, aunque los modelos actuales son excelentes en percepción de entorno (clima, hora, área con >70% de precisión), fallan significativamente en el razonamiento de accidentes e infracciones (frecuentemente <50%).
• Efectividad del Fine-tuning: El ajuste fino de Qwen2.5-VL-7B mostró mejoras sustanciales. En la categoría de Accidentes/Infracciones, la precisión aumentó de un 38.04% a un 67.29% (un incremento absoluto de casi 30 puntos).
• Capacidad Narrativa: El ajuste fino mejoró drásticamente la calidad de los captions, permitiendo que el modelo pase de descripciones genéricas a narrativas que explican la causa y el efecto del accidente (ej. "el conductor perdió el control debido a X, lo que resultó en Y").
• Generalización: El modelo entrenado con RoadSafe365 demostró una fuerte capacidad de transferencia, mejorando su rendimiento en datasets de accidentes reales (VRU-Accident) y en escenarios sintéticos de alta fidelidad.

5. Significancia (Significance)

RoadSafe365 es fundamental para el futuro de la conducción autónoma y la gestión de tráfico inteligente. Al proporcionar un estándar para evaluar la capacidad de los modelos para entender por qué ocurre un accidente y no solo qué está pasando, este trabajo sienta las bases para desarrollar sistemas de IA más explicables, fiables y alineados con la seguridad humana, permitiendo una transición de la simple percepción visual al razonamiento causal complejo en entornos críticos.