CrashSight: A Phase-Aware, Infrastructure-Centric Video Benchmark for Traffic Crash Scene Understanding and Reasoning

1. Problema y Motivación

La conducción autónoma cooperativa (CDA) requiere una comprensión de la escena de tráfico desde dos perspectivas: la del vehículo (ego-vehicle) y la de la infraestructura (cámaras laterales). Aunque los Modelos de Lenguaje y Visión (VLM) han demostrado capacidades de razonamiento generales, su evaluación en escenarios críticos de seguridad (específicamente accidentes de tráfico) es insuficiente debido a dos limitaciones principales:

• Enfoque centrado en el vehículo: La mayoría de los benchmarks existentes utilizan cámaras a bordo, ignorando la perspectiva de la infraestructura fija, crucial para la gestión del tráfico y el análisis post-incidente.
• Falta de razonamiento temporal y causal: Los conjuntos de datos actuales carecen de anotaciones estructuradas sobre las fases temporales de un accidente (pre-choque, impacto, consecuencias) y no evalúan adecuadamente la atribución de causas o la progresión temporal.
• Brecha en la investigación: No existía un benchmark que integrara videos de accidentes de infraestructura con anotaciones temporales conscientes de las fases y tareas de preguntas y respuestas (VQA) estructuradas para evaluar el razonamiento de seguridad.

2. Metodología: El Benchmark CrashSight

Los autores presentan CrashSight, un benchmark de VQA a gran escala diseñado específicamente para la comprensión de accidentes desde la perspectiva de la infraestructura.

A. Recopilación de Datos

• Fuente: Se seleccionaron 250 clips de video de accidentes reales del corpus TAD (Traffic Accident Dataset), capturados por cámaras de vigilancia laterales.
• Criterios de selección: Los clips deben mostrar una colisión o casi-accidente, tener contexto suficiente antes del choque para el razonamiento causal y mostrar las consecuencias posteriores.
• División: 60% entrenamiento, 20% validación, 20% prueba (con separación a nivel de clip para evitar fugas de información).

B. Pipeline de Anotación (3 Etapas)

Para garantizar la calidad y la estructura temporal, se desarrolló un pipeline híbrido:

1. Borrador asistido por VLM: Se utiliza InternVL3-80B para generar descripciones densas divididas en cuatro fases temporales: Contexto pre-choque, Dinámica de colisión, Consecuencias y Causas potenciales.
2. Refinamiento por expertos humanos: Tres anotadores expertos revisan los borradores corrigiendo: precisión de entidades (tipos de vehículos, colores), relaciones espaciales (crítico en vistas oblicuas), límites de las fases temporales y especificidad causal. Se encontró que el 90% de los borradores requerían correcciones sustanciales.
3. Verificación y Generación de VQA: Un segundo paso con LLM verifica la consistencia interna y genera preguntas de opción múltiple.

C. Taxonomía de Preguntas (13K pares QA)

Las preguntas se organizan en dos niveles cognitivos y siete categorías:

• Nivel 1 (Comprensión Visual):
  • Identificación de Escena (SI): Tipo de carretera, clima, iluminación.
  • Partes Involucradas (IP): Tipos de vehículos, peatones, características distintivas.
  • Resultado Post-Accidente (PCO): Estado de los vehículos y víctimas.
• Nivel 2 (Razonamiento Avanzado):
  • Mecánica del Accidente (CM): Dinámica del impacto y maniobras previas.
  • Determinación de Culpa (FD): Causa principal y violaciones de tráfico.
  • Secuencia Temporal (TS): Orden de eventos y progresión (no respondible con un solo fotograma).
• Robustez: Preguntas diseñadas para detectar alucinaciones (ej. preguntar por datos no visibles como el nivel de alcohol del conductor), obligando al modelo a responder "no se puede determinar".

3. Resultados Experimentales

Se evaluaron 8 configuraciones de VLMs (incluyendo LLaVA, Qwen2.5-VL, InternVL3) en configuración zero-shot y fine-tuned (ajuste fino).

• Impacto del Fine-Tuning: El ajuste fino con los datos de CrashSight mejoró significativamente el rendimiento.
  • Qwen2.5-VL-3B ajustado alcanzó un 74.7% de precisión promedio, superando a modelos zero-shot mucho más grandes (como InternVL3-8B con 68.7%).
  • La mejora promedio fue de +16.1 puntos para el modelo de 3B y +13.5 para el de 7B.
  • Las mejoras más notables se dieron en la categoría de Robustez (+26.1 puntos) y Mecánica del Accidente (+17.3 puntos), indicando que el modelo aprendió a evitar alucinaciones y a entender la dinámica temporal.
• Límite Humano: Un panel de expertos humanos alcanzó un 94.7% de precisión, revelando una brecha significativa (casi 20 puntos) con los mejores modelos ajustados.
• Análisis de Errores:
  • El fine-tuning eliminó errores de formato (como tratar el video como una imagen estática) y alucinaciones de robustez.
  • Sin embargo, los errores persistentes se concentran en categorías visualmente exigentes: Partes Involucradas (45.3% de errores residuales) y Mecánica del Accidente (20.9%).
  • Causas de fallo: Se identificaron tres barreras arquitectónicas:
    1. Presupuesto de tokens visuales insuficiente: La muestreo uniforme de 4-8 fotogramas pierde momentos críticos de colisión (que duran <2s) en videos largos.
    2. Resolución espacial limitada: La compresión de píxeles dificulta la identificación de entidades pequeñas o distantes.
    3. Codificador visual congelado: El fine-tuning solo ajusta el lenguaje y el proyector, no la capacidad de percepción visual del modelo para ángulos oblicuos y oclusiones.

4. Contribuciones Clave

1. Primer Benchmark de Infraestructura: CrashSight es el primer benchmark de VQA basado en cámaras de infraestructura para accidentes, con 250 clips y 13K pares de preguntas.
2. Pipeline de Anotación Escalable: Propuesta de un flujo de trabajo de 3 etapas (VLM + Experto + LLM) para crear benchmarks en dominios de seguridad crítica con alta precisión.
3. Evaluación Exhaustiva: Demostración de que la adaptación específica al dominio supera al escalado de parámetros en tareas de tráfico, aunque persiste una brecha con la inteligencia humana.
4. Taxonomía de Errores Sistemática: Identificación de que la percepción visual (no el razonamiento lingüístico) es el cuello de botella principal para los VLMs actuales en este dominio.

5. Significado e Implicaciones

El trabajo de CrashSight es fundamental para el avance de la Conducción Autónoma Cooperativa (CDA). Al proporcionar un estándar de evaluación para la percepción basada en infraestructura, expone las limitaciones actuales de los modelos fundacionales para entender eventos de seguridad crítica desde vistas aéreas o laterales.

• Para la investigación: Señala que el simple aumento de tamaño del modelo no es suficiente; se requiere un rediseño en la muestreo de fotogramas adaptativo, la resolución espacial y la integración de seguimiento de objetos 3D.
• Para la industria: Ofrece una herramienta para evaluar la fiabilidad de los sistemas de asistencia a la infraestructura antes de su despliegue en entornos reales.
• Futuro: Sugiere que los futuros avances dependerán de la co-diseño de estrategias de entrenamiento y datos, moviéndose más allá de la evaluación de opción múltiple hacia explicaciones estructuradas y razonamiento multimodal más profundo.

En resumen, CrashSight establece que, aunque los VLMs pueden aprender a "hablar" sobre accidentes con datos específicos, aún carecen de la capacidad visual necesaria para "ver" y reconstruir fielmente la mecánica de un accidente desde una cámara de vigilancia.