A Modular Zero-Shot Pipeline for Accident Detection, Localization, and Classification in Traffic Surveillance Video

A continuación presento un resumen técnico detallado del artículo "A MODULAR ZERO-SHOT PIPELINE FOR ACCIDENT DETECTION, LOCALIZATION, AND CLASSIFICATION IN TRAFFIC SURVEILLANCE VIDEO" (Una tubería modular de cero disparos para la detección, localización y clasificación de accidentes en video de vigilancia de tráfico), escrito por Amey Thakur y Sarvesh Talele.

1. Planteamiento del Problema

El trabajo aborda el desafío de ACCIDENT @ CVPR 2026, una competencia que exige analizar videos de vigilancia de tráfico para predecir tres elementos críticos sin utilizar datos reales etiquetados para el entrenamiento:

1. Cuándo: El tiempo exacto del accidente en segundos.
2. Dónde: Las coordenadas espaciales normalizadas del punto de impacto.
3. Qué tipo: La categoría de colisión entre cinco clases: frontal (head-on), trasera (rear-end), lateral (sideswipe), vehículo único (single-vehicle) y T-bone (t-bone).

El principal obstáculo es la brecha de dominio: los participantes solo tienen acceso a videos sintéticos generados por el simulador CARLA para el desarrollo, mientras que el conjunto de prueba consta de grabaciones reales de cámaras de circuito cerrado (CCTV) con variaciones en iluminación, resolución, ángulos de visión y artefactos de compresión. Los métodos tradicionales supervisados fallan al transferirse entre estos dominios, por lo que se requiere un enfoque zero-shot (sin entrenamiento específico en el dominio objetivo).

2. Metodología

Los autores proponen una tubería (pipeline) modular y de cero disparos que divide el problema en tres módulos independientes, ninguno de los cuales requiere ajuste fino (fine-tuning) de pesos preentrenados.

A. Módulo de Detección Temporal (Localización en el tiempo)

• Principio: Las colisiones generan cambios bruscos de intensidad entre fotogramas consecutivos.
• Proceso:
  1. Se convierte el video a escala de grises y se redimensiona a 320x180.
  2. Se calcula la diferencia absoluta media de píxeles entre fotogramas adyacentes ($d_t$).
  3. Se aplica un promedio móvil centrado (ventana de 5) para suavizar el ruido.
  4. Se normaliza la señal mediante puntuaciones Z ($z_t$) utilizando la media y desviación estándar de toda la serie.
  5. Se identifica el accidente como el fotograma con la puntuación Z más alta que supere un umbral ($\tau = 1.5$). Si no hay picos significativos, se selecciona el máximo global.

B. Módulo de Localización Espacial (Punto de impacto)

• Principio: La colisión concentra un movimiento de alta magnitud en una región pequeña de la imagen.
• Proceso:
  1. Se define una ventana de 30 fotogramas centrada en el tiempo de accidente detectado.
  2. Se calcula el flujo óptico denso utilizando el algoritmo de Farneback (con una pirámide gaussiana multiescala).
  3. Se acumulan las magnitudes del flujo óptico ($M(u,v)$) a lo largo de la ventana.
  4. Se aplica un umbral de percentil (90º) para eliminar el movimiento de fondo difuso y retener solo los clústeres de alta magnitud.
  5. Se calcula el centroide ponderado de este mapa umbralizado para obtener las coordenadas normalizadas $(c_x, c_y)$.

C. Módulo de Clasificación de Colisión

• Principio: Utilización de un modelo de lenguaje-vision preentrenado para reconocer patrones sin entrenamiento específico.
• Proceso:
  1. Se extraen 8 fotogramas alrededor del pico temporal detectado.
  2. Se utilizan las codificaciones de imagen del modelo CLIP (ViT-B/32) preentrenado en 400 millones de pares imagen-texto.
  3. Para cada una de las 5 clases, se generan 5 descripciones en lenguaje natural (prompts) que describen la colisión desde la perspectiva de un espectador.
  4. Se promedian las codificaciones de texto de CLIP para cada clase.
  5. Se calcula la similitud del coseno entre el promedio de las codificaciones de imagen y las codificaciones de texto. La clase con la mayor similitud es la predicción final.

3. Contribuciones Clave

• Enfoque Modular Zero-Shot: La solución no requiere datos reales etiquetados ni ajuste fino, demostrando que es posible realizar tareas complejas de visión por computadora en dominios no vistos utilizando únicamente modelos preentrenados y procesamiento de señales clásico.
• Independencia de Módulos: Al separar la detección temporal, espacial y la clasificación, el sistema permite optimizar o reemplazar componentes individuales (ej. cambiar el flujo óptico o el modelo CLIP) sin afectar a los demás.
• Implementación Abierta: El código está disponible públicamente como un cuaderno de Kaggle, facilitando la reproducibilidad.

4. Resultados y Análisis de Errores

• Rendimiento: El pipeline obtuvo una puntuación en el leaderboard público de 0.2523 en el conjunto de datos de prueba real (2,027 videos).
• Desglose de Puntuación:
  • En una submuestra de calibración, la localización temporal ($T$) y espacial ($S$) mostraron potencial (puntuaciones máximas de 0.94 y 0.96 respectivamente), pero la clasificación ($C$) falló completamente (0.0) debido a que el modelo CLIP confundió sistemáticamente las colisiones frontales con colisiones tipo "T-bone".
  • La puntuación final es la media armónica de los tres componentes; por lo tanto, un fallo en uno (especialmente la clasificación) arrastra la puntuación total a cero.
• Análisis de Errores:
  1. Temporal: El movimiento de fondo a gran escala (vegetación, nubes) puede generar picos falsos similares a las colisiones.
  2. Espacial: Cuando múltiples vehículos se mueven simultáneamente, el centroide ponderado se dispersa en lugar de concentrarse en el punto de impacto.
  3. Clasificación (Principal Cuello de Botella): CLIP, entrenado con fotos de internet a nivel de los ojos, falla al interpretar vistas aéreas u oblicuas típicas de CCTV. La distribución de predicciones mostró un sesgo hacia "sideswipe" y "single-vehicle", invirtiendo la distribución real del conjunto de datos sintético (donde dominaban los "rear-end").

5. Significado y Conclusiones

Este trabajo demuestra la viabilidad de utilizar técnicas de aprendizaje cero disparos para la seguridad vial, ofreciendo una solución rápida y adaptable que no depende de costosos procesos de anotación de datos reales.

Aunque la precisión actual es limitada (principalmente por la brecha de dominio en la clasificación), la arquitectura modular ofrece una base sólida para futuras mejoras. Los autores sugieren dos direcciones prometedoras:

1. Reemplazar el flujo óptico clásico (Farneback) con estimadores aprendidos (como RAFT) para mejorar la precisión en baja resolución.
2. Realizar un ajuste fino (fine-tuning) del encoder visual de CLIP utilizando los datos sintéticos disponibles para reducir la brecha entre las imágenes de internet y las grabaciones de vigilancia, lo cual se identifica como el principal obstáculo para mejorar el rendimiento general.

En resumen, el artículo presenta un marco robusto y transparente que transforma un problema de visión por computadora complejo en una serie de tareas manejables mediante la combinación inteligente de procesamiento de señales tradicionales y modelos de fundación modernos.