💻 computer science

Zero-Shot Traffic Accident Detection via a Coarse-to-Fine VLM-Tracking Pipeline

Este artículo presenta un flujo de trabajo de lo grueso a lo fino y libre de entrenamiento que combina un modelo de lenguaje-visión Qwen3-VL-32B congelado con detección y seguimiento de objetos para lograr la detección de accidentes de tráfico zero-shot de vanguardia en metraje real de CCTV, superando a las líneas base existentes en un 22% sin requerir ningún dato de entrenamiento del mundo real etiquetado.

Autores originales: Dipit Saha, Shah Mohammad Abdul Mannan, Mohammad Raihan Rashid, Ruwad Naswan, Ahnaf Tahmid

Publicado 2026-08-11

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dipit Saha, Shah Mohammad Abdul Mannan, Mohammad Raihan Rashid, Ruwad Naswan, Ahnaf Tahmid

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un crimen, pero la única evidencia que tienes es un video de seguridad granulado de 30 segundos de una cámara de tráfico. El video es borroso, los autos son puntos diminutos y el accidente ocurre en un abrir y cerrar de ojos. Ahora, imagina que tienes que decirle a una computadora exactamente cuándo ocurrió el choque, dónde en la pantalla chocaron los autos y qué tipo de choque fue (como una colisión frontal o un roce lateral). El truco es que no se te permite mostrarle a la computadora ningún ejemplo real de choques de autos para enseñarle; tiene que descubrirlo por completo por su cuenta, usando solo lo que ya "sabe" de la vasta internet. Este es el desafío del Aprendizaje de Cero Disparos (Zero-Shot Learning): enseñarle a una máquina a reconocer una situación nueva sin un manual de entrenamiento específico. En el mundo de la inteligencia artificial, esto es como pedirle a un estudiante que apruebe un examen final sobre un tema que nunca ha estudiado, confiando únicamente en su sentido común general.

Este artículo aborda exactamente ese problema para los accidentes de tráfico. Los autores construyeron un ingenioso sistema de "dos pasos" que actúa como un detective con una lupa y un cronómetro. En lugar de mirar todo el video a la vez y confundirse, el sistema primero realiza un escaneo rápido y tosco para adivinar cuándo es probable que haya ocurrido el choque. Luego, se acerca a ese momento minúsculo, utilizando una herramienta separada para dibujar cajas alrededor de los autos y anotar sus posiciones exactas. Alimenta esta imagen superdetallada y anotada a un cerebro de IA gigante (un Modelo de Visión-Lenguaje) para obtener la respuesta final. ¿El resultado? El sistema adivinó el tiempo, el lugar y el tipo de accidente mejor que cualquier otro método publicado por los organizadores de la competencia, sin haber visto nunca un solo video de un accidente real durante su "entrenamiento".

La danza de dos pasos del detective

La idea central de este artículo es que mirar un video completo de una sola vez es una mala estrategia para encontrar accidentes. Los accidentes son fugaces; pueden durar solo entre 100 y 500 milisegundos (¡eso es menos de medio segundo!) dentro de un clip de 30 segundos. Si solo le muestras a una computadora algunos fotogramas aleatorios, es como intentar encontrar un segundo específico en una película pasando las páginas al azar: es probable que pierdas la acción por completo. Los autores llaman a esto el "problema del fotograma de contacto".

Para resolver esto, diseñaron un Pipeline de Grueso a Fino (Coarse-to-Fine Pipeline), que es básicamente una investigación de dos pasos.

Paso 1: El escaneo de gran angular (Paso Grueso)
Primero, el sistema echa un vistazo rápido y amplio a todo el video. Toma 60 fotogramas (imágenes) distribuidos a lo largo de los 30 segundos. Le pregunta a un modelo de IA potente (llamado Qwen3-VL-32B-Instruct) que adivine dos cosas: "¿Cuándo crees que ocurrió el choque?" y "¿Qué tipo de choque fue?".
Piensa en esto como un detective mirando la escena de un crimen desde la acera de enfrente. No puede ver los detalles, pero puede decir: "Oh, parece que hubo un choque de autos alrededor del segundo 15". Esta suposición no es perfecta, pero le da al sistema un punto de partida. Ancla la búsqueda en el tiempo para que el siguiente paso no tenga que adivinar a ciegas.

Paso 2: La lupa (Paso Fino)
Una vez que el sistema tiene una estimación de tiempo aproximada (digamos, 15 segundos), no se detiene ahí. Crea una pequeña "ventana" de tiempo alrededor de esa estimación, específicamente, 2 segundos antes y 2 segundos después del tiempo estimado. Este es el momento crítico.
Dentro de esta ventana de 4 segundos, el sistema cambia a la marcha alta. Ejecuta un detector de objetos superrápido (YOLO11x) y un rastreador (BoT-SORT) a la velocidad completa del video. Estas herramientas hacen dos cosas importantes:

Dibujan cajas: Colocan un rectángulo de color alrededor de cada auto que ven.
Escriben un informe: No solo muestran la imagen; también escriben las coordenadas exactas de esas cajas como números (por ejemplo, "Auto 1 está en la posición 0.49, 0.62").

Ahora, el sistema muestra esta escena anotada y ampliada al mismo modelo de IA gigante. Pero esta vez, la IA no solo está mirando una imagen borrosa; está mirando una foto con una descripción escrita de dónde están los autos. Es como darle al detective una foto con flechas apuntando a los sospechosos y una nota que dice: "El Sospechoso A está parado aquí". Esta combinación de pistas visuales y numéricas ayuda a la IA a localizar con precisión el momento exacto del impacto y la ubicación exacta en la pantalla.

Por qué esto importa y qué evita

El artículo argumenta explícitamente en contra de un enfoque "directo" donde simplemente se le entrega todo el video a una IA de una sola vez. Los autores descubrieron que si hacen eso, la IA se confunde. Tiende a adivinar que el accidente ocurrió justo en medio del video (un "sesgo de medio de video"), independientemente de cuándo ocurrió realmente. También tiene dificultades para encontrar la ubicación exacta porque los autos son tan pequeños y borrosos en las grabaciones de CCTV de baja resolución.

Al rechazar el método de "un solo paso", los autores demostraron que desglosar el problema funciona mucho mejor. También se aseguraron de evitar una trampa común en la investigación de IA: el ajuste fino (fine-tuning). Normalmente, para que una IA sea buena en una tarea específica, se le alimentan miles de ejemplos etiquetados de esa tarea. Aquí, a los autores no se les permitió usar ningún video de accidentes del mundo real para el entrenamiento. Tuvieron que confiar enteramente en el conocimiento preexistente de la IA (zero-shot). Sí utilizaron un conjunto de datos sintético (choques generados por computadora de un juego llamado CARLA) para ayudarles a construir el sistema, pero la prueba final fue con clips de CCTV reales y desordenados del mundo real que la IA nunca había visto.

Los resultados: Un nuevo récord

Cuando probaron su sistema en el desafío oficial, que incluía 2,027 clips de CCTV reales, los resultados fueron impresionantes. La competencia utilizó un sistema de puntuación especial llamado "media armónica", que es un poco como una boleta de calificaciones donde, si repruebas una materia (como adivinar el tiempo), tu calificación completa cae a cero.

El sistema de los autores logró una puntuación de 0.504.
Esto superó la mejor entrada anterior (que era una mezcla compleja de muchos modelos diferentes) por un margen significativo. La mejor puntuación anterior era de 0.412.
Para poner esto en perspectiva, el método de los autores fue aproximadamente un 22% mejor que el siguiente mejor competidor.

El sistema fue particularmente bueno adivinando el tiempo del accidente (obteniendo 0.549) y el tipo de choque (obteniendo 0.503). Fue un poco menos perfecto al adivinar la ubicación exacta (obteniendo 0.468), pero la mejora general fue suficiente para ocupar el primer lugar.

La "red de seguridad" y los fallos

Los autores fueron lo suficientemente inteligentes como para darse cuenta de que la IA puede ser inestable. Construyeron varias "redes de seguridad" para evitar que el sistema colapse o se rinda.

El suelo de tiempo (Time Floor): Si la IA adivinaba que el choque ocurrió en el segundo 0 (lo cual suele ser erróneo), el sistema la obligaba a elegir un tiempo ligeramente posterior para evitar una puntuación de "cero".
El respaldo (Fallback): Si el sistema obtenía demasiados datos y se quedaba sin memoria (un problema común con los grandes modelos de IA), tenía un plan de respaldo para intentarlo de nuevo con menos fotogramas.
El guardián JSON: A veces los modelos de IA se vuelven parlanchines y escriben texto extra en lugar de solo la respuesta. El sistema fue programado para ignorar eso y buscar solo el formato de respuesta específico.

Incluso con estas salvaguardas, el sistema no era perfecto. Los autores descubrieron que en videos muy oscuros o fuertemente comprimidos, el sistema a veces tenía dificultades para ver los autos, lo que lo llevaba a adivinar el centro de la pantalla. También notaron que para los accidentes de "roce lateral" (donde los autos apenas se tocan), el sistema a veces perdía el contacto inicial sutil y adivinaba un momento ligeramente diferente. Sin embargo, estos fueron los únicos fallos de funcionamiento importantes, y el sistema aun así superó a todo lo demás.

La conclusión

Este artículo demuestra que no necesitas entrenar a una IA con millones de accidentes reales para convertirla en un buen detective de accidentes. En su lugar, puedes darle una estrategia inteligente: un escaneo rápido para encontrar el "cuándo", seguido de una mirada detallada y anotada para encontrar el "dónde" y el "qué". Al combinar un cerebro de IA potente con una herramienta de seguimiento rápida y precisa, los autores crearon un sistema que puede entender los accidentes de tráfico en tiempo real, sin necesidad de una biblioteca de choques pasados para aprender. Es un recordatorio de que, a veces, la mejor manera de resolver un problema difícil no es lanzarle más datos, sino pensar más inteligentemente en cómo mirarlo.

=== RESUMEN TÉCNICO ===

Resumen Técnico: Detección de Accidentos de Tráfico Zero-Shot mediante un Pipeline de Seguimiento VLM de Coarse-to-Fine

1. Definición del Problema

El artículo aborda el desafío de extraer registros de eventos estructurados a partir de grabaciones de vigilancia de tráfico (CCTV) en bruto. Específicamente, el sistema debe predecir tres componentes simultáneamente:

Localización Temporal ( $\hat{t}$ ): El momento exacto de la colisión.
Localización Espacial ( $\hat{x}, \hat{y}$ ): La ubicación de impacto normalizada dentro del cuadro.
Clasificación del Tipo de Colisión ( $\hat{c}$ ): El tipo de accidente (por ejemplo, frontal, por alcance, roce lateral, choque en T o vehículo único).

La evaluación se lleva a cabo bajo las restricciones del benchmark ACCIDENT @ CVPR, que impone un entorno estricto de zero-shot: no hay datos reales etiquetados disponibles para entrenamiento. Los sistemas deben generalizar desde un conjunto de desarrollo basado en CARLA sintético hacia 2,027 clips de CCTV del mundo real. El rendimiento se mide mediante la media armónica (HM) de las puntuaciones de las tres ramas. Esta métrica es implacable; si una sola rama falla, la puntuación general colapsa a cero.

Los desafíos clave identificados incluyen:

Calidad de los Datos: Baja resolución, compresión pesada, metraje nocturno y vehículos que ocupan solo unos pocos píxeles.
Esparcimiento Temporal: Los accidentes ocupan solo entre 100 y 500 ms dentro de un clip de 30 segundos, lo que hace que el muestreo uniforme sea propenso a perder el momento del contacto.
Sesgo del Modelo: Los Modelos de Visión-Lenguaje (VLM) exhiben un "sesgo de punto medio del video", tendiendo al punto medio del clip ( $\hat{t} \approx D/2$ ) ante la incertidumbre.
Recuperación de Coordenadas: La baja resolución de los píxeles hace que la recuperación precisa de las coordenadas espaciales sea poco fiable sin contexto adicional.

2. Metodología

Los autores proponen un pipeline de dos pasadas (coarse-to-fine) libre de entrenamiento que integra un VLM congelado con componentes tradicionales de visión por computador (detección y seguimiento).

Arquitectura Central

El sistema utiliza un modelo Qwen3-VL-32B-Instruct congelado junto con YOLO11x para la detección de objetos y BoT-SORT para el seguimiento de múltiples objetos. No se realiza ningún ajuste fino (fine-tuning) con datos del mundo real.

Pasada 1: Localización Temporal Gruesa (Coarse)

Entrada: El clip de video completo se muestrea de forma dispersa (hasta 60 fotogramas a 2 fps).
Proceso: Los fotogramas se intercalan con tokens de marca de tiempo (por ejemplo, <T.T segundos>) y se pasan al VLM.
Salida: El modelo devuelve un objeto JSON que contiene un tiempo de accidente grueso ( $\hat{t}_c$ ) y una pista del tipo de colisión ( $\hat{c}_c$ ).
Objetivo: Anclar el momento de la colisión en el tiempo, estrechando la ventana de búsqueda antes de que comience el razonamiento espacial.

Pasada 2: Refinamiento Espacial y Temporal Fino (Fine)

Definición de la Ventana: Se define una ventana estrecha de 4 segundos ( $[\hat{t}_c - 2s, \hat{t}_c + 2s]$ ) alrededor de la estimación gruesa.
Seguimiento: YOLO11x y BoT-SORT se ejecutan a la tasa de fotogramas nativa del video (no submuestreados) para mantener identidades de vehículos estables. Un umbral de confianza bajo (0.1) asegura el seguimiento de vehículos borrosos u ocluidos.
Anotación y Prompting:
- Se seleccionan 24 fotogramas de forma uniforme desde la ventana de seguimiento.
- Los fotogramas se anotan con cajas delimitadoras (bounding boxes) e IDs de vehículos utilizando un umbral de visualización de 0.3.
- Entrada de Doble Vista: Cada fotograma se presenta al VLM con dos formas de información:
  1. Superposición Visual: La imagen con las cajas delimitadoras y etiquetas dibujadas (ej. [Car 1]).
  2. Texto Numérico Explícito: Texto de coordenadas normalizadas (ej. [Car 1: (0.491,0.620)-(0.589,0.694)]).
Salida: El modelo devuelve un objeto JSON refinado con el tiempo de accidente final, coordenadas centrales ( $\hat{x}, \hat{y}$ ) y el tipo de colisión.

Salvaguardas en Tiempo de Inferencia

Para evitar fallos catastróficos que anularían la media armónica, el sistema emplea varios mecanismos de respaldo (fallback):

Piso Temporal: Evita salidas degeneradas de tiempo cero.
Reintento de YOLO / Respaldo a Fotograma Crudo: Si la detección falla (ej. en clips nocturnos o comprimidos), el sistema vuelve a los fotogramas originales para la pasada fina.
Reintento de Ventana Corta: Si el VLM se queda sin memoria (OOM) en la Pasada 2, reintenta con menos fotogramas y un contexto más estrecho.
Salvaguarda de JSON: Asegura que las salidas malformadas no bloqueen la evaluación del clip.

3. Contribuciones Clave

Pipeline Zero-Shot Libre de Entrenamiento: Un método que logra resultados de vanguardia en datos reales de CCTV sin necesidad de entrenamiento etiquetado del mundo real, apoyándose únicamente en un VLM congelado y detectores comerciales.
Estrategia Coarse-to-Fine: Un enfoque novedoso de dos pasadas que desacopla el anclaje temporal del razonamiento espacial, mitigando eficazmente el "sesgo de punto medio del video" y la dificultad de encontrar eventos de colisión raros en clips largos.
Prompting Visual-Numérico: La integración de texto de coordenadas normalizadas junto con superposiciones visuales de cajas delimitadoras proporciona al VLM evidencia tanto semántica como geométrica explícita, mejorando significativamente la precisión de la localización espacial en imágenes de baja resolución.
Seguimiento de Identidad Estable: El uso de seguimiento a la tasa de fotogramas nativa (BoT-SORT) garantiza IDs de vehículos consistentes, evitando los errores de intercambio de ID que degradan los prompts visuales en enfoques de submuestreo.

4. Resultados

En el conjunto de prueba oficial de 2,027 clips de CCTV real, el sistema logró lo siguiente:

Puntuación de Media Armónica (HM): 0.504 (Leaderboard privado: 0.503).
Comparación: Esto supera al mejor baseline publicado por los organizadores (un ensamble de múltiples modelos) que obtuvo 0.412, lo que representa una mejora relativa del 22%.
Rendimiento por Rama:
- Puntuación Temporal ( $T$ ): 0.549 (Ganancia de +0.206 sobre el mejor baseline).
- Puntuación Espacial ( $S$ ): 0.468 (Ligera regresión de -0.020, atribuida a fallos de seguimiento en casos de borde específicos como vehículos que entran tarde).
- Puntuación de Clasificación ( $C$ ): 0.503 (Ganancia de +0.070).

Los autores señalan que la ligera regresión en la puntuación espacial es un compromiso aceptado para obtener mejoras significativas en la precisión temporal y de clasificación, las cuales son más difíciles de lograr sin el pipeline propuesto.

5. Significado y Reivindicaciones

El artículo afirma que su principal relevancia reside en demostrar que tareas de predicción conjunta complejas en video de vigilancia pueden resolverse sin datos de entrenamiento del mundo real, aprovechando los conocimientos generales de los grandes VLM, siempre que sean guiados por un pipeline de inferencia estructurado y multietapa.

Las conclusiones clave enfatizadas por los autores son:

Necesidad de Estructura: Una llamada única al VLM falla en los tres ejes debido al esparcimiento temporal y la ambigüedad espacial. La estructura coarse-to-fine es esencial.
Valor de la Geometría Explícita: Proporcionar al modelo texto de coordenadas normalizadas junto con superposiciones visuales es crítico para recuperar ubicaciones precisas de píxeles de baja resolución.
Ingeniería de Robustez: El éxito del sistema se debe en parte a las salvaguardas de ingeniería (mecanismos de respaldo, reintentos) que evitan que fallos puntuales invaliden la puntuación de todo el clip.
Limitaciones: Los autores reconocen el costo computacional (dos llamadas al VLM + detector/seguidor por clip) y la naturaleza empírica de algunas decisiones de diseño debido a la falta de etiquetas de validación del mundo real. Sugieren que trabajos futuros podrían explorar pre-filtros temporales ligeros y detectores dedicados de un solo vehículo para reducir aún más ciertos modos de error (ej. clasificaciones erróneas de choques en T).