Two-Pass Zero-Shot Temporal-Spatial Grounding of Rare Traffic Events in Surveillance Video

Resumen Técnico: Anclaje Temporal-Espacial Zero-Shot en Dos Pasos de Eventos de Tráfico Raros

Enunciado del Problema
El artículo aborda el desafío de anclar accidentes de tráfico en imágenes de CCTV del mundo real, apuntando específicamente a la localización conjunta de tiempo, coordenadas espaciales y tipo de colisión. Esto se enmarca como un problema de "evento raro", donde el volumen de footage de accidentes etiquetado necesario para el aprendizaje supervisado moderno no está disponible. Además, las preocupaciones sobre privacidad y responsabilidad a menudo prohíben el entrenamiento con datos reales de incidentes. El trabajo se centra en la prueba de referencia ACCIDENT@CVPR 2026, que proporciona 2.211 videos sintéticos de CARLA para desarrollo, pero prohíbe estrictamente el entrenamiento en los 2.027 clips de prueba de CCTV reales. La métrica de evaluación es ACCS, la media armónica de las puntuaciones de precisión temporal (T), espacial (S) y de tipo de colisión (C), que penaliza a los sistemas con componentes débiles en cualquier subtarea individual.

Metodología
Los autores proponen una tubería sin ajuste fino que aprovecha Modelos Visuales-Lingüísticos (VLM) congelados mediante una descomposición en dos pasos y la asignación de roles especializados. El sistema opera sin entrenamiento en datos reales de accidentes, confiando en cambio en las capacidades nativas de los modelos preentrenados.

1. Descomposición en Dos Pasos de Grueso a Fino:

   • Paso 1 (Anclaje Grueso): El video completo se muestrea a 1 fps (hasta 30 cuadros) y se procesa mediante Qwen3-VL-Plus. Se solicita al modelo que genere una tupla gruesa $(t_1, x_1, y_1, c_1)$ que representa el tiempo de impacto, la ubicación y el tipo. Para ayudar a la alineación temporal, los cuadros se serializan con etiquetas explícitas [Frame at t.ts], permitiendo que el modelo trate la localización temporal como una tarea de nombrado de cuadros en lugar de una regresión continua.
   • Paso 2 (Refinamiento Fino): Se extrae una ventana de $\pm 3$ segundos alrededor de la estimación temporal gruesa $t_1$ y se muestrea a 5 fps (hasta 30 cuadros a resolución de 1024px). Qwen3-VL-Plus reevalúa esta ventana para refinar el tiempo ($t_2$) y la ubicación ($x_2, y_2$) con una precisión de 0,1 s.
   • Compuertas de Confianza: Dos compuertas deterministas deciden si aceptar las estimaciones refinadas del Paso 2 o volver a las estimaciones robustas del Paso 1:
     • Compuerta Temporal: Si el Paso 2 devuelve un tiempo negativo o un tiempo cercano al límite de la ventana (indicando baja confianza), el sistema vuelve a $t_1$.
     • Compuerta Espacial: Si las coordenadas del Paso 2 están "fijadas en los bordes" (cerca de los límites 0 o 1000 de la cuadrícula normalizada), el sistema vuelve a $(x_1, y_1)$.

2. Asignación de Roles Especializados:

   • Reconociendo que un solo VLM puede no destacar en todas las subtareas, la tubería divide las responsabilidades. Qwen3-VL-Plus maneja el anclaje temporal y espacial (T+S).
   • Gemini 3.1 Flash-Lite se asigna al rol específico de clasificación de tipo de colisión (C). Se recorta un clip de 5 segundos centrado en la estimación temporal final (zoom de 2,5x alrededor del centro del Paso 1) y se pasa a Gemini con un prompt de mundo cerrado que enumera los cinco tipos de colisión. Esta especialización mejora significativamente la precisión del tipo en comparación con el uso de un solo modelo para todas las tareas.

3. Mecanismo de Respaldo:

   • En casos de fallo de la API (observado en ~17% de los videos), el sistema recurre a una tubería de detección congelada (YOLO26x + ByteTrack) combinada con puntuación de física basada en reglas. Esto asegura que ningún video quede sin procesar.

Contribuciones Clave

• Tubería sin Ajuste Fino: Un método que elicita salidas conjuntas T+S+C de VLMs congelados, evitando la necesidad de datos de accidentes del mundo real etiquetados.
• Descomposición en Dos Pasos con Compuertas: Una estrategia que refina vecindarios de alta saliencia mientras utiliza verificaciones de confianza deterministas para prevenir la propagación de errores desde el segundo paso.
• División de Roles Especializados: Demostrar que asignar la clasificación de tipos a un segundo VLM especializado (Gemini) eleva la precisión de tipos de 0,474 a 0,591, una mejora crítica para la puntuación de media armónica.
• Análisis Sistemático de Fallos: El artículo proporciona un diagnóstico detallado de modos de fallo, incluido un sesgo de retraso temporal de +1,55 s, degradación dependiente de la longitud y un análisis de oráculo de física-VLM.

Resultados
En el conjunto de pruebas ACCIDENT@CVPR 2026 (2.027 videos), la tubería propuesta logra un ACCS de 0,539 (IC 95% [0,525, 0,553]).

• Rendimiento Comparativo: Esto representa una mejora de +0,127 sobre el mejor oráculo de líneas base del artículo de referencia (0,412) y una mejora de +0,143 sobre la línea base de VLM único más fuerte, Molmo-7B (0,396).
• Desglose de Subtareas: El método logra T=0,50, S=0,54 y C=0,59. Cabe destacar que la precisión de tipos (C) es la más alta reportada, mientras que la precisión espacial queda ligeramente por detrás de la mejor línea base de VLM único.
• Eficiencia de Costos: La ejecución completa cuesta aproximadamente 20 dólares para todo el conjunto de pruebas (aprox. 0,01 dólares por video), utilizando hasta tres llamadas a la API por video.
• Diagnóstico de Fallos: El análisis revela un sesgo medio de retraso temporal de +1,55 s (el modelo a menudo identifica los restos posteriores a la colisión en lugar del momento de contacto) y una confusión significativa entre colisiones "frontales" y "en T".

Significado y Afirmaciones
El artículo afirma que cerrar la brecha entre los sistemas automatizados y el rendimiento humano (ACCS Humano = 0,843) en el anclaje de eventos raros sin entrenamiento supervisado requiere ir más allá de los primitivos diseñados a mano y el prompting de un solo disparo. Los autores argumentan que su enfoque demuestra la viabilidad de tuberías VLM sin entrenamiento y zero-shot para tareas críticas de seguridad donde la escasez de datos y la privacidad son las principales restricciones.

Los autores permanecen modestos respecto al estado actual del sistema, señalando que la ambigüedad temporal residual (error mediano de 1,1 s) y las confusiones específicas de tipos (frontal/deslizamiento lateral) aún no son aceptables para sistemas totalmente automatizados de primer aviso de pérdida (FNOL) sin compuertas con intervención humana. Concluyen que las mejoras futuras deben centrarse en el muestreo adaptativo y la fusión física-VLM en lugar de simplemente escalar el tamaño del modelo. El trabajo establece que la asignación de roles especializados y el refinamiento de grueso a fino son palancas efectivas para mejorar el anclaje zero-shot en escenarios complejos de vigilancia del mundo real.