Metadata-Aware Multi-Prompt Reasoning for Zero-Shot Accident Understanding

Resumen Técnico: Razonamiento de Múltiples Prompts Sensible a Metadatos para la Comprensión de Accidentes en Zero-Shot

Planteamiento del Probleo
El artículo aborda el desafío de la comprensión de accidentes en modo zero-shot en videos de vigilancia. A diferencia de la detección de eventos estándar, esta tarea requiere que un modelo identifique simultáneamente tres componentes distintos sin acceso a datos de entrenamiento reales etiquetados:

1. Cuándo: La ocurrencia temporal precisa del impacto.
2. Qué: La categoría específica del accidente (por ejemplo, choque por alcance, choque lateral tipo T, choque frontal).
3. Dónde: Las coordenadas espaciales del punto físico de impacto dentro del cuadro del video.

Los autores señalan que las grabaciones de CCTV del mundo real presentan dificultades significativas, incluyendo duraciones de impacto cortas, categorías de accidentes visualmente similares y la tendencia de los modelos a centrarse en objetos prominentes en lugar de la interacción real entre los agentes viales. Los modelos de Visión-Lenguaje (VLM) existentes a menudo tienen dificultades cuando se les pide resolver esta tarea compleja y multifacética mediante una única consulta de extremo a extremo, lo que conduce a predicciones inestables.

Metodología
La solución propuesta es un flujo de trabajo de tres etapas que descompone el problema en Cuándo, Qué y Dónde, utilizando modelos de pesos abiertos sin realizar un ajuste fino (fine-tuning).

1. Detección Temporal (Cuándo):

   • Mecanismo: El sistema utiliza el Codificador de Percepción (PE) de Meta, un modelo de contraste visión-lenguaje, para puntuar los fotogramas muestreados (a 8 FPS) basándose en su alineación semántica con la consulta de texto "accidente de tráfico".
   • Proceso: Los fotogramas se clasifican por similitud de coseno. Se seleccionan los $K$ fotogramas superiores y se define una ventana temporal expandiendo las marcas de tiempo de los picos más tempranos y tardíos más recientes mediante un desplazamiento fijo ($\delta = 2$ segundos).
   • Salida: El tiempo de accidente predicho es el punto medio de esta ventana expandida.

2. Clasificación de Múltiples Prompts Sensible a Metadatos (Qué):

   • Mecanismo: Un VLM generativo (Qwen-3.5-VL 9B) es consultado con cinco prompts complementarios sobre los fotogramas clave seleccionados y los metadatos (diseño de la escena, clima, hora del día).
   • Vistas de Prompt: Los cinco prompts cubren: (1) clasificación directa base, (2) análisis de movimiento, (3) razonamiento de contacto geométrico, (4) eliminación contrastiva y (5) un desempate.
   • Adjudicación: Las salidas se agregan mediante un procedimiento de votación sensible a la incertidumbre. Si la distribución de votos es ambigua (margen bajo o alta entropía), el sistema escala a una resolución de dos pasos: un prompt de desempate estructurado seguido, si es necesario, de una adjudicación pareada enfocada entre los dos candidatos principales condicionada a la geometría del impacto.

3. Localización Espacial del Impacto (Dónde):

   • Mecanismo: Se utiliza un detector de vocabulario abierto (OWL-v2) para localizar el impacto.
   • Condicionamiento: En lugar de consultas genéricas, el detector se solicita con frases condicionadas tanto al tipo de accidente predicho (de la Etapa 2) como al diseño de la escena (de los metadatos). Por ejemplo, "automóvil chocando contra la parte trasera de otro automóvil en una autopista".
   • Agregación: Las detecciones a través de los fotogramas clave se agrupan. El punto de impacto final se calcula como el centroد ponderado por puntuación de los centros de las cajas delimitadoras de los $K$ superiores, y la región de impacto es la unión de estas cajas. Esta agregación impone consistencia temporal, reduciendo el peso de los falsos positivos transitorios.

Contribuciones Clave

• Marco Descompuesto: Un flujo de trabajo de tres etapas "Cuándo-Qué-Dónde" para la comprensión de accidentes zero-shot de CCTV, donde cada etapa es independientemente actualizable.
• Razonamiento de Múltiples Prompts: Un esquema de clasificación de cinco prompts con adjudicación con puerta de entropía que resuelve votos ambiguos sin requerir datos de calibración etiquetados.
• Localización Condicionada al Tipo: Una estrategia que condiciona el detector espacial al tipo de accidente predicho y al contexto de la escena, lo cual los autores argumentan que mitiga el sesgo de primer plano en los modelos de señalización existentes.
• Eficiencia: El sistema opera en una sola GPU de 24 GB utilizando únicamente modelos de pesos abiertos y no requiere ajuste fino.

Resultos
El método fue evaluado en el benchmark ACCIDENT@CVPR 2026, que utiliza datos sintéticos de CARLA para el desarrollo y clips de CCTV de vista fija reales para las pruebas. La métrica de evaluación es la media armónica de la precisión temporal ($T$), la precisión espacial ($S$) y la precisión de clasificación ($C$).

• Rendimiento: El flujo de trabajo propuesto logró una puntuación en el Leaderboard Privado de 0.4015, superando significativamente a las líneas base basadas en reglas (Baseline A: 0.2734; Baseline B: 0.3188).
• Análisis de Componentes:
  • Localización Espacial: Proporcionó la mayor ganancia de rendimiento. El uso de OWL-v2 con condicionamiento de tipo/escena mejoró la puntuación en 0.053 respecto a una línea base de centro de cuadro.
  • Detección Temporal: La ventana expandida con $\delta$ mejoró la puntuación en 0.039 respecto al uso de un único fotograma de máxima similitud.
  • Clasificación: El ensamble de múltiples prompts con adjudicación proporcionó una mejora constante, aunque menor (0.0054), sobre la configuración de un solo prompt.
• Análisis de Errores: Los errores residuales se atribuyeron principalmente a colisiones distantes donde el detector perdió el impacto o seleccionó un vehículo en primer plano, así como a condiciones adversas como lluvia, noche u oclusión.

Significancia y Reivindicaciones
El artículo afirma que descomponer la comprensión de video zero-shot en localización temporal, clasificación semántica y fundamentación espacial permite un razonamiento más fiable con Modelos de Visión-Lenguaje que el uso de prompts directos de un solo paso. Los autores destacan que condicionar explícitamente el detector espacial al tipo de accidente predicho reduce el sesgo de objeto en primer plano, un modo de fallo común en los modelos de señalización. El trabajo demuestra que un flujo de trabajo modular, basado primero en la percepción, puede lograr un rendimiento zero-shot robusto en complicadas grabaciones de vigilancia sin la necesidad de un ajuste fino específico del dominio.