An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

Resumen Técnico: Un Pipeline de Visión Computacional de Dos Etapas de Código Abierto para la Clasificación Detallada de Vehículos

Planteamiento del Problema
El artículo aborda una brecha crítica en la investigación de la seguridad de los ciclistas: la falta de herramientas automatizadas capaces de clasificar los vehículos en categorías relevantes para el riesgo de lesiones a partir de videos de vías naturales. Mientras que los estándares de detección de objetos (por ejemplo, COCO) proporcionan etiquetas gruesas (automóvil, camión, autobús, motocicleta), estas son insuficientes para los análisis de seguridad que requieren distinguir entre tipos de carrocería específicos, como automóviles de pasajeros frente a SUVs o camiones comerciales. Los sistemas de reconocimiento detallado existentes suelen entrenarse con imágenes frontales controladas (por ejemplo, fotos de fabricantes) y no han sido evaluados rigurosamente en cuanto a su robustez en diferentes sitios de grabación o condiciones naturalistas que involucran desenfoque por movimiento, oclusión y luz variable. Además, no existe un pipeline de código abierto y de extremo a extremo que integre la detección en tiempo real con la clasificación detallada para su despliegue en archivos de video de carretera existentes sin infraestructura personalizada.

Metodología
Los autores proponen un pipeline de visión computacional modular de dos etapas, diseñado para su despliego en videos de carretera estándar:

1. Etapa 1: Localización Gruesa de Vehículos

   • Modelo: Un detector RT-DETR (Real-Time DEtection TRansformer) preentrenado, específicamente el checkpoint rtdetr_r50vd_coco_o365.
   • Función: Escanea fotogramas de video de resolución completa para detectar todos los vehículos y asigna etiquetas de categoría COCO gruesas (automóvil, camión, autobús, motocicleta).
   • Filtrado: El sistema retiene solo las detecciones de "automóvil" y "camión" para su procesamiento posterior. Las detecciones de autobús y motocicleta se retienen con sus etiquetas gruesas.
   • Restricciones: Un umbral de confianza de 0.35 filtra las detecciones de baja confianza. Una puerta de tamaño excluye los cuadros delimitadores donde el lado más corto es <5.5% de la altura del fotograma o el área es <0.04% del fotograma, evitando que la segunda etapa procese vehículos demasiado distantes para un análisis de textura significativo.

2. Etapa 2: Clasificación Detallada

   • Modelo: Un Vision Transformer (ViT-Base/16) ajustado (fine-tuned), preentrenado en ImageNet-21k.
   • Entrada: Imágenes recortadas de los vehículos detectados en la Etapa 1.
   • Salida: Una de seis categorías específicas de tipo de carrocería: automóvil de pasajeros, SUV, camioneta (pickup truck), minivan, furgoneta grande y camión comercial.
   • Estrategia de Entrenamiento: El modelo fue entrenado con un conjunto de datos compuesto (16,581 imágenes) que combina Stanford Cars (mapeado a 4 clases), imágenes extraídas de la web (para clases subrepresentadas) y recortes de campo del sitio de estudio de Ann Arbor. Para abordar el severo desequilibrio de clases (por ejemplo, los camiones comerciales representan <1% de los datos), los autores emplearon pérdida focal (focal loss) con ponderación de frecuencia inversa y un muestreador aleatorio ponderado.
   • Mecanismo de Abstención: Se aplica un mecanismo de puerta basado en la confianza a la salida softmax de la Etapa 2. Si la probabilidad máxima predicha cae por debajo de un umbral específico de clase de 0.60, el sistema emite una etiqueta de "desconocido" en lugar de una predicción de baja confianza. Esto está diseñado para prevenir clasificaciones erróneas silenciosas en escenarios ambiguos.

Contribuciones Clave

1. Vocabulario y Pipeline Novedosos: El primer sistema de código abierto entrenado y evaluado explícitamente en una taxonomía de seis categorías de tipo de carrocería relevante para el riesgo de lesiones, yendo más allá de las etiquetas gruesas de COCO o la identificación de marca y modelo.
2. Abstención Basada en la Confianza: La implementación de un mecanismo de umbral que convierte las predicciones inciertas en etiquetas de "desconocido", proporcionando una medida calibrada de la incertidumbre del modelo en lugar de forzar clasificaciones erróneas.
3. Evaluación Riguroosa: El estudio proporciona una evaluación a gran escala sobre 3,805 eventos de adelantamiento anotados en un corredor de carril para bicicletas (en distribución) y una evaluación independiente fuera de la distribución (OOD) en 311 eventos de un conjunto de datos de bicicletas instrumentadas separado, sin reentrenamiento.
4. Lanzamiento de Código Abierto: El pipeline completo, incluyendo scripts de inferencia, código de entrenamiento, utilidades de evaluación y los pesos del modelo ajustado, se publica para apoyar la reproducibilidad.

Resultados

• Desempeño en Distribución (In-Distribution): En el conjunto de datos de Ann Arbor (3,805 eventos), el pipeline alcanzó una precisión general de 0.94. Los puntajes F1 por clase variaron de 0.91 (minivan) a 0.97 (SUV). Los errores dominantes involucraron confusión entre categorías visualmente similares (por ejemplo, automóvil de pasajeros vs. SUV).
• Desempeño Fuera de Distribución (Out-of-Distribution): En el conjunto de datos independiente de bicicletas instrumentadas (311 eventos), el pipeline alcanzó una precisión general de 0.89 sin ningún reentrenamiento o ajuste de umbral.
  • Tres de las cuatro categorías bien representadas (SUV, camioneta, automóvil de pasajeros) mantuvieron puntajes F1 $\ge$ 0.90.
  • Degradación de Minivan: La caída más significativa ocurrió en la categoría de minivan (F1: 0.91 $\to$ 0.72). Los autores atribuyen esto principalmente a un aumento en la tasa de abstención (de 2.4% a 25.0%) más que a una clasificación errónea activa, lo que indica que el mecanismo de confianza propagó con éxito la incertidumbre del modelo.
• Clases Minoritarias: Los camiones comerciales y las furgonetas grandes mostraron alta incertidumbre debido a los escasos tamaños de muestra tanto en el entrenamiento como en la evaluación, aunque el modelo demostró la capacidad de clasificarlos cuando están presentes.

Significancia y Reivindicaciones
El artículo afirma que una arquitectura modular de grueso a fino, que combina un detector de propósito general con un Vision Transformer ajustado, puede lograr una clasificación detallada de vehículos robusta en video de carretera naturalista sin requerir anotaciones de cuadros delimitadores para la etapa de detección ni reentrenamiento específico del sitio para su despliegue.

La significancia de este trabajo radica en su aplicación a la investigación de la seguridad de los ciclistas. Al permitir la anotación automatizada y escalable de tipos de carrocería de vehículos, el pipeline permite a los investigadores cuantificar la exposición a tipos de vehículos específicos (por ejemplo, SUVs frente a automóviles de pasajeros) que están desproporcionadamente asociados con lesiones graves. Esta granularidad está actualmente ausente en el monitoreo de tráfico estándar y en las bases de datos de accidentes. Además, el mecanismo de abstención basado en la confianza ofrece una característica de seguridad crítica para los sistemas de monitoreo automatizados, permitiéndoles degradarse de manera controlada al marcar eventos inciertos para revisión humana en lugar de producir errores silenciosos. La naturaleza de código abierto de la herramienta tiene como objetivo reducir las barreras para los investigadores que estudian la exposición de los usuarios vulnerables de la vía y la composición del tráfico.