An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

Resumo Técnico: Um Pipeline de Visão Computacional de Dois Estágios de Código Aberto para Classificação de Veículos de Grão Fino

Definição do Problema
O artigo aborda uma lacuna crítica na pesquisa de segurança de ciclistas: a falta de ferramentas automatizadas capazes de classificar veículos em categorias relevantes para o risco de lesões a partir de vídeos rodoviários naturalísticos. Embora os benchmarks padrão de detecção de objetos (ex: COCO) forneçam rótulos grosseiros (carro, caminhão, ônibus, motocicleta), estes são insuficientes para análises de segurança que exigem a distinção entre tipos específicos de carroceria, como carros de passeio versus SUVs ou caminhões comerciais. Os sistemas existentes de reconhecimento de grão fino são tipicamente treinados em imagens frontais controladas (ex: fotos de fabricantes) e não foram rigorosamente avaliados quanto à robustez em diferentes locais de gravação ou condições naturalísticas envolvendo desfoque de movimento, oclusão e iluminação variável. Além disso, não existe um pipeline de código aberto, de ponta a ponta, que integre detecção em tempo real com classificação de grão fino para implantação em arquivos de vídeo de borda de estrada existentes sem infraestrutura customizada.

Metodologia
Os autores propõem um pipeline de visão computacional modular de dois estágios, projetado para implantação em vídeos de borda de estrada padrão:

1. Estágio 1: Localização Grosseira de Veículos

   • Modelo: Um detector RT-DETR (Real-Time DEtection TRansformer) pré-treinado, especificamente o checkpoint rtdetr_r50vd_coco_o365.
   • Função: Escaneia quadros de vídeo em resolução total para detectar todos os veículos e atribui rótulos de categoria COCO grosseiros (carro, caminhão, ônibus, motocicleta).
   • Filtragem: O sistema retém apenas as detecções de "carro" e "caminhão" para processamento posterior. As detecções de ônibus e motocicleta são mantidas com seus rótulos grosseiros.
   • Restrições: Um limiar de confiança de 0,35 filtra detecções de baixa confiança. Uma trava de tamanho exclui caixas delimitadoras (bounding boxes) onde o lado menor é <5,5% da altura do quadro ou a área é <0,04% do quadro, impedindo que o segundo estágio processe veículos distantes demais para uma análise de textura significativa.

2. Estágio 2: Classificação de Grão Fino

   • Modelo: Um Vision Transformer (ViT-Base/16) ajustado (fine-tuned), pré-treinado no ImageNet-21k.
   • Entrada: Imagens recortadas de veículos detectados no Estágio 1.
   • Saída: Uma de seis categorias específicas de tipo de carroceria: carro de passeio, SUV, picape, minivan, van grande e caminhão comercial.
   • Estratégia de Treinamento: O modelo foi treinado em um conjunto de dados composto (16.581 imagens) combinando Stanford Cars (mapeado para 4 classes), imagens coletadas via web (para classes sub-representadas) e recortes de campo do site de estudo de Ann Arbor. Para lidar com o severo desequilíbrio de classes (ex: caminhões comerciais representam <1% dos dados), os autores empregaram focal loss com ponderação de frequência inversa e um amostrador aleatório ponderado (weighted random sampler).
   • Mecanismo de Abstenção: Um mecanismo de controle baseado em confiança é aplicado à saída softmax do Estágio 2. Se a probabilidade máxima prevista cair abaixo de um limiar específico da classe de 0,60, o sistema emite um rótulo "desconhecido" em vez de uma previsão de baixa confiança. Isso é projetado para evitar classificações errôneas silenciosas em cenários ambíguos.

Principais Contribuições

1. Vocabulário e Pipeline Inovadores: O primeiro sistema de código aberto explicitamente treinado e avaliado em uma taxonomia de seis categorias de tipos de carroceria relevante para o risco de lesão, indo além dos rótulos grosseiros do COCO ou identificação de marca e modelo.
2. Abstenção Baseada em Confiança: A implementação de um mecanismo de limiar que converte previsões incertas em rótulos "desconhecidos", fornecendo uma medida calibrada da incerteza do modelo em vez de forçar classificações errôneas.
3. Avaliação Rigorosa: O estudo fornece uma avaliação em larga escala em 3.805 eventos de ultrapassagem anotados de um corredor de ciclovia (in-distribution) e uma avaliação independente fora da distribuição (out-of-distribution - OOD) em 311 eventos de um conjunto de dados de bicicleta instrumentado separado, sem retreinamento.
4. Lançamento de Código Aberto: O pipeline completo, incluindo scripts de inferência, código de treinamento, utilitários de avaliação e pesos do modelo ajustado, é liberado para apoiar a reprodutibilidade.

Resultados

• Desempenho In-Distribution: No conjunto de dados de Ann Arbor (3.805 eventos), o pipeline alcançou uma acurácia geral de 0,94. Os escores F1 por classe variaram de 0,91 (minivan) a 0,97 (SUV). Os erros dominantes envolveram confusão entre categorias visualmente semelhantes (ex: carro de passeio vs. SUV).
• Desempenho Out-of-Distribution: No conjunto de dados independente de bicicleta instrumentada (311 eventos), o pipeline alcançou uma acurácia geral de 0,89 sem qualquer retreinamento ou ajuste de limiar.
  • Três das quatro categorias bem representadas (SUV, picape, carro de passeio) mantiveram escores F1 $\ge$ 0,90.
  • Degradação da Minivan: A queda mais significativa ocorreu na categoria minivan (F1: 0,91 $\to$ 0,72). Os autores atribuem isso principalmente a um aumento na taxa de abstenção (de 2,4% para 25,0%) em vez de uma classificação errônea ativa, indicando que o mecanismo de confiança propagou com sucesso a incerteza do modelo.
• Classes Minoritárias: Caminhões comerciais e vans grandes mostraram alta incerteza devido aos tamanhos de amostra esparsos tanto no treinamento quanto nos conjuntos de avaliação, embora o modelo tenha demonstrado capacidade de classificá-los quando presentes.

Significância e Alegações
O artigo afirma que uma arquitetura modular, de grosseiro para fino, combinando um detector de propósito geral com um Vision Transformer ajustado, pode alcançar uma classificação de veículo de grão fino robusta em vídeos rodoviários naturalísticos sem exigir anotações de caixa delimitadora para a etapa de detecção ou retreinamento específico do local para implantação.

A significância deste trabalho reside em sua aplicação à pesquisa de segurança de ciclistas. Ao permitir a anotação automatizada e escalável de tipos de carroceria de veículos, o pipeline permite que pesquisadores quantifiquem a exposição a tipos específicos de veículos (ex: SUVs vs. carros de passeio) que estão desproporcionalmente associados a lesões graves. Esta granularidade está atualmente ausente no monitoramento de tráfego padrão e em bases de dados de acidentes. Além disso, o mecanismo de abstenção baseado em confiança oferece um recurso crítico para sistemas de monitoramento automatizados, permitindo que eles degradem graciosamente ao sinalizar eventos incertos para revisão humana em vez de produzir erros silenciosos. A natureza de código aberto da ferramenta tem o intuito de reduzir as barreiras para pesquisadores que estudam a exposição de usuários vulneráveis na estrada e a composição do tráfego.