⚡ electrical engineering

An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

Ce document présente un pipeline de vision par ordinateur en deux étapes et en open-source combinant RT-DETR et les Vision Transformers pour classifier avec précision six types de carrosseries de véhicules à grain fin pertinents pour la sécurité des cyclistes, doté d'un mécanisme d'abstention basé sur la confiance qui maintient une grande robustesse à travers différents sites d'enregistrement tout en empêenchant les mauvaises classifications silencieuses.

Auteurs originaux : Gandhimathi Padmanaban, Fred Feng

Publié 2026-06-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gandhimathi Padmanaban, Fred Feng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trier une pile de courrier massive. Certaines lettres sont clairement marquées « Journal », d'autres « Magazine » et d'autres « Publicité ». Mais vous avez aussi des milliers d'enveloppes qui pourraient être n'importe quoi : une carte d'anniversaire, une facture, un prospectus ou une lettre d'avocat. Si vous vous contentez de deviner, vous risquez de faire des erreurs.

Ce document présente un nouveau « trieur robotique » en open-source, conçu pour observer des séquences vidéo de rues et trier les véhicules en catégories très spécifiques, et non pas seulement dans les grandes catégories habituelles.

Voici comment le système fonctionne, décomposé en étapes simples :

1. Le Problème : Pourquoi avons-nous besoin d'un meilleur trieur ?

Actuellement, la plupart des caméras de trafic et des études de sécurité ne font que distinguer la différence entre une « voiture », un « camion » ou un « bus ». Mais pour la sécurité des cyclistes, cela ne suffit pas.

L'analogie : Imaginez un cycliste percuté. Si une petite berline le percute, c'est grave. Mais si un SUV imposant ou un énorme camion commercial le percute, les blessures sont souvent bien plus graves car l'avant du véhicule est plus haut et percute le cycliste différemment.
La lacune : Nous avons besoin de savoir exactement quel type de véhicule passe à côté d'un cycliste (par exemple, est-ce un monospace ou une grande camionnette ? Est-ce un pick-up ou un camion de transport ?). Les outils existants ne peuvent pas faire la distinction entre ces types spécifiques dans des vidéos réelles et désordonnées.

2. La Solution : Une équipe de détectives en deux étapes

Les auteurs ont construit un système en deux étapes, comme une équipe de deux détectives travaillant ensemble.

Détective n°1 : L'éclaireur rapide (RT-DETR)

Son travail : Ce détective scanne la vidéo rapidement. Il n'a pas besoin de connaître le modèle exact de la voiture ; il doit juste dire : « Hé, il y a un véhicule là ! » et dessiner un cadre autour de lui.
Sa spécialité : Il est très doué pour repérer n'importe quoi qui ressemble à une voiture, un camion, un bus ou une moto. Il utilise un cerveau pré-entraîné, donc il n'a pas eu besoin d'apprendre à repérer les voitures en partant de zéro.
Le filtre : S'il voit un bus ou une moto, il s'arrête là. S'il voit une « voiture » ou un « camion », il transmet le travail au Détective n°2.

Détective n°2 : L'expert en classification (Vision Transformer)

Son travail : Ce détective prend le « recadrage » spécifique (l'image à l'intérieur du cadre) provenant du Détective n°1 et l'examine de très près.
Sa spécialité : C'est l'expert de la classification fine. Il trie le véhicule en une de six catégories spécifiques :
1. Voiture particulière
2. SUV
3. Pick-up
4. Monospace
5. Grande camionnette (Van)
6. Camion de transport
Le bouton « Je ne sais pas » : C'est la partie la plus importante. Si l'image est floue, que l'angle est étrange ou que le véhicule est partiellement caché, ce détective peut se sentir incertain. Au lieu de deviner et potentiellement commettre une erreur, il a une règle : « Si je suis sûr à moins de 60 %, je dirai "Inconnu". »
- Pourquoi cela compte : Dans la recherche sur la sécurité, il vaut mieux dire « Je ne sais pas » que de dire avec assurance « C'est un pick-up » alors qu'il s'agit d'un monospace. Cela évide les « erreurs silencieuses ».

3. L'Entraînement : Comment ils ont appris au robot

Apprendre à un robot à faire la différence entre une « Grande camionnette » et un « Camion de transport » est difficile car il y a très peu de photos de ces camions spécifiques dans les jeux de données standards.

Le mélange : Les chercheurs ont construit une bibliothèque d'entraînement personnalisée en mélangeant trois éléments :
1. Photos de studio : Des photos de haute qualité de voitures issues d'un jeu de données célèbre (Stanford Cars).
2. Web Scraping : Ils ont rassemblé des images de camionnettes et de camions provenant d'Internet.
3. Extraits de rues réelles : Ils ont pris de véritables clips vidéo d'Ann Arbor, dans le Michigan, et ont découpé les véhicules pour montrer au robot ce que sont les conditions de rue réelles et désordonnées (floues, de côté, partiellement cachées).
Le déséquilibre : Le robot a vu beaucoup plus d'images de voitures et de SUV ordinaires que de gros camions. Pour corriger cela, le processus d'entraînement a été ajusté pour prêter une attention particulière aux images rares de camions afin que le robot ne les ignore pas.

4. Les Résultats : À quel point cela a-t-il fonctionné ?

L'équipe a testé ce robot sur deux ensembles de vidéos différents.

Test 1 : Le « terrain connu » (In-Distribution)

La configuration : Ils ont testé le système sur des vidéos provenant de la même rue où ils ont pris les clips d'entraînement (Ann Arbor).
Le score : Il a obtenu 94 % de réussite.
Les détails : Il était incroyable pour repérer les SUV (97 % de précision). Il était également très bon pour les voitures particulières et les pick-ups. La seule fois où il a eu des difficultés, c'est quand le véhicule était difficile à voir, et il a correctement utilisé son bouton « Je ne sais pas » au lieu de deviner de travers.

Test 2 : Le « match à l'extérieur » (Out-of-Distribution)

La configuration : Ils ont testé le système sur une vidéo provenant d'un lieu complètement différent, prise par un vélo de recherche spécial avec des caméras et un éclairage différents. Ils n'ont pas réentraîné le robot pour ce nouvel emplacement.
Le score : Il a obtenu 89 % de réussite.
Les détails : C'est un résultat très solide pour un système qui n'a pas été réentraîné pour un nouvel endroit.
- Les SUV et les Pick-ups sont restés très précis.
- Les Monospaces sont devenus un peu plus délicats. La précision a chuté, mais principalement parce que le robot est devenu plus prudent. Il a commencé à dire « Inconnu » plus souvent (25 % du temps) car les monospaces paraissaient différents dans cette nouvelle vidéo. Il n'a pas commencé à deviner n'importe quoi ; il a simplement admis son incertitude.

5. Pourquoi cela est important

C'est en Open Source : Les auteurs ont publié tout le code, le cerveau du robot entraîné et les données gratuitement. N'importe qui peut les télécharger et les utiliser pour analyser ses propres vidéos de rues.
La sécurité avant tout : En distinguant une petite voiture d'un gros camion, les urbanistes et les chercheurs en sécurité peuvent enfin comprendre exactement quels types de véhicules mettent les cyclistes en danger.
Pas de travail manuel : Avant cela, les humains devaient regarder des heures de vidéo pour compter ces véhicules. Maintenant, cet outil peut le faire automatiquement.

En bref, ce document présente un outil intelligent et gratuit qui agit comme un filtre en deux étapes. D'abord, il trouve les voitures. Ensuite, il les trie soigneusement en types spécifiques. S'il n'est pas sûr, il l'admet, garantissant que les données de sécurité ne sont pas corrompues par de mauvaises suppositions. Il fonctionne bien même sur de nouvelles rues sans avoir besoin d'être réentraîné.

Résumé technique : Un pipeline de vision par ordinateur en deux étapes et en open-source pour la classification fine des véhicules

Énoncé du problème
L'article traite d'une lacune critique dans la recherche sur la sécurité des cyclistes : l'absence d'outils automatisés capables de classer les véhicules en catégories pertinentes pour le risque de blessure à partir de vidéos routières naturalistes. Bien que les benchmarks de détection d'objets standards (ex. COCO) fournissent des étiquettes grossières (voiture, camion, bus, moto), celles-ci sont insuffisantes pour les analyses de sécurité qui nécessitent de distinguer des types de carrosserie spécifiques, tels que les voitures particulières par rapport aux SUV ou aux camions commerciaux. Les systèmes de reconnaissance fine existants sont généralement entraînés sur des images frontales contrôlées (ex. photos de constructeurs) et n'ont pas été rigoureusement évalués pour leur robustesse face à différents sites d'enregistrement ou à des conditions naturalistes impliquant du flou de mouvement, de l'occlusion et une luminosité variable. De plus, aucun pipeline open-source de bout en bout n'existe pour intégrer la détection en temps réel à la classification fine pour un déploiement sur les archives vidéo routières existantes sans infrastructure personnalisée.

Méthodologie
Les auteurs proposent un pipeline de vision par ordinateur modulaire en deux étapes, conçu pour un déploiage sur des vidéos routières standards :

Étape 1 : Localisation grossière des véhicules
- Modèle : Un détecteur RT-DETR (Real-Time DEtection TRansformer) pré-entraîné, spécifiquement le checkpoint rtdetr_r50vd_coco_o365.
- Fonction : Scanne les images vidéo à pleine résolution pour détecter tous les véhicules et attribue des étiquettes de catégories COCO grossières (voiture, camion, bus, moto).
- Filtrage : Le système ne conserve que les détections de type « car » (voiture) et « truck » (camion) pour un traitement ultérieur. Les détections de bus et de moto sont conservées avec leurs étiquettes grossières.
- Contraintes : Un seuil de confiance de 0,35 élimine les détections de faible confiance. Une porte de taille exclut les boîtes englobantes dont le côté le plus court est inférieur à 5,5 % de la hauteur de l'image ou dont la surface est inférieure à 0,04 % de celle-ci, empêchant la seconde étape de traiter des véhicules trop éloignés pour une analyse de texture significative.
Étape 2 : Classification fine
- Modèle : Un Vision Transformer (ViT-Base/16) affiné, pré-entraîné sur ImageNet-21k.
- Entrée : Images découpées des véhicules détectés à l'étape 1.
- Sortie : L'un des six types de carrosserie spécifiques : voiture particulière, SUV, pick-up, monospace, grande fourgonnette et camion commercial.
- Stratégie d'entraînement : Le modèle a été entraîné sur un jeu de données composite (16 581 images) combinant Stanford Cars (mappé sur 4 classes), des images extraites du web (pour les classes sous-représentées) et des extraits de terrain du site d'étude d'Ann Arbor. Pour remédier au déséquilibre sévère des classes (ex. les camions commerciaux représentent <1 % des données), les auteurs ont employé une perte focale (focal loss) avec pondération par fréquence inverse et un échantillonneur aléatoire pondéré.
- Mécanisme d'abstention : Un mécanisme de porte basé sur la confiance est appliqué à la sortie softmax de l'étape 2. Si la probabilité prédite maximale est inférieure à un seuil spécifique à la classe de 0,60, le système produit une étiquette « inconnu » plutôt qu'une prédiction de faible confiance. Ceci est conçu pour éviter les classifications erronées silencieuses dans des scénarios ambigus.

Principales contributions

Vocabulaire et pipeline novateurs : Le premier système open-source explicitement entraîné et évalué sur une taxonomie de six types de carrosserie pertinente pour le risque de blessure, allant au-delà des étiquettes grossières de COCO ou de l'identification de marque et de modèle.
Abstention basée sur la confiance : L'implémentation d'un mécanisme de seuillage qui convertit les prédictions incertaines en étiquettes « inconnu », fournissant une mesure calibrée de l'incertitude du modèle plutôt que de forcer des classifications erronées.
Évaluation rigoureuse : L'étude fournit une évaluation à grande échelle sur 3 805 événements de dépassement annotés dans un corridor de piste cyclable (en distribution) et une évaluation indépendante hors distribution (OOD) sur 311 événements provenant d'un autre ensemble de données de bicyclette instrumentée, sans réentraînement.
Publication en open-source : L'intégralité du pipeline, incluant les scripts d'inférence, le code d'entraînement, les utilitaires d'évaluation et les poids du modèle affiné, est publiée pour soutenir la reproductibilité.

Résultats

Performance en distribution (In-Distribution) : Sur le jeu de données d'Ann Arbor (3 805 événements), le pipeline a atteint une précision globale de 0,94. Les scores F1 par classe varient de 0,91 (monospace) à 0,97 (SUV). Les erreurs dominantes concernaient la confusion entre des catégories visuellement similaires (ex. voiture particulière vs SUV).
Performance hors distribution (Out-of-Distribution) : Sur le jeu de données indépendant de bicyclette instrumentée (311 événements), le pipeline a atteint une précision globale de 0,89 sans réentraînement ni ajustement de seuil.
- Trois des quatre catégories bien représentées (SUV, pick-up, voiture particulière) ont maintenu des scores F1 $\ge$ 0,90.
- Dégradation des monospaces : La baisse la plus significative s'est produite pour la catégorie monospace (F1 : 0,91 $\to$ 0,72). Les auteurs attribuent cela principalement à une augmentation du taux d'abstention (de 2,4 % à 25,0 %) plutôt qu'à une mauvaise classification active, indiquant que le mécanisme de confiance a propagé avec succès l'incertitude du modèle.
Classes minoritaires : Les camions commerciaux et les grandes fourgonnettes ont montré une incertitude élevée en raison de la rareté des échantillons dans les ensembles d'entraînement et d'évaluation, bien que le modèle ait démontré sa capacité à les classer lorsqu'ils sont présents.

Signification et revendications
L'article affirme qu'une architecture modulaire, allant du grossier au fin, combinant un détecteur polyvalent avec un Vision Transformer affiné, peut atteindre une classification fine des véhicules robuste sur des vidéos routières naturalistes sans nécessiter d'annotations de boîtes englobantes pour l'étape de détection ni de réentraînement spécifique au site pour le déploiement.

La signification de ce travail réside dans son application à la recherche sur la sécurité des cyclistes. En permettant une annotation automatisée et évolutive des types de carrosserie de véhicules, le pipeline permet aux chercheurs de quantifier l'exposition à des types de véhicules spécifiques (ex. les SUV vs les voitures particulières) qui sont disproportionnellement associés à des blessures graves. Cette granularité est actuellement absente des systèmes de surveillance du trafic et des bases de données d'accidents standards. De plus, le mécanisme d'abstention basé sur la confiance offre une caractéristique critique pour la sécurité des systèmes de surveillance automatisés, leur permettant de se dégrader de manière progressive en signalant les événements incertains pour examen humain plutôt que de produire des erreurs silencieuses. La nature open-source de l'outil est destinée à abaisser les barrières pour les chercheurs étudiant l'exposition des usagers vulnaires de la route et la composition du trafic.