💻 computer science

Zero-Shot Traffic Accident Detection via a Coarse-to-Fine VLM-Tracking Pipeline

Cet article présente un pipeline sans entraînement, de l'échelle grossière à la précision fine, qui combine un modèle vision-langage Qwen3-VL-32B gelé avec la détection et le suivi d'objets pour atteindre l'état de l'art de la détection zéro-shot d'accidents de la route sur des séquences réelles de vidéosurveillance, surpassant les bases de référence existantes de 22 % sans nécessiter aucune donnée d'entraînement réelle étiquetée.

Auteurs originaux : Dipit Saha, Shah Mohammad Abdul Mannan, Mohammad Raihan Rashid, Ruwad Naswan, Ahnaf Tahmid

Publié 2026-08-11

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dipit Saha, Shah Mohammad Abdul Mannan, Mohammad Raihan Rashid, Ruwad Naswan, Ahnaf Tahmid

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un crime, mais que la seule preuve dont vous disposez soit une vidéo de surveillance granuleuse de 30 secondes. La vidéo est floue, les voitures ne sont que de minuscules points, et l'accident se produit en un clin d'œil. Maintenant, imaginez que vous deviez dire à un ordinateur exactement quand l'accident s'est produit, où sur l'écran les voitures se sont percutées, et de quel type d'accident il s'agissait (comme une collision frontale ou un accrochage latéral). Le hic ? Vous n'avez pas le droit de montrer à l'ordinateur des exemples réels d'accidents de voiture pour lui apprendre, il doit tout découvrir par lui-même, en utilisant uniquement ce qu'il « sait » déjà grâce à l'immense Internet. C'est le défi de l'Apprentissage Zero-Shot : enseigner à une machine à reconnaître une situation nouvelle sans manuel d'instruction spécifique. Dans le monde de l'intelligence artificielle, c'est comme demander à un étudiant de réussir un examen final sur un sujet qu'il n'a jamais étudié, en se basant uniquement sur son bon sens général.

Ce document traite de ce problème exact pour les accidents de la route. Les auteurs ont conçu un système ingénieux en « deux passes » qui agit comme un détective muni d'une loupe et d'un chronomètre. Au lieu de fixer l'ensemble de la vidéo d'un coup et de s'embrouiller, le système effectue d'abord un balayage rapide et grossier pour deviner quand l'accident s'est probablement produit. Ensuite, il zoome sur ce moment précis, en utilisant un outil distinct pour dessiner des boîtes autour des voitures et noter leur position exacte. Il transmet cette image ultra-détaillée et annotée à un cerveau d'IA géant (un Modèle Vision-Langage) pour obtenir la réponse finale. Le résultat ? Le système a deviné le moment, l'endroit et le type d'accident mieux que toute autre méthode publiée par les organisateurs de la compétition, et ce, sans jamais avoir vu un seul accident réel durant son « entraînement ».

La danse du détective en deux étapes

L'idée centrale de ce document est que regarder une vidéo entière d'un seul coup est une mauvaise stratégie pour trouver des accidents. Les accidents sont fugaces ; ils peuvent ne durer que de 100 à 500 millisecondes (soit moins d'une demi-seconde !) au sein d'un clip de 30 secondes. Si vous montrez simplement quelques images aléatoires à un ordinateur, c'est comme essayer de trouver une seconde précise dans un film en feuilletant les pages au hasard : vous risquez de manquer l'action complètement. Les auteurs appellent cela le « problème de l'image de contact ».

Pour résoudre cela, ils ont conçu un Pipeline Coarse-to-Fine (du grossier au précis), qui est essentiellement une enquête en deux étapes.

Étape 1 : Le balayage grand angle (Passe Grossière)
D'abord, le système jette un regard rapide et large sur l'ensemble de la vidéo. Il capture 60 images réparties sur les 30 secondes. Il demande à un modèle d'IA puissant (appelé Qwen3-VL-32B-Instruct) de deviner deux choses : « Quand pensez-vous que l'accident s'est produit ? » et « Quel type d'accident était-ce ? ».
Voyez cela comme un détective jetant un coup d'œil à une scène de crime depuis le trot d'en face. Il ne voit pas les détails, mais il peut dire : « Oh, on dirait qu'un accident de voiture s'est produit vers la 15e seconde ». Cette supposition n'est pas parfaite, mais elle donne au système un point de départ. Elle ancre la recherche dans le temps afin que l'étape suivante n'ait pas à chercher aveuglément.

Étape 2 : La loupe (Passe Précise)
Une fois que le système a une estimation approximative du moment (disons, 15 secondes), il ne s'arrête pas là. Il crée une petite « fenêtre » de temps autour de cette estimation — spécifiquement, 2 secondes avant et 2 secondes après l'heure estimée. C'est le moment critique.
À l'intérieur de cette fenêtre de 4 secondes, le système passe à la vitesse supérieure. Il fait tourner un détecteur d'objets ultra-rapide (YOLO11x) et un tracker (BoT-SORT) à la vitesse réelle de la vidéo. Ces outils font deux choses importantes :

Ils dessinent des boîtes : Ils placent un rectangle coloré autour de chaque voiture qu'ils voient.
Ils rédigent un rapport : Ils ne se contentent pas de montrer l'image ; ils écrivent aussi les coordonnées exactes de ces boîtes sous forme de chiffres (par exemple, « Voiture 1 est à la position 0,49, 0,62 »).

Maintenant, le système montre cette scène annotée et zoomée au même modèle d'IA géant. Mais cette fois, l'IA ne regarde pas seulement une image floue ; elle regarde une image accompagnée d'une description textuelle de l'emplacement des voitures. C'est comme donner au détective une photo avec des flèches pointant les suspects et une note disant : « Le suspect A se tient ici ». Cette combinaison d'indices visuels et numériques aide l'IA à localiser précisément le moment de l'impact et l'endroit exact sur l'écran.

Pourquoi cela importe et ce que cela évite

Le document argumente explicitement contre une approche « directe » où l'on injecterait simplement toute la vidéo à une IA en une seule fois. Les auteurs ont constaté que si l'on fait cela, l'IA s'embrouille. Elle a tendance à supposer que l'accident s'est produit au milieu de la vidéo (un « biais de milieu de vidéo »), peu importe quand il a réellement eu lieu. Elle peine également à trouver l'emplacement exact car les voitures sont si petites et floues dans les images de vidéosurveillance à basse résolution.

En rejetant la méthode « en un coup » (one-shot), les auteurs ont prouvé que diviser le problème fonctionne bien mieux. Ils ont également veillé à éviter un piège courant dans la recherche en IA : le fine-tuning (ajustement fin). Habituellement, pour rendre une IA performante sur une tâche spécifique, on lui fournit des milliers d'exemples étiquetés de cette tâche. Ici, les auteurs n'avaient pas le droit d'utiliser de vidéos d'accidents réels pour l'entraînement. Ils ont dû compter entièrement sur les connaissances préexistantes de l'IA (zero-shot). Ils ont utilisé un ensemble de données synthétiques (des accidents générés par ordinateur via un jeu appelé CARLA) pour les aider à construire le système, mais le test final portait sur des images de vidéosurveillance réelles, désordonnées et concrètes, que l'IA n'avait jamais vues auparavant.

Les résultats : Un nouveau record

Lorsqu'ils ont testé leur système sur le défi officiel, qui comprenait 2 027 clips de vidéosurveillance réels, les résultats ont été impressionnants. La compétition utilisait un système de notation spécial appelé « moyenne harmonique », qui est un peu comme un bulletin de notes où, si vous échouez dans une matière (comme deviner le temps), votre note globale chute à zéro.

Le système des auteurs a obtenu un score de 0,504.
Cela a battu la meilleure entrée précédente (qui était un mélange complexe de nombreux modèles) par une marge significative. Le score précédent était de 0,412.
Pour mettre cela en perspective, la méthode des auteurs était environ 22 % meilleure que celle du second meilleur concurrent.

Le système était particulièrement efficace pour deviner le temps de l'accident (score de 0,549) et le type de crash (score de 0,503). Il était légèrement moins performant pour deviner l'emplacement exact (score de 0,468), mais l'amélioration globale a suffi pour prendre la première place.

Le « filet de sécurité » et les dysfonctionnements

Les auteurs ont été assez malins pour réaliser que l'IA peut être instable. Ils ont intégré plusieurs « filets de sécurité » pour éviter que le système ne plante ou n'abandonne.

Le plancher temporel : Si l'IA devinait que l'accident s'était produit à 0 seconde (ce qui est généralement faux), le système la forçait à choisir un moment légèrement plus tardif pour éviter un score de « zéro ».
Le repli (Fallback) : Si le système recevait trop de données et manquait de mémoire (un problème courant avec les grands modèles d'IA), il disposait d'un plan de secours pour réessayer avec moins d'images.
Le garde-fou JSON : Parfois, les modèles d'IA deviennent bavards et écrivent du texte supplémentaire au lieu de donner simplement la réponse. Le système était programmé pour ignorer cela et ne chercher que le format de réponse spécifique.

Même avec ces protections, le système n'était pas parfait. Les auteurs ont constaté que dans les vidéos très sombres ou fortement compressées, le système avait parfois du mal à voir les voitures, ce qui le poussait à deviner le milieu de l'écran. Ils ont également remarqué que pour les accidents de type « accrochage latéral » (où les voitures se touchent à peine), le système manquait parfois le premier contact subtil et devinait un moment légèrement différent. Cependant, ce sont là les seuls modes de défaillance majeurs, et le système a tout de même surpassé tout le reste.

Ce qu'il faut retenir

Ce document démontre qu'il n'est pas nécessaire d'entraîner une IA sur des millions d'accidents réels pour en faire un bon détective d'accidents. Au lieu de cela, on peut lui donner une stratégie intelligente : un balayage rapide pour trouver le « quand », suivi d'un regard détaillé et annoté pour trouver le « où » et le « quoi ». En combinant un cerveau d'IA puissant avec un outil de suivi rapide et précis, les auteurs ont créé un système capable de comprendre les accidents de la route en temps réel, sans avoir besoin d'une bibliothèque d'accidents passés pour apprendre. Cela rappelle que, parfois, la meilleure façon de résoudre un problème difficile n'est pas d'y jeter plus de données, mais de réfléchir plus intelligemment à la manière dont on l'observe.

=== RÉSUMÉ ===

Résumé Technique : Détection d'Accidents de la Route en Zero-Shot via un Pipeline de Suivi VLM à deux étapes (Coarse-to-Fine)

1. Définition du Problème

Le document traite du défi consistant à extraire des enregistrements d'événements structurés à partir de séquences vidéo brutes de surveillance routière (CCTV). Plus précisément, le système doit prédire simultanément trois composantes :

Localisation Temporelle ( $\hat{t}$ ) : L'instant exact de la collision.
Localisation Spatiale ( $\hat{x}, \hat{y}$ ) : La position d'impact normalisée dans le cadre.
Classification du Type de Collision ( $\hat{c}$ ) : Le type d'accident (ex: collision frontale, collision par l'arrière, frottement latéral, collision latérale type T, ou véhicule seul).

L'évaluation est menée sous les contraintes du benchmark ACCIDENT @ CVPR, qui impose un cadre de zero-shot strict : aucune donnée d'entraînement réelle étiquetée n'est disponible. Les systèmes doivent généraliser à partir d'un ensemble de développement synthétique basé sur CARLA vers 2 027 clips de vidéos réelles de CCTV. La performance est mesurée par la moyenne harmonique (HM) des scores des trois branches. Cette métrique est impitoyable ; si une seule branche échoue, le score global s'effondre à zéro.

Les principaux défis identifiés incluent :

Qualité des Données : Basse résolution, compression lourde, séquences nocturnes et véhicules n'occupant que quelques pixels.
Sparsité Temporelle : Les accidents occupent seulement 100 à 500 ms au sein d'un clip de 30 secondes, ce qui rend l'échantillonnage uniforme susceptible de manquer le moment du contact.
Biais du Modèle : Les modèles de vision-langage (VLM) présentent un « biais de milieu de vidéo », par défaut vers le milieu du clip ( $\hat{t} \approx D/2$ ) en cas d'incertitude.
Récupération des Coordonnées : Les pixels de basse résolution rendent la récupération précise des coordonnées spatiales peu fiable sans contexte supplémentaire.

2. Méthodologie

Les auteurs proposent un pipeline à deux passes (coarse-to-fine) sans entraînement, qui intègre un VLM gelé avec des composants classiques de vision par ordinateur (détection et suivi).

Architecture Centrale

Le système utilise un modèle Qwen3-VL-32B-Instruct gelé, couplé à YOLO11x pour la détection d'objets et BoT-SORT pour le suivi multi-objets. Aucun ajustement fin (fine-tuning) n'est effectué sur les données réelles.

Passe 1 : Localisation Temporelle Grossière (Coarse)

Entrée : Le clip vidéo complet est échantillonné de manière éparse (jusqu'à 60 images à 2 fps).
Processus : Les images sont entrelacées avec des jetons de temps (ex: <T.T secondes>) et transmises au VLM.
Sortie : Le modèle renvoie un objet JSON contenant un temps d'accident grossier ( $\hat{t}_c$ ) et un indice de type de collision ( $\hat{c}_c$ ).
Objectif : Ancrer le moment de la collision dans le temps, afin de réduire la fenêtre de recherche avant de commencer le raisonnement spatial.

Passe 2 : Raffinement Temporel et Spatial Fin (Fine)

Définition de la Fenêtre : Une fenêtre étroite de 4 secondes ( $[\hat{t}_c - 2s, \hat{t}_c + 2s]$ ) est définie autour de l'estimation grossière.
Suivi (Tracking) : YOLO11x et BoT-SORT fonctionnent au taux d'images natif de la vidéo (et non sous-échantillonnés) pour maintenir des identités de véhicules stables. Un seuil de confiance bas (0.1) assure le suivi des véhicules flous ou occultés.
Annotation et Prompting :
- 24 images sont échantillonnées uniformément dans la fenêtre de suivi.
- Les images sont annotées avec des boîtes englobantes et des identifiants de véhicules en utilisant un seuil de visualisation de 0.3.
- Entrée à Double Vue : Chaque image est présentée au VLM avec deux formes d'information :
  1. Superposition Visuelle : L'image avec les boîtes englobantes et les étiquettes dessinées (ex: [Car 1]).
  2. Texte Numérique Explicite : Texte de coordonnées normalisées (ex: [Car 1: (0.491,0.620)-(0.589,0.694)]).
Sortie : Le modèle renvoie un objet JSON raffiné avec le temps d'accident final, les coordonnées centrales ( $\hat{x}, \hat{y}$ ) et le type de collision.

Sécurités lors de l'Inférence

Pour éviter les échecs catastrophiques qui annuleraient la moyenne harmonique, le système emploie plusieurs mécanismes de repli :

Plancher Temporel (Temporal Floor) : Empêche les sorties de temps zéro dégénérées.
Réessai YOLO / Repli sur Image Brute : Si la détection échoue (ex: clips de nuit ou compressés), le système revient aux images brutes pour la passe fine.
Réessai à Fenêtre Courte : Si le VLM manque de mémoire (OOM) lors de la Passe 2, il réessaie avec moins d'images et un contexte plus étroit.
Sécurité JSON : Garantit que les sorties malformées ne font pas planter l'évaluation du clip.

3. Contributions Clés

Pipeline Zero-Shot sans Entraînement : Une méthode qui atteint des résultats de pointe sur des données CCTV réelles sans aucun entraînement étiqueté réel, reposant uniquement sur un VLM gelé et des détecteurs prêts à l'emploi.
Stratégie Coarse-to-Fine : Une approche novatrice à deux passes qui découple l'ancrage temporel du raisonnement spatial, atténuant efficacement le « biais de milieu de vidéo » et la difficulté de trouver des événements de collision rares dans de longs clips.
Prompting Visuel-Numérique : L'intégration de texte de coordonnées normalisées aux côtés des superpositions de boîtes englobantes visuelles fournit au VLM des preuves à la fois sémantiques et géométriques explicites, améliorant considérablement la précision de la localisation spatiale sur des images de basse résolution.
Suivi d'Identité Stable : L'utilisation du suivi au taux d'images natif (BoT-SORT) garantit des identifiants de véhicules cohérents, évitant les erreurs d'échange d'ID qui dégradent les prompts visuels dans les approches sous-échantillonnées.

4. Résultats

Sur l'ensemble de test officiel de 2 027 clips de CCTV réels, le système a obtenu les résultats suivants :

Score de Moyenne Harmonique (HM) : 0.504 (Classement privé : 0.503).
Comparaison : Cela surpasse la meilleure base de référence publiée par les organisateurs (un ensemble multi-modèles) qui a obtenu 0.412, représentant une amélioration relative de 22 %.
Performance des Branches :
- Score Temporel ( $T$ ) : 0.549 (Gain de +0.206 par rapport à la meilleure base de référence).
- Score Spatial ( $S$ ) : 0.468 (Légère régression de -0.020, attribuée aux échecs de suivi dans certains cas limites comme les véhicules entrant tardivement).
- Score de Classification ( $C$ ) : 0.503 (Gain de +0.070).

Les auteurs notent que la légère régression du score spatial est un compromis accepté pour gagner des améliorations significatives de la précision temporelle et de classification, qui sont plus difficiles à atteindre sans le pipeline proposé.

5. Signification et Revendications

Le papier affirme que sa principale signification réside dans la démonstration que des tâches de prédiction conjointe complexes dans des vidéos de surveillance peuvent être résolues sans données d'entraînement réelles en exploitant les larges connaissances préalires des grands VLM, à condition qu'ils soient guidés par un pipeline d'inférence structuré à plusieurs étapes.

Les points clés soulignés par les auteurs :

Nécessité de Structure : Un appel VLM à passe unique échoue sur les trois axes en raison de la sparsité temporelle et de l'ambiguïté spatiale. La structure coarse-to-fine est essentielle.
Valeur de la Géométrie Explicite : Fournir au modèle du texte de coordonnées normalisées aux côtés des superpositions visuelles est crucial pour récupérer des localisations précises à partir de pixels de basse résolution.
Ingénierie de Robustesse : Le succès du système est en partie dû aux sécurités d'ingénierie (replis, mécanismes de réessai) qui empêchent les échements ponctuels d'invalider le score de l'ensemble du clip.
Limites : Les auteurs reconnaissent le coût computationnel (deux appels VLM + détecteur/tracker par clip) et la nature empirique de certains choix de conception en raison de l'absence de labels de validation réels. Ils suggèrent que des travaux futurs pourraient explorer des pré-filtres temporels légers et des détecteurs de véhicules uniques dédiés pour réduire davantage certains modes d'erreur spécifiques (ex: erreurs de classification de type T).