CrashSight: A Phase-Aware, Infrastructure-Centric Video Benchmark for Traffic Crash Scene Understanding and Reasoning

1. Problématique et Contexte

La conduite autonome coopérative (CDA) nécessite une compréhension des scènes de trafic provenant à la fois des véhicules et des infrastructures (caméras routières). Bien que les modèles vision-langage (VLM) démontrent de fortes capacités de raisonnement général, leur performance dans des scénarios critiques pour la sécurité, tels que les accidents de la route, reste insuffisamment évaluée.

Les défis majeurs identifiés sont :

• Biais égo-centrique : La majorité des benchmarks existants se concentrent sur la perspective du véhicule (caméra embarquée), négligeant la vue des infrastructures (caméras fixes, vues aériennes ou latérales) essentielle pour la perception V2X (Vehicle-to-Everything).
• Manque de spécificité : Les benchmarks actuels pour les caméras de surveillance se limitent souvent à la détection d'anomalies sans supervision linguistique, ou à des questions générales (VQA) ne couvrant pas les scénarios d'accidents.
• Absence de raisonnement temporel et causal : Les datasets existants manquent d'annotations temporelles structurées et de protocoles d'évaluation pour des tâches cognitives supérieures comme l'attribution de la causalité, la progression temporelle des événements et l'évaluation de la sécurité basée sur des preuves.

2. Méthodologie : Le Benchmark CrashSight

Les auteurs proposent CrashSight, un benchmark à grande échelle conçu spécifiquement pour la compréhension des accidents de la route via des caméras d'infrastructure.

A. Construction du Dataset

• Source de données : 250 clips vidéo d'accidents réels extraits du corpus TAD (Traffic Accident Dataset), capturés par des caméras routières.
• Durée et résolution : Les clips varient de 5 à 70 secondes.
• Séparation : Le dataset est divisé en ensembles d'entraînement, de validation et de test (60/20/20) avec une disjointure au niveau des clips pour éviter les fuites d'information.

B. Pipeline d'Annotation "Phase-Aware" (Conscient des phases)

Une innovation clé est la décomposition temporelle de chaque accident en quatre phases narratives, préservée tout au long du processus d'annotation :

1. Contexte pré-accident : Environnement routier, mouvements des véhicules.
2. Dynamique de collision : Trajectoires, configuration de l'impact.
3. Conséquences post-accident : État des véhicules, des usagers, réponse d'urgence.
4. Causes potentielles : Analyse causale experte.

Le processus d'annotation suit trois étapes :

1. Brouillon assisté par VLM : Utilisation d'InternVL3-80B pour générer des légendes denses structurées par phase.
2. Raffinement par experts humains : Trois annotateurs corrigent les légendes (précision des entités, relations spatiales, limites temporelles, spécificité causale). Environ 90 % des brouillons nécessitent des corrections substantielles.
3. Vérification et génération de VQA : Un LLM vérifie la cohérence et génère des questions à choix multiples.

C. Taxonomie des Questions (VQA)

Le benchmark contient 13 000 paires question-réponse à choix multiples, organisées en deux niveaux cognitifs :

• Niveau 1 (Compréhension visuelle) :
  • Identification de la scène (SI) : Type de route, météo, éclairage.
  • Parties impliquées (IP) : Types de véhicules, usagers vulnérables, caractéristiques distinctives.
  • Résultat post-accident (PCO) : État des victimes, véhicules, interventions.
• Niveau 2 (Raisonnement complexe) :
  • Mécanique de l'accident (CM) : Type de collision, dynamique d'impact.
  • Détermination de la faute (FD) : Cause principale, infraction.
  • Séquence temporelle (TS) : Ordre des événements, comparaisons avant/après.
• Robustesse : Questions testant la résistance aux hallucinations (ex: demander des informations non observables comme le taux d'alcoolémie ou la présence d'entités absentes).

3. Contributions Clés

1. Premier benchmark infrastructure-centré : CrashSight est le premier benchmark VQA basé sur des vidéos de surveillance d'accidents, avec des annotations denses conscientes des phases temporelles.
2. Pipeline d'annotation évolutif : Une méthodologie à trois étapes combinant l'assistance par VLM, le raffinement expert et la vérification par LLM, permettant de construire des benchmarks dans des domaines critiques.
3. Évaluation exhaustive : Benchmarking de 8 configurations de VLM (modèles open-source de différentes tailles et familles) en mode zero-shot et fine-tuned.
4. Analyse d'erreurs systématique : Une taxonomie d'erreurs détaillée identifiant les goulots d'étranglement (budget de tokens visuels, encodeur figé, etc.).

4. Résultats Expérimentaux

Les auteurs ont évalué des modèles tels que LLaVA, Qwen2.5-VL et InternVL3.

• Impact du Fine-Tuning : L'adaptation spécifique au domaine (fine-tuning de Qwen2.5-VL) apporte des gains significatifs, allant de +13,5 % à +16,1 % en précision moyenne par rapport aux modèles de base. Un modèle finement ajusté de 3B paramètres (74,7 %) surpasse même un modèle zero-shot de 8B paramètres (68,7 %).
• Architecture vs Échelle : Pour le raisonnement zero-shot, l'architecture compte plus que la taille. InternVL3-8B obtient les meilleurs scores zero-shot (68,7 %), surpassant des modèles plus grands ou de même taille, grâce à sa capacité de traitement temporel.
• Difficulté des catégories :
  • Les catégories les plus difficiles sont "Parties impliquées" (IP) et "Mécanique de l'accident" (CM), où même les meilleurs modèles atteignent seulement 63-69 %, laissant un écart important avec les experts humains (94-95 %).
  • Les catégories comme "Résultat post-accident" (PCO) et "Détermination de la faute" (FD) sont plus accessibles après fine-tuning.
• Analyse des erreurs :
  • Le fine-tuning élimine efficacement les erreurs de format (ex: refus de répondre, traitement de la vidéo comme une image statique) et les hallucinations de robustesse.
  • Cependant, 347 erreurs persistent (25,4 % des cas), concentrées sur la reconnaissance visuelle fine (entités, mécanique). Cela révèle que le fine-tuning améliore le raisonnement linguistique mais ne résout pas les limites de la perception visuelle (encodage figé, résolution insuffisante, échantillonnage temporel uniforme manquant les moments clés).

5. Signification et Perspectives

• Limites actuelles : La principale barrière pour les modèles fondationnels n'est pas le raisonnement linguistique, mais la perception visuelle ancrée dans des vues d'infrastructure fixes (angles obliques, objets distants, occlusions partielles).
• Implications pour l'avenir :
  • Nécessité d'une meilleure utilisation des tokens visuels (échantillonnage adaptatif, sélection d'événements clés).
  • Intégration de la localisation spatiale explicite et du suivi d'objets.
  • Passage d'évaluations à choix multiples à des tâches plus riches (explications structurées, légendage dense).
  • Expansion du dataset pour inclure plus de diversité de scènes et réduire l'apprentissage de raccourcis.

Conclusion : CrashSight établit un cadre standardisé pour évaluer la perception assistée par l'infrastructure dans la conduite autonome coopérative. Il met en évidence que, bien que l'adaptation de domaine améliore les performances, les modèles actuels restent loin de la fiabilité humaine pour l'analyse visuelle fine des accidents, soulignant la nécessité d'une co-conception entre l'architecture des modèles et les stratégies d'entraînement spécifiques aux données de surveillance.