Hazard-Aware Traffic Scene Graph Generation

Cet article présente un nouveau cadre de génération de graphes de scènes de circulation axé sur les dangers, qui intègre des données d'accidents et des indices de profondeur pour améliorer la compréhension des risques et fournir des recommandations intuitives pour la sécurité du véhicule.

L'essentiel

Imaginez que vous conduisez votre voiture. Votre cerveau doit faire des milliers de micro-décisions par seconde : "Est-ce que ce piéton va traverser ?", "Cette voiture derrière moi est-elle trop proche ?", "Ce panneau est-il important pour moi ?".

Le problème, c'est que notre cerveau (et les ordinateurs actuels) a tendance à regarder tout en même temps. C'est comme essayer d'écouter une conversation dans une discothèque bondée : on entend tout le bruit, mais on ne saisit pas le message important.

Les chercheurs de l'Université de Sydney ont créé un nouveau système appelé HATS (Hazard-Aware Traffic Scene Graph Generation). Voici comment cela fonctionne, expliqué simplement avec des analogies du quotidien.

1. Le problème : Le "Bruit" de la route

Les systèmes de conduite autonome actuels sont comme des caméras de surveillance très précises. Ils voient tout : les arbres, le ciel, les voitures garées loin, les piétons, les panneaux. Mais ils ne savent pas toujours quoi est vraiment dangereux pour vous, en ce moment précis. Ils vous disent "Il y a une voiture" (vrai), mais pas "Cette voiture va probablement me percuter dans 3 secondes" (ce qui est l'information vitale).

2. La solution HATS : Le "Chef d'orchestre" de la route

Le système HATS ne se contente pas de regarder ; il réfléchit à la situation. Il fonctionne en trois étapes clés, comme un chef d'orchestre qui trie les musiciens :

Étape A : Le Filtre Intelligent (ERES)

Imaginez que vous êtes dans une foule. Vous ne regardez pas chaque personne, seulement celles qui sont sur votre chemin ou qui pourraient vous bousculer.

• Ce que fait le système : Il ignore tout ce qui est hors de votre trajectoire (comme un oiseau dans le ciel ou une voiture garée à 100 mètres). Il se concentre uniquement sur les "acteurs" qui pourraient toucher votre voiture. C'est comme un garde du corps qui ne s'intéresse qu'aux gens qui s'approchent de son client.

Étape B : La Mémoire des Accidents (Le Cerveau Historique)

C'est la partie la plus innovante. La plupart des voitures intelligentes apprennent seulement en regardant des images. HATS, lui, a aussi lu des rapports d'accidents.

• L'analogie : Imaginez un chauffeur de taxi qui a conduit pendant 30 ans. Il ne voit pas seulement une voiture qui arrive, il se souvient : "Ah, ce type de comportement, j'ai déjà vu ça dans un rapport d'accident il y a 5 ans, ça finit toujours par une collision."
• Le système utilise une immense base de données d'accidents réels (des milliers de rapports) pour comprendre la gravité d'une situation. Il sait que "une voiture qui freine brusquement" est plus grave que "une voiture qui clignote".

Étape C : Le Dessin de la Dangerosité (Le Graphique)

Au lieu de simplement afficher des boîtes autour des objets, HATS crée un dessin schématique (un "graphe") qui relie votre voiture aux dangers.

• Comment ça se voit ? Imaginez un tableau de bord futuriste où les dangers sont colorés :
  • 🔴 Rouge (Urgent) : "Attention ! Collision imminente par l'arrière !"
  • 🟡 Jaune (Prudence) : "Piéton sur le trottoir, surveillez-le."
  • 🟢 Vert (Info) : "Voiture garée, pas de danger."
• Chaque danger a une étiquette qui explique pourquoi il est dangereux (ex: "Risque de collision frontale") et où il se trouve (ex: "À droite").

3. Pourquoi c'est génial ?

Les systèmes actuels sont comme des étudiants qui apprennent par cœur les règles de la route mais paniquent face à une situation réelle imprévue. HATS, lui, est comme un vieux routier expérimenté.

• Il ne se trompe pas sur la priorité : Il sait qu'un piéton qui hésite sur le bord du trottoir est plus important qu'un panneau publicitaire.
• Il utilise l'histoire : Il ne devine pas le danger, il le prédit en se basant sur ce qui s'est passé dans le passé.
• Il est clair : Il ne vous donne pas 100 informations, mais seulement les 3 ou 4 qui peuvent vous sauver la vie.

En résumé

Le projet HATS transforme la vision d'une voiture autonome. Au lieu de dire "Je vois 50 objets", il dit : "Je vois 3 objets qui comptent vraiment pour vous, et voici exactement comment ils pourraient vous blesser, basé sur des milliers d'accidents passés."

C'est passer d'une simple caméra de surveillance à un copilote expert qui a lu tous les manuels d'accidents et qui vous tient par la main pour vous guider en toute sécurité.

Résumé technique

1. Problématique

La conscience situationnelle dans les scénarios de conduite complexes est un défi majeur pour la sécurité routière. Les approches existantes souffrent de plusieurs limitations critiques :

• Manque de pertinence sécurité : Les modèles de détection actuels excellent à identifier des catégories sémantiques ou des régions visuellement saillantes, mais ils échouent à évaluer la rélevance sécurité (quels objets constituent une menace réelle pour le véhicule égo).
• Relations génériques inadéquates : Les graphes de scène (Scene Graphs - SG) standards utilisent des prédicats spatiaux génériques (ex: "sur", "dans") qui ne capturent pas la dynamique spécifique du trafic ni les mécanismes d'accident potentiels.
• Surcharge informationnelle : Traiter tous les entités d'une scène (ciel, arbres lointains, voitures stationnées) génère du bruit computationnel et dilue l'attention sur les dangers prioritaires.

L'objectif est de développer un système capable de prioriser l'attention sur les dangers saillants, de comprendre leurs relations spécifiques au trafic avec le véhicule égo, et de générer un graphe de scène intuitif pour guider le conducteur ou l'automate.

2. Méthodologie : Le cadre HATS

Les auteurs proposent HATS (Hazard-Aware Traffic Scene Graph Generation), un modèle centré sur le véhicule égo composé de deux branches principales : une branche principale de génération de graphe et une branche auxiliaire de connaissances.

A. Sélection des Entités Liées au Chemin Égo (ERES)

Avant de générer le graphe, le modèle doit filtrer les entités pertinentes.

• Module de Segmentation Panoptique (PS) : Utilise un réseau Mask2Former (basé sur ResNet50) pour segmenter et classifier toutes les entités de la scène.
• Filtrage ERES : Un module d'attention croisée apprenable compare les caractéristiques du chemin de trajectoire du véhicule égo avec les entités détectées. Il sélectionne uniquement les candidats susceptibles d'impacter la trajectoire (piétons, véhicules, infrastructures), rejetant les éléments non pertinents (ciel, arrière-plan lointain).

B. Construction et Intégration de la Base de Connaissances (KG)

C'est l'innovation majeure de l'article : l'utilisation de données d'accidents réels pour guider la compréhension visuelle.

• Source de données : Les auteurs construisent un Graphe de Connaissances (KG) à partir de fichiers d'enquête sur les accidents routiers (NHTSA, USA).
• Pipeline en 4 étapes :
  1. Extraction : Création de nœuds à partir des données brutes (conditions, véhicules, occupants).
  2. Structuration : Liaison des nœuds via des relations structurelles (attribution, conséquence).
  3. Causalité : Ajout d'arêtes causales pour modéliser les facteurs ayant mené à l'accident.
  4. Alignement : Création de nœuds "pont" pour aligner le KG avec les catégories sémantiques de la segmentation (ex: Cityscapes).
• Embedding de KG (KGE) : Utilisation d'une méthode avancée intégrant :
  • Des embeddings de nœuds littéraux (fusion de propriétés catégorielles et numériques).
  • Un mécanisme de passage de messages FiLM (Feature-wise Linear Modulation) pour adapter dynamiquement les messages en fonction des propriétés des arêtes (qualifiers).
  • Un scoreur de triplets basé sur un Transformer pour évaluer les relations.

C. Génération du Graphe de Scène de Trafic (TSGG)

Ce module génère les triplets centrés sur le véhicule égo : <Entité, Relation, Attribut>.

• Fusion de caractéristiques : Pour chaque paire (véhicule égo, entité candidate), le modèle fusionne :
  • Caractéristiques visuelles (RGB + Disparité/Profondeur).
  • Caractéristiques sémantiques (issues du décodeur de segmentation).
  • Caractéristiques géométriques (recouvrement avec le chemin, proximité).
  • Connaissances a priori (KGE) : Les embeddings du KG sont injectés pour fournir un contexte sur la sévérité et les mécanismes d'accident.
• Prédictions de relations : Trois têtes de classification prédisent :
  1. Mécanisme d'effet : (ex: collision frontale, frottement latéral, intersection).
  2. Côté relatif : (gauche, avant, droite).
  3. Niveau de sévérité : (information, prudence, imminent, critique).

3. Contributions Clés

1. Nouvelle formulation de tâche (TSGG) : Introduction de la génération de graphes de scène de trafic centrée sur le véhicule égo, mettant l'accent sur les dangers et leurs relations spécifiques au trafic, avec un jeu de données annoté sur Cityscapes.
2. Pipeline de Knowledge Graph (KG) : Création d'un KG unifié à partir de données d'accidents bruts, combiné à une méthode d'embedding (KGE) capable de gérer des relations hyper-relationnelles et des nœuds multi-attribués, surpassant les méthodes de base.
3. Intégration de données d'accidents historiques : Première utilisation explicite de données d'accidents passés comme modalité complémentaire pour l'interprétation d'images de trafic, guidant l'évaluation de la sévérité.

4. Résultats Expérimentaux

Les expériences ont été menées sur 820 images annotées de Cityscapes (80% pour l'entraînement, 20% pour le test/validation).

• Performance du KGE : Le module KGE atteint des scores H@10 proches de 99,8% pour la prédiction de triplets, démontrant une capacité exceptionnelle à capturer les motifs structurels et littéraux des données d'accidents.
• Priorisation des dangers (Hazards Prioritization - HP) : HATS surpasse significativement l'état de l'art (CFHP) avec un mAP@10 de 82,90% contre 60,97% pour le concurrent. Le modèle place les dangers les plus critiques en tête de liste de manière plus fiable.
• Détection de Graphe de Scène (SGDet) :
  • HATS obtient un R@50 de 62,79% et un mR@50 de 76,13%.
  • La métrique mR (mean Recall) est cruciale car elle évalue les relations rares (souvent les plus dangereuses). Les modèles de base (MOTIFS, VCTREE) échouent sur ces catégories rares, tandis que HATS maintient une performance élevée grâce au filtrage ERES et à l'intégration de connaissances.
• Classification de pertinence et de saillance : HATS atteint un F1-score de 95,03% pour la pertinence et 90,89% pour la saillance, surpassant largement les méthodes basées uniquement sur la vision.
• Étude d'ablation :
  • La suppression du module ERES fait chuter la performance de plus de 40% (R@1), prouvant que le filtrage des entités est une condition sine qua non.
  • La suppression du KGE ou des données de profondeur dégrade également fortement les performances, confirmant que la combinaison de la vision, de la géométrie et des connaissances historiques est nécessaire pour une prédiction robuste.

5. Signification et Impact

Ce travail représente une avancée significative pour la conduite autonome et l'assistance au conducteur :

• Interprétabilité : Contrairement aux boîtes noires, HATS produit des graphes explicites avec des mécanismes d'accident et des niveaux de sévérité, offrant une guidance intuitive (codage couleur, annotations).
• Approche centrée sur la sécurité : En intégrant des données d'accidents réels, le modèle ne se contente pas de "voir" la scène, il la "comprend" en termes de risques potentiels, comblant le fossé entre la perception visuelle et la prise de décision de sécurité.
• Robustesse : La capacité à généraliser à des relations rares et critiques (comme les collisions frontales ou les frottements latéraux) rend le système plus fiable dans des situations de vie ou de mort que les approches purement statistiques basées sur la fréquence des relations.

En résumé, HATS démontre que l'intégration de connaissances structurées (historique d'accidents) avec le raisonnement visuel centré sur l'agent est la clé pour une compréhension de scène de trafic véritablement consciente des dangers.