DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance

Ce papier présente DriverGaze360, un vaste jeu de données d'attention conducteur à 360° et la méthode DriverGaze360-Net qui, en intégrant une guidance par objets via une segmentation sémantique, permet une prédiction d'attention omnidirectionnelle performante pour les systèmes de conduite autonome.

L'essentiel

🚗 Le Problème : Le "Tunnel" des voitures actuelles

Imaginez que vous conduisez une voiture autonome. Aujourd'hui, les systèmes qui essaient de comprendre ce que vous regardez (votre attention) sont comme des caméras de surveillance fixées sur le pare-brise. Elles ne voient que ce qui est juste devant vous.

C'est comme si vous conduisiez avec un tuyau d'arrosage collé sur vos yeux : vous voyez la route devant, mais vous ne voyez rien sur le côté, ni derrière. Or, un vrai conducteur est un poulpe ! Il regarde devant, mais il jette aussi un coup d'œil dans les rétroviseurs pour vérifier s'il y a un piéton, un cycliste ou une voiture qui arrive par la gauche ou la droite.

Les anciennes technologies échouaient à comprendre ces mouvements de tête et de yeux vers les côtés ou l'arrière, car elles n'avaient pas les données pour apprendre ce comportement.

💡 La Solution : DriverGaze360 (Le "Casque de Vision Totale")

Pour régler ce problème, les chercheurs du DFKI (un centre de recherche allemand) ont créé deux choses magiques :

1. La Base de Données : "Le Monde en 360°"

Ils ont construit DriverGaze360, une immense bibliothèque de données.

• L'analogie : Imaginez que vous mettez un casque de réalité virtuelle à 19 conducteurs humains. Ce casque ne montre pas seulement la route devant, mais tout l'environnement à 360 degrés (devant, derrière, gauche, droite, haut, bas).
• Ce qu'ils ont fait : Ils ont filmé ces conducteurs dans un simulateur de conduite ultra-réaliste (comme un jeu vidéo très avancé) pendant qu'ils faisaient des manœuvres complexes : changer de voie, tourner, éviter des piétons.
• Le résultat : Ils ont collecté 1 million d'images où chaque point de regard (ce que le conducteur regarde exactement) est marqué. C'est la première fois qu'on a une carte complète de ce que les humains regardent dans toutes les directions, pas seulement devant.

2. L'Intelligence Artificielle : "Le Détective à Double Vision"

Ensuite, ils ont créé un cerveau artificiel nommé DriverGaze360-Net.

• L'analogie : Les anciens systèmes étaient comme un peintre qui essaie de deviner où vous regardez en regardant juste la route.
• Le nouveau système est comme un détective qui a deux casquettes :
  1. Il regarde où vous posez les yeux (la carte de l'attention).
  2. Il identifie l'objet que vous regardez (une voiture, un feu rouge, un cycliste).
• Pourquoi c'est génial ? En apprenant à nommer les objets en même temps qu'il prédit le regard, le détective devient beaucoup plus intelligent. Il comprend mieux l'espace. C'est comme si, au lieu de juste dire "regarde là", il disait "regarde le feu rouge là-bas". Cela l'aide à mieux comprendre la scène globale, même sur une image panoramique énorme.

🧪 Les Résultats : Pourquoi c'est une révolution ?

Les chercheurs ont testé leur nouveau détective contre les meilleurs anciens systèmes :

• Sur les données 360° : Le nouveau système a gagné haut la main. Il comprend bien mieux les situations où le conducteur regarde dans le rétroviseur (ce que les anciens systèmes ne pouvaient pas faire car ils ne "voyaient" pas le rétroviseur).
• Sur les vraies routes : Même quand on l'a testé sur des vidéos de vraies routes (sans casque 360°), il a continué à être meilleur que les autres. C'est comme si le détective avait appris une leçon de conduite si bien qu'il peut conduire n'importe où.

🎯 En Résumé

Imaginez que vous voulez enseigner à un robot à conduire comme un humain.

• Avant : Vous lui appreniez à regarder uniquement devant lui, comme un robot timide.
• Aujourd'hui (avec DriverGaze360) : Vous lui donnez des lunettes magiques qui lui montrent tout autour, et vous lui apprenez à identifier les dangers (piétons, voitures) en même temps qu'il regarde.

Grâce à cette invention, les voitures autonomes du futur pourront mieux comprendre l'intention des humains, anticiper les dangers cachés dans les angles morts et, surtout, devenir plus sûres et plus transparentes pour nous tous. C'est un pas de géant vers une cohabitation harmonieuse entre les humains et les robots sur la route.

Résumé technique

1. Problématique

La prédiction de l'attention du conducteur est cruciale pour le développement de systèmes de conduite autonome explicables et pour comprendre les comportements humains dans des scénarios de trafic mixte. Cependant, les travaux existants souffrent de limitations majeures :

• Champ de vision restreint : La plupart des modèles et des jeux de données actuels utilisent des caméras frontales étroites, ne capturant qu'une fraction de l'environnement visuel du conducteur.
• Manque de contexte spatial complet : Cette limitation empêche la modélisation de comportements critiques tels que les changements de voie, les virages, ou l'interaction avec des objets périphériques (piétons, cyclistes) et arrière (rétroviseurs).
• Données insuffisantes : Les jeux de données existants se concentrent souvent sur des événements critiques brefs ou sur des vidéos passives, sans couvrir la dynamique gazeuse omnidirectionnelle continue.

L'objectif de ce papier est de combler ce vide en fournissant une modélisation complète de l'attention du conducteur sur 360° et en développant un modèle capable d'exploiter ce contexte étendu.

2. Méthodologie

A. Le Jeu de Données : DriverGaze360

Les auteurs ont créé le premier jeu de données à grande échelle d'attention de conducteur avec un champ de vision (FoV) de 360°.

• Collecte : Réalisée dans un environnement de simulation contrôlé (CARLA) avec 19 conducteurs humains équipés de lunettes de suivi oculaire (Pupil Core).
• Configuration : Utilisation de trois écrans avant et deux écrans "picture-in-picture" (rétroviseurs) pour former un FoV continu de 360°.
• Scénarios : Le dataset couvre environ 9 heures de conduite (1 million de frames annotées) incluant :
  • Navigation non scriptée.
  • Navigation guidée vers un objectif.
  • Événements critiques de sécurité (freinage d'urgence, fusion sur autoroute, traversée de piétons, etc.).
• Annotations : Les points de fixation sont calibrés et transformés en cartes d'attention probables. Le dataset inclut également des masques de segmentation sémantique pour les objets routiers (véhicules, piétons, feux, etc.).

B. L'Architecture du Modèle : DriverGaze360-Net

Le modèle proposé est une architecture basée sur les Transformers Vidéo (Video Swin Transformer - VST) conçue pour traiter des séquences d'images panoramiques.

• Encodage : Extraction de caractéristiques spatio-temporelles multi-échelles à partir de séquences de frames RGB concaténées.
• Décodeurs Partagés : Un décodeur convolutif partagé fusionne les caractéristiques pour alimenter deux têtes de sortie :
  1. Décodeur d'Attention : Prédit la carte de probabilité de l'attention du conducteur (carte de saillance).
  2. Décodeur d'Objets Attenus (Attended Objects) : Prédit la segmentation sémantique des objets spécifiques sur lesquels le conducteur porte son attention (véhicules, piétons, feux, etc.).
• Approche de Supervision : Contrairement aux méthodes précédentes qui utilisent la segmentation sémantique complète de la scène, ce modèle utilise une extraction d'objets attenus. Seuls les objets intersectés par la carte de fixation du conducteur sont conservés pour l'entraînement de la segmentation. Cela permet de focaliser l'apprentissage sur les régions pertinentes.
• Fonction de Perte : L'optimisation est conjointe, combinant une perte pour la carte d'attention (Divergence KL + Corrélation négative) et une perte pour la segmentation d'objets (Dice + IoU + Entropie croisée).

3. Contributions Clés

1. DriverGaze360 : Le premier jeu de données omnidirectionnel à grande échelle (360°) avec des annotations de regard denses, capturant des comportements réalistes comme la surveillance des rétroviseurs, absents dans les données précédentes.
2. DriverGaze360-Net : Une architecture Transformer qui apprend conjointement la carte d'attention et la segmentation des objets attenus via une tête auxiliaire. Cette approche améliore la conscience spatiale et la robustesse sur des entrées panoramiques.
3. Pipeline d'Extraction d'Objets Attenus : Une méthode de fusion fixation-sémantique qui mappe les distributions de regard vers des instances d'objets, servant de supervision pour le modèle.

4. Résultats

Les expériences ont été menées sur le jeu de données DriverGaze360 et validées sur le jeu de données réel DADA-2000 (bien que celui-ci soit en FoV étroit, pour tester la généralisation).

• Performance sur DriverGaze360 : DriverGaze360-Net dépasse l'état de l'art (SOTA) sur toutes les métriques de saillance (KLD, SIM, CC, NSS). Par exemple, une amélioration de 12,18% sur le KLD par rapport à la deuxième meilleure méthode.
• Généralisation : Le modèle maintient des performances supérieures sur le jeu de données DADA-2000, démontrant qu'il n'est pas spécifique au domaine simulé et peut s'adapter aux données réelles.
• Analyse Ablative : L'ajout de la tête de segmentation d'objets attenus (AttObjSeg) améliore significativement les métriques d'attention par rapport à une base ne prédisant que la carte d'attention ou une segmentation sémantique complète. Cela confirme que guider le modèle vers les objets pertinents sémantiquement améliore la précision de l'attention.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de la perception pour la conduite autonome :

• Modélisation Holistique : Il permet pour la première fois de modéliser l'attention du conducteur dans son intégralité spatiale (360°), essentiel pour comprendre les comportements complexes comme les changements de voie ou la vérification des angles morts.
• Explicabilité (XAI) : En identifiant non seulement où le conducteur regarde, mais aussi quoi il regarde (objets spécifiques), le modèle offre une meilleure interprétabilité des décisions humaines, facilitant le développement de systèmes d'IA explicables.
• Sécurité : La capacité à prédire l'attention sur des objets périphériques ou arrière permet aux systèmes ADAS (Advanced Driver Assistance Systems) de mieux anticiper les réactions humaines et d'éviter les accidents liés à la distraction ou à l'inattention latérale.

En résumé, DriverGaze360 et son modèle associé posent les bases pour une nouvelle génération de systèmes de conduite autonome capables de comprendre et d'interagir de manière plus sûre et transparente avec les conducteurs humains dans des environnements complexes.