Résumé technique : Analyse du champ de vision étendu pour la génération de trajectoires basée sur VideoGAN

Énoncé du problème

La génération de trajectoires réalistes et diversifiées est une composante critique pour permettre des niveaux supérieurs d'automatisation des véhicules, particulièrement pour les tâches de prédiction, de planification et de simulation. Bien que les méthodes basées sur des règles et l'apprentissage classique peinent souvent à capturer la complexité du comportement du trafic, l'apprentissage profond offre une alternative prometteuse. Cependant, les approches existantes font face à des défis spécifiques :

• Modélisation discrète vs spatiale : La prédiction de trajectoire traditionnelle traite souvent le problème comme la prévision d'un ensemble discret de chemins séquentiels, ce qui peut poser des difficultés face aux séquences de longueur variable (agents entrant/sortant) et aux interactions spatiales complexes. À l'inverse, les approches spatiales comme les grilles d'occupation gèrent bien les contraintes d'aménagement mais manquent souvent des avantages de la modélisation générative pour capturer les distributions complètes de données.
• Efficacité computationnelle : Bien que les modèles de diffusion aient montré une haute fidélité visuelle et une grande diversité, leurs temps d'inférence (souvent de plusieurs secondes à plusieurs minutes par scène) les rendent moins adaptés à la proposition de trajectoires en temps réel par rapport aux Réseaux Antagonistes Génératifs (GANs).
• Évolutivité et hallucinations : L'extension des modèles génératifs à des champs de vision (FOV) plus larges pour capturer les dépendances à longue portée introduit des risques d'artefacts visuels, tels que des échecs de permanence d'objet (agents disparaissant ou se divisant) et des relations spatiales incohérentes, qui sont difficiles à quantifier.

Méthodologie

Les auteurs proposent un pipeline de bout en bout qui génère des scénarios de trafic sous forme de vidéos sémantiques en vue aérienne (Bird's-Eye-View - BEV) et extrait les trajectoires, en s'appuyant sur des travaux antérieurs [28] avec plusieurs améliorations techniques clés :

1. Représentation sémantique (Rasterisation)

Au lieu de l'encodage basé sur l'espace HSV utilisé dans les travaux précédents, les auteurs adoptent un espace colorimétrique Lab pour rasteriser les données de trajectoire en vidéos sémantiques BEV à basse résolution.

• Raisonnement : L'espace Lab (Luminance, Vert-Rouge, Bleu-Jaune) offre une séparation supérieure entre les catégories sémantiques (marquages au sol, feux de signalisation, véhicule propre, autres véhicules) par rapport à l'RGB ou l'HSV.
• Encodage :
  • Lignes centrales de la route : Rendues comme des lignes continues grises ($L \in [30, 90]$, $a, b \approx 0$).
  • Feux de signalisation : Rendus comme des cercles rouges, verts ou jaunes ($2\times2$ m) basés sur des plages ellipsoïdales spécifiques dans l'espace Lab.
  • Véhicules : Le véhicule propre est noir (faible $L$) ; les autres agents sont échantillonnés à partir d'une plage bleu-rose ( $b$ négatif, $L$ positif).
• Entrée : Le système traite les données du Waymo Open Motion Dataset, convertissant les coordonnées du monde en coordonnées d'image centrées sur un agent de référence.

2. Modèle génératif

Le cadre utilise un VideoGAN (spécifiquement la branche basse résolution de LongVideoGAN [3]) plutôt qu'un modèle de diffusion.

• Justification du choix : Bien que les modèles de diffusion offrent une fidélité visuelle plus élevée, les VideoGANs permettent une inférence nettement plus rapide (passage direct unique) et une stabilité d'entraînement, ce qui est crucial pour les applications en temps réel. L'architecture choisie est conçue pour générer des scènes dynamiquement cohérentes de longueur arbitraire.
• Entraînement : Le modèle est entraîné sur 60 000 séquences vidéo (128 images chacune, ~12,8s) pendant 200 000 étapes sur des GPU A100 de 80 Go.

3. Extraction de trajectoire

Une nouvelle méthode d'association basée sur les graphes remplace la procédure précédente de correspondance par matrice de coût.

• Détection d'objets : Les images sont traitées via un filtrage de couleur dans l'espace Lab pour créer des masques pour les feux de signalisation et les véhicules. Une étape d'inpainting est appliquée pour gérer les occultations (ex: véhicules passant sous les feux).
• Construction du graphe : Chaque objet détecté dans une image devient un nœud. Des arêtes sont établies entre les nœuds de trames adjacentes s'ils partagent le même type d'objet et présentent un chevauchement spatial. L'intensité de l'arête est proportionnelle au chevauchement.
• Avantage : Cette approche gère naturellement les trajectoires de longueur variable et les agents entrant ou sortant de la scène sans supposer un ensemble fixe d'agents suivis.

4. Cadre d'évaluation

Les auteurs introduisent un cadre quantitatif pour évaluer les "hallucinations" et la plausibilité physique :

• Métriques d'hallucination : Analyse du graphe de trajectoire pour détecter des degrés de nœuds anormaux (ex: nœuds avec deux parents indiquant une fusion, ou deux enfants indiquant une division).
• Métriques statistiques : Comparaison des distributions de vitesses, d'accélérations, de distances inter-véhicules et de temps de collision (TTC) entre les données générées et réelles.
• Interaction avec les feux de signalisation : Évaluation du comportement des véhicules (arrêt au rouge, passage au vert) par rapport à l'état des feux.

Contributions clés

1. Encodage sémantique amélioré : Introduction de l'encodage en espace colorimétrique Lab pour améliorer la séparation des catégories sémantiques, facilitant l'extraction précise des objets à partir des vidéos générées.
2. Extraction de trajectoire basée sur les graphes : Développement d'une méthode de suivi par graphe qui améliore la robustesse de l'extraction de trajectoire à partir de vidéos sémantiques, maintenant des temps d'inférence inférieurs à 20 ms pour des scènes allant jusqu'à 20 secondes.
3. Analyse systématique du FOV : Une investigation complète de la génération de scènes à travers trois plages longitudinales (15 m, 20 m et 25 m), démontrant la capacité du modèle à passer à des contextes de trafic plus larges et plus complexes.
4. Évaluation quantitative des hallucinations : Proposition d'une métrique spécifique pour mesurer les artefacts visuels (apparition, disparition, fusion, division des véhicules) en analysant la topologie des graphes de trajectoire extraits.

Résultats

Les expériences ont été menées sur le Waymo Open Motion Dataset avec trois configurations de FOV (15 m, 20 m, 25 m).

• Qualité visuelle et hallucinations :
  • Les scènes générées ont montré une similitude qualitative avec les données d'entraînement, avec une dynamique fluide et des trajectoires de véhicules alignées.
  • Permanence d'objet : Le modèle a géré avec succès les agents quittant et réentrant dans le cadre.
  • Taux d'hallucination : Pour les points de contrôle bien entraînés, les taux de fusion et de division étaient négligeables (<1 % pour les FOV de 15 m et 20 m). Les métriques "exclues des limites" (excluant les événements proches des bords de trame) montraient des taux encore plus bas d'apparition/disparition artificielle, suggérant que le modèle apprend des changements de visibilité de scène réalistes plutôt que de créer des agents.
• Statistiques au niveau de la trame :
  • Les distributions des surfaces d'empreinte des objets, des distances inter-véhicules et du nombre de véhicules/feux de signalisation dans les scènes générées correspondaient étroitement aux données réelles sur tous les FOV.
  • Les scènes générées maintenaient des distances de sécurité appropriées entre les agents.
• Dynamique :
  • Les distributions des vitesses relatives et des accélérations (incluant l'analyse en échelle logarithmique) s'alignaient précisément avec les données réelles.
  • Les distributions du temps de collision (TTC) indiquaient que les trajectoires générées étaient statistiquement aussi sûres que les réelles, sans augmentation des événements à faible TTC (haut risque).
• Interaction avec les feux de signalisation :
  • Les véhicules dans les scènes générées ralentissaient ou s'arrêtaient correctement aux feux rouges et traversaient les feux verts, avec des distributions de vitesse correspondant aux observations du monde réel.
• Efficacité :
  • Le temps d'inférence était d'environ 20 ms pour une scène de 15 secondes, évoluant linéairement avec la longueur de la séquence (atteignant 150 ms pour une scène de 2 minutes). Cette performance est jugée compétitive pour les tâches en temps réel en aval.

Signification et affirmations

L'article affirme que les VideoGANs restent une approche efficace et évolutive pour la génération de trajectoires réalistes, même lorsqu'ils sont étendus à des scènes de trafic nettement plus larges (jusqu'à 25 m de FOV longitudinal).

• Évolutivité : Le cadre se généralise à des scènes plus larges et plus complexes tout en maintenant des trajectoires statistiquement réalistes et des relations spatiales cohérentes.
• Praticité : Avec des temps d'inférence inférieurs à 20 ms pour des scènes allant jusqu'à 20 secondes, la méthode est adaptée aux tâches de pilotage automatisé en aval telles que la prédiction, la planification et la simulation, où la latence de calcul est une contrainte.
• Validité de la génération visuelle : Les résultats soutiennent l'hypothèse selon laquelle l'apprentissage de la dynamique du trafic via la génération purement visuelle de vidéos sémantiques (sans règles ou conditions explicites) est une stratégie viable pour capturer les interactions multi-agents complexes et les dépendances à longue portée.

Les auteurs concluent que, bien que les FOV plus larges introduisent une variance statistique légèrement plus élevée (ex: métriques de permanence d'objet), le système global démontre une robustesse, ce qui en fait un candidat sérieux pour générer des scénarios de trafic diversifiés et sûrs pour les systèmes de conduite automatisée.