Résumé Technique : Prendre en compte l'écart entre le privilégié et la caméra

Énoncé du Problème

Les modèles de conduite autonome privilégiant la caméra prédisent les futurs points de passage (waypoints) du véhicule égo-véhicule en utilisant uniquement des images RGB, des caractéristiques d'état égo et des commandes de trajectoire. Bien que les systèmes de bout en bout reliant ces entrées directement aux commandes soient évolutifs, les auteurs soutiennent que la supervision par points de passage standard seule laisse souvent la représentation des usagers de la route (acteurs) faiblement supervisée. Dans des scènes urbaines complexes, la trajectoire de l'égo-véhicule dépend fréquemment d'un petit ensemble spécifique de véhicules, piétons ou cyclistes. Un objectif de point de passage pur contraint le chemin final mais peut échouer à forcer les caractéristiques d'image intermédiaires à encoder explicitement quels acteurs existent, lesquels sont pertinents, ou comment ils se déplacent.

Le problème central abordé est de savoir si une supervision au niveau de l'acteur, uniquement lors de l'entraînement, peut améliorer la prédiction de points de passage en boucle ouverte basée uniquement sur la RGB sans nécessiter d'informations privilégiées sur l'état des acteurs (ex: coordonnées exactes du simulateur) au moment de l'inférence. Les auteurs visent à quantifier l'« écart entre le privilégié et la caméra » — la différence de performance entre les modèles utilisant les états exacts des usagers de la route et ceux s'appuyant uniquement sur les entrées de la caméra.

Méthodologie

Vue d'ensemble du Cadre

L'approche proposée traite la prédiction de points de passage privilégiant la caméra comme un problème d'apprentissage de représentation centré sur l'acteur et supervisé. Le système introduit la supervision par Sidecar d'Usager de la Route (RU-sidecar) : des étiquettes auxiliaires dérivées hors ligne des états du simulateur qui guident l'entraînement d'un modèle basé sur la caméra. Ces étiquettes ne sont jamais utilisées comme entrées lors de l'inférence.

Le cadre se compose de trois composants principaux :

1. Trajectoire de Caméra Déployable : Un modèle étudiant qui prend en entrée des RGB multi-vues, l'état égo et les commandes de trajectoire. Il prédit des représentations intermédiaires centrées sur les acteurs (tokens d'acteurs), classe leur pertinence, prédit des futurs à court horizon pour les acteurs sélectionnés, et utilise ces derniers pour prédire les futurs points de passage de l'égo-véhicule.
2. Générateur d'Étiquettes Hors Ligne : Un module qui traite l'état du simulateur pour générer des étiquettes sidecar ($S_t$) pour l'entraînement. Celles-ci incluent :
   • Géométrie et Attributs de l'Acteur ($B_t$) : Classe, position, cap, vitesse et masques de validité.
   • Étiquettes Ancrées dans l'Image ($G_t$) : Projections des emplacements d'acteurs dans les vues de la caméra.
   • Pertinence Conditionnée par la Cible ($C_t$) : Un score de pertinence ($c_i$) classant les acteurs selon la distance, la vitesse relative, le temps avant conflit, la pertinence de la voie de la route, le statut d'usager vulnérable de la route (VRU), et le chevauchement rétrospectif du futur chemin de l'égo.
   • Futurs des Acteurs Sélectionnés ($F_t$) : Cibles de mouvement à court horizon pour les $K$ meilleurs acteurs pertinents.
3. Chemin de Simulateur Non-Déployable : Un modèle de référence diagnostique utilisant les états exacts des acteurs du simulateur ($A_t$) comme entrée. Il sert d'oracle pour estimer l'écart de performance restant et, optionnellement, de professeur pour la distillation.

Architecture du Modèle

Le modèle déployable utilise un encodeur visuel partagé (ConvNeXt-Tiny) pour traiter l'historique RGB. Il emploie une interface étudiante comprenant :

• Tête de Token d'Acteur : Prédit un ensemble fixe de slots d'acteurs dérivés de la caméra et de leurs attributs.
• Sélecteur : Classe les slots d'acteurs par pertinence pour l'égo-véhicule.
• Tête de Dynamique : Prédit les futurs à court horizon pour les top-$K$ acteurs sélectionnés.
• Planificateur de Points de Passage : Porte attention aux tokens de futur des acteurs sélectionnés pour prédire la trajectoire de l'égo.

Pendant l'entraînement, les slots prédits sont appariés aux acteurs sidecar via un appariement déterministe par recherche de voisinage du centre (greedy nearest-center matching). Les pertes incluent :

• Primaire : Perte d'imitation de point de passage ($L_{wp}$).
• Pertes Sidecar : Objets/géométrie ($L_{obj}$), attributs ($L_{attr}$), classement de pertinence ($L_{sel}$), et dynamique de l'acteur sélectionné ($L_{dyn}$).
• Optionnelle (Distillation) : Alignement avec le professeur ($L_{dist}$) utilisant le modèle d'état du simulateur.

Protocole Expérimental

Les expériences utilisent un instantané fixe du simulateur LMDrive avec des séparations disjointes par route (aucune route n'apparaît dans plusieurs séparations). L'évaluation est strictement en boucle ouverte, mesurant l'erreur de déplacement final (FDE) et l'erreur de déplacement moyenne (ADE) sur des routes non vues. L'étude compare :

• Une ligne de base RGB simple de points de passage uniquement.
• Un contrôle « sans professeur » apparié (même architecture, pas de pertes sidecar).
• Des modèles RU-sidecar (avec et sans alignement de professeur).
• Des diagnostics non-déployables (acteur sélectionné par l'oracle et dynamique d'état du simulateur).

Résultats Clés

Performance Quantitative

Sur l'ensemble de test, le modèle RU-sidecar sans alignement de professeur a atteint une erreur de déplacement final (FDE) de 1,223 ± 0,01 m.

• Cela représente une réduction de 32,6 % par rapport à la ligne de base RGB de points de passage simples (1,815 m).
• Cela représente une réduction de 28,7 % par rapport au contrôle non-sidecar apparié sans professeur (1,716 m).
• Le modèle s'est amélioré par rapport à la ligne de base sur 1445/1494 routes et par rapport au contrôle apparié sur 1417/1494 routes.

Alignement du Professeur : L'ajout d'un professeur d'état de simulateur a encore réduit la FDE à 1,186 m mais a introduit une plus grande variabilité entre les graines (seeds). Les auteurs considèrent cela comme secondaire par rapport au résultat robuste sans professeur.

Diagnostics :

• Le diagnostic d'acteur sélectionné par l'oracle (utilisant la sélection exacte des acteurs mais les caractéristiques de la caméra) a atteint une FDE de 1,146 m.
• Le diagnostic de dynamique d'état du simulateur (utilisant les états exacts des acteurs) a atteint une FDE de 0,174 m.
• Le grand écart entre le modèle RU-sidecar (1,223 m) et le diagnostic d'état du simulateur (0,174 m) confirme qu'un important « écart entre le privilégié et la caméra » subsiste.

Analyse par Tranches (Slice Analysis)

Les améliorations ont été constantes dans toutes les tranches non vides conditionnées par les acteurs :

• Scènes à forte densité d'acteurs : Réduction de la FDE de 29,1 % pour les échantillons avec $\ge$ 4 acteurs sidecar valides.
• Usagers Vulnérables de la Route (VRU) : Réduction de la FDE de 30,0 % lorsqu'un piéton ou un cycliste est présent.
• Par Horizon : Une réduction de l'erreur a été observée sur les 6 horizons de prédiction.

Résultats d'Ablation

• La suppression de la supervision du futur de l'acteur ($L_{dyn}$) ou de la supervision du sélecteur ($L_{sel}$) a provoqué une régression de la performance proche de la ligne de base, indiquant que les deux composantes sont critiques pour les gains.
• Le simple repondérage de la perte de point de passage ou les contrôles de professeur permutés n'ont produit que des améliorations négligeables, suggérant que les gains sont spécifiques à la structure de supervision centrée sur l'acteur.

Signification et Revendications

L'article affirme que la supervision sidecar dérivée du simulateur, uniquement lors de l'entraînement, améliore significativement la prédiction de points de passage en boucle ouverte pour les modèles privilégiant la caméra. En formulant le problème comme un apprentissage de représentation centré sur l'acteur, le modèle apprend à encoder la structure des usagers de la route (existence, pertinence et mouvement) à partir des entrées RGB seules, ce qui aide à son tour la planification de trajectoire.

Les principales contributions incluent :

1. Formulation : Traiter la prédiction de points de passage privilégiant la caméra comme un problème de représentation centré sur l'acteur supervisé.
2. Méthode : Introduction d'étiquettes RU-sidecar pour l'ancrage des acteurs, la pertinence et le mouvement sans compromettre l'inférence basée uniquement sur la RGB.
3. Évaluation : Un « escalier de contrôle » qui isole les effets de la supervision des acteurs des changements architecturaux ou du repondérage des pertes, en utilisant des séparations de routes disjointes.
4. Quantification de l'écart : Fournir une preuve empirique de l'écart restant entre les représentations dérivées de la caméra et les états privilégiés des acteurs.

Limites et Modestie :
Les auteurs déclarent explicitement que leurs affirmations sont limitées aux diagnostics de simulation en boucle ouverte. L'étude n'établit pas la sécurité en boucle fermée, l'évitement de collisions, le transfert au monde réel ou la préparation au déploiement. De plus, la tête de futur de l'acteur est caractérisée comme un « mécanisme de façonnage de la représentation et de conditionnement du planificateur » plutôt que comme un module de prévision déployable, car sa prédiction d'état futur absolu (Dyn-FDE) reste médiocre. La principale revendication soutenue est l'efficacité de la recette RU-sidecar sans professeur, car l'alignement du professeur n'a offert que des gains marginaux avec une plus grande instabilité.