Résumé Technique : BeyondSight : La permanence de l'objet pour la conduite autonome de bout en bout

1. Énoncé du problème

Les systèmes de conduite autonome opèrent dans des environnements partiellement observables où des acteurs (véhicules, piétons) deviennent fréquemment totalement occultés par l'infrastructure ou d'autres véhicules. L'analyse du jeu de données nuScenes révèle qu'environ 30 % des acteurs sont totalement inobservables à un instant donné, y compris ceux situés à proximité immédiate du véhicule égo.

Les systèmes actuels de conduite autonome de bout en bout (E2E-AD) couplent généralement l'existence des acteurs à l'observabilité instantanée. Lorsqu'un acteur devient totalement inobservable, sa représentation dans le modèle se dégrade ou disparaît entièrement. La suppression de ces agents « invisibles » de la représentation de la scène force les modules de prédiction et de planification en aval à ne raisonner que sur les agents actuellement visibles. Par conséquent, ces systèmes présentent un comportement réactif ou fragile dans les scénarios riches en occultations (ex: intersections), échouant à maintenir des trajectoires sûres pour des agents temporairement cachés mais toujours présents. De plus, les bancs d'essai de perception standards équatent implicitement l'observabilité à l'existence, filtrant les acteurs inobservables tant de la supervision que de l'évaluation, ce qui empêche les modèles d'apprendre des représentations persistantes à travers les écarts d'observabilité.

2. Méthodologie : BeyondSight

Les auteurs proposent BeyondSight, un cadre E2E-AD sensible à la permanence qui découple explicitement l'existence des acteurs de l'observabilité instantanée. Le système maintient des hypothèses d'acteurs persistantes au fil du temps, permettant à la perception, la prédiction et la planification conjointes de raisonner sur des acteurs même lorsqu'ils sont temporairement inobservables.

Architecture Centrale

BeyondSight s'appuie sur l'architecture SparseDrive, qui utilise des requêtes éparses pour représenter les acteurs dynamiques et les éléments de la carte. L'innovation clé est un pipeline d'inférence en trois étapes inspiré du filtrage bayésien, conçu pour propager et mettre à jour les hypothèses d'acteurs :

1. Décodeur de Prior Temporel (Temporal Prior Decoder) : Ce module propage les requêtes d'acteurs de l'image précédente ($q_{t-1}$) vers l'instant actuel ($t$) pour générer un ensemble d'hypothèses conditionnées par le mouvement ($q_t^{\text{prior}}$). Crucialement, cette étape opère uniquement sur les plongements (embeddings) de requêtes via une auto-attention et un MLP léger, sans accéder aux caractéristiques d'image actuelles. Cela permet au modèle de maintenir des hypothèses pour des acteurs même lorsqu'aucune preuve visuelle n'est disponible.
2. Décodeur d'Observation (Observation Decoder) : Cette étape combine le prior temporel avec de nouvelles requêtes d'objets initialisées et les caractéristiques BEV actuelles ($F_t$) pour produire des hypothèses conditionnées par l'observation ($q_t^{\text{obs}}$). Ce composant est supervisé uniquement en utilisant les acteurs de vérité terrain observables.
3. Décodeur de Fusion Postérieure (Posterior Fusion Decoder) : Ce module réconcilie le prior propagé et les hypothèses conditionnées par l'observation. Il sélectionne la proposition ayant la confiance de classification la plus élevée pour chaque acteur et l'affine pour produire la représentation finale de la scène ($q_t^{\text{post}}$). Cette représentation fusionnée contient à la fois des acteurs observables et inobservables, fournissant un contexte plus riche pour la planification en aval.

Optimisation et Supervision

L'entraînement suit un protocole en deux étapes (pré-entraînement de la perception suivi d'un entraînement conjoint de bout en bout). Pour imposer la permanence des objets, les auteurs introduisent une Supervision Sensible à la Permanence :

• Vérité Terrain Étendue : Les pertes de détection et de mouvement sont calculées sur l'ensemble complet des acteurs ($G_{\text{all}} = G_{\text{obs}} \cup G_{\text{unobs}}$), incluant ceux actuellement inobservables.
• Classification de l'Observabilité : Le décodeur postérieur prédit un état d'observabilité ($\hat{o}_t^i$) pour chaque requête, supervisé par entropie croisée binaire. Cela enseigne explicitement au modèle à distinguer un acteur occulté d'un acteur absent.
• Fonction de Perte : L'objectif total inclut les pertes standard de détection, de carte, de mouvement et de planification, augmentées d'une perte de détection modifiée ($\mathcal{L}_{\text{det}}'$) qui supervise les acteurs inobservables et d'une perte de classification d'observabilité ($\mathcal{L}_{\text{obs}}$).

3. Contributions Clés

Le papier présente trois contributions principales :

1. Formalisation de la permanence de l'objet : Les auteurs définissent la permanence de l'objet pour l'E2E-AD comme une contrainte de niveau de représentation exigeant que les acteurs précédemment observés restent représentés dans l'ensemble d'hypothèses du modèle, même lorsqu'ils sont temporairement inobservables.
2. Benchmark nuScenes-Permanence : Une extension du jeu de données nuScenes qui fournit des protocoles de supervision et d'évaluation pour les acteurs inobservables. Cela implique la reconstruction des états de trajectoire manquants en utilisant des priors de mouvement fondés sur la physique pour les intervalles où le support des capteurs est absent, élargissant l'ensemble d'annotation d'environ 30 %.
3. Cadre BeyondSight : Une extension de l'architecture E2E-AD à requêtes éparses, sensible à la permanence, qui maintient des hypothèses persistantes grâce à la propagation temporelle et à la fusion sensible à l'observabilité, permettant le raisonnement sous occlusion prolongée.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de validation nuScenes et sur le nouveau benchmark nuScenes-Permanence.

Performance Standard

Sur les métriques nu-scenes standard, BeyondSight maintient des performances compétitives tout en améliorant la planification en aval :

• Planification : L'erreur de planification en boucle ouverte ($L2_{\text{avg}}$) est passée de 0,61 (SparseDrive) à 0,54, et le taux de collision a diminué de 0,08 % à 0,07 %.
• Perception : La performance de détection (mAP) est passée de 0,415 à 0,427, et la performance de suivi (AMOTA) s'est améliorée de 0,372 à 0,401.
• Faux Positifs : Le modèle n'a pas engendré de faux positifs supplémentaires sous le protocole d'évaluation officiel, démontant que le maintien d'hypothèses persistantes ne dégrade pas les performances des benchmarks standards.

Performance de la Permanence de l'Objet (nuScenes-Permanence)

Les métriques conditionnées par l'observabilité proposées révèlent des gains significatifs dans le raisonnement sur les acteurs occultés :

• Détection Inobservable : Le modèle a atteint un mAP$_{\text{unobs}}$ de 0,249, une amélioration spectaculaire par rapport au baseline SparseDrive, qui affiche un score de 0 (car il supprime les acteurs inobservables).
• Compréhension Holistique : La métrique agrégée mAP$_{\text{all}}$ est passée de 0,389 à 0,413.
• Planification sous Occultation : Dans un sous-ensemble à forte occlusion où les trajectoires futures des acteurs cachés approchaient le véhicule égo, BeyondSight a réduit l'erreur de planification de 0,64 à 0,56 et les taux de collision de 0,163 à 0,08.

Études d'Ablation

Les expériences d'ablation ont confirmé que :

• La propagation temporelle seule (sans supervision sensible à la permanence) ne permet pas la détection d'acteurs totalement inobservables (le mAP$_{\text{unobs}}$ reste à 0).
• La combinaison de la propagation temporelle, de la fusion postérieure et de la supervision sur les acteurs inobservables est nécessaire pour obtenir les gains rapportés.
• Le Décodeur de Fusion Postérieure est critique pour réconcilier les hypothèses propagées avec les observations actuelles.

5. Signification et Limites

Le papier soutient que la permanence de l'objet est un principe de modélisation critique pour une conduite autonome de bout en bout robuste. En découplant l'existence des acteurs de l'observabilité instantanée, BeyondSight permet aux systèmes de raisonner sur l'intégralité de l'environnement dynamique, menant à une planification plus sûre dans les scénarios à forte occlusion. L'introduction de nuScenes-Permanence constitue le premier protocole systématique pour entraîner et évaluer cette capacité.

Limites :

• Hypothèses Obsolètes (Stale Hypotheses) : Les hypothèses persistantes peuvent devenir inexactes (« obsolètes ») lors d'occultations très longues si les acteurs dévient de manière significative du prior temporel appris, ceant potentiellement une dérive de localisation.
• Hypothèses de Mouvement : Les annotations de nuScenes-Permanence supposent un mouvement approximativement continu. Le benchmark peut ne pas capturer les manœuvres cachées abruptes (ex: arrêts soudains, virages serrés ou changements d'intention) qui ne peuvent être fiablement inférés des observations environnantes.
• Directions Futures : Les auteurs suggèrent que les travaux futurs devraient explorer la mémoire sensible à l'incertitude, les annotations basées sur la simulation avec des étiquettes privilégiées, et les jeux de données multi-observateurs pour une évaluation directe de l'occultation.