Horizon3D: Sparse Radar-Camera Fusion for Long-Range 3D Perception in Autonomous Driving

Résumé Technique : Horizon3D

Énoncé du Problème
Une détection d'objets 3D à longue portée fiable est cruciale pour une conduite autonome sécurisée, particulièrement à des vitesses d'autoroute où les distances de freinage nécessitent une perception précise des objets au-delà de 150 mètres. Bien que les méthodes basées sur le LiDAR aient dominé ce domaine, leur coût élevé et leur vulnérabilité aux conditions météorologiques défavorables limitent leur déploiement à grande échelle. La fusion radar-caméra offre une alternative rentable, pourtant les méthodes existantes font face à des limitations significatives dans les scénarios à longue portée.

• Les méthodes basées sur le BEV (Bird's Eye View) encodent efficacement le contexte au niveau de la scène, mais subissent des coûts computationnels qui augmentent rapidement à mesure que la portée de détection s'accroît. De plus, leurs grilles denses uniformes peinent à préserver les détails fins au niveau de l'objet.
• Les méthodes basées sur les requêtes (Query-based) fournissent un encodage efficace centré sur l'objet, mais manquent souvent d'un contexte suffisant au niveau de la scène.
• Défis de la Fusion Temporelle : Les objets à longue portée produisent des retours radar épars et occupent peu de pixels d'image, ce qui nécessite une accumulation multi-images. À l'inverse, le mouvement à haute vitesse provoque de grands déplacements inter-images, exigeant une modélisation précise du mouvement au niveau de l'objet. Les approches existantes reposent soit sur une agrégation BEV dense (coûteuse en calcul), soit sur la propagation de requêtes d'objets (manquant de contexte de scène), échouant ainsi à traiter conjointement la parcimonité par image et la dynamique au niveau de l'objet de manière efficace.

Méthodologie : Horizon3D
Les auteurs proposent Horizon3D, un cadre de fusion radar-caméra parcimonieux qui emploie une représentation hybride combinant des primitives gaussiennes avec des caractéristiques BEV éparses. L'architecture se compose de trois modules principaux :

1. Initialisation de Gaussiennes Guidée par des Points Clés (KGGI - Keypoint-Guided Gaussian Initialization) :
   Au lieu de maintenir un grand ensemble de Gaussiennes sur l'ensemble de la scène, la KGGI estime les points clés des objets à partir des caractéristiques radar et caméra pour initialiser un ensemble compact de primitives gaussiennes.

   • Branche Radar : Utilise VoxelNeXt pour générer des caractéristiques radar BEV éparses, à partir desquelles les cellules ayant les scores les plus élevés sont sélectionnées comme points clés radar.
   • Branche Caméra : Utilise une tête de points clés 2D et une tête de profondeur pour élever les candidats les mieux notés en 3D, les projetant comme points clés de la caméra.
   • Initialisation : Les primitives gaussiennes sont ancrées à ces points clés estimés (plus un petit nombre de Gaussiennes aléatoires et historiques). Chaque Gaussienne est paramétrée par une moyenne, une échelle, une rotation, une opacité, une vélocité et un vecteur de caractéristiques. Cette approche garantit un encodage centré sur l'objet sans couverture spatiale redondante.

2. Fusion Parcimonieuse Centrée sur l'Objet (OCSF - Object-Centric Sparse Fusion) :
   Ce module agrège les caractéristiques multi-modales autour des primitives gaussiennes initialisées et les affine de manière itérative.

   • Encodeur Gaussien Multimodal : Sur plusieurs couches, l'encodeur utilise une attention croisée déformable pour collecter les contextes spécifiques à chaque modalité (radar BEV et caractéristiques d'images multi-vues) autour de la moyenne de chaque Gaussienne.
   • Affinement : Les paramètres gaussiens (moyenne, échelle, rotation, etc.) sont mis à jour en fonction des caractéristiques agrégées pour mieux s'aligner avec la géométrie 3D de l'objet.
   • Splatting Centré sur l'Objet : Les Gaussiennes affinées sont projetées (splattées) sur le plan BEV. Une carte d'occupation agnostique de la classe est générée, et des « Ensembles de Gaussiennes Actives » sont regroupés via une agrégation pondérée par Gaussienne pour créer une représentation BEV parcimonieuse et centrée sur l'objet. Celle-ci est fusionnée avec les caractéristiques radar BEV éparses pour combiner les détails fins de l'objet avec le contexte de la scène, évitant ainsi la construction d'un BEV dense.

3. Fusion Temporelle à Double Voie (DPTF - Dual-Path Temporal Fusion) :
   Pour gérer la parcimonité à longue portée et le mouvement à haute vitesse, la DPTF intègre des indices temporels via deux voies complémentaires, utilisant toutes deux des vélocités prédites pour la compensation de mouvement :

   • Voie BEV : Accumule les caractéristiques BEV du premier plan à partir de plusieurs images. Elle prédit l'occupation et la vélocité planaire pour les cellules non vides, stockant uniquement ces caractéristiques dans une banque de mémoire. Les images historiques sont déformées vers l'image actuelle en utilisant le mouvement de l'ego-véhicule et un déformage guidé par la vélocité avant d'être empilées et fusionnées via des convolutions éparses.
   • Voie Gaussienne : Propage les Gaussiennes passées vers l'image actuelle. Un sous-ensemble spatialement diversifié des Gaussiennes historiques (sélectionné via l'échantillonnage de points les plus éloignés - Farthest Point Sampling) est déformé en utilisant les vélocités prédites et le mouvement de l'ego-véhicule. Ces derniers sont fusionnés avec les Gaussiennes de l'image actuelle et traités par le pipeline OCSF, avec une attention temporelle supplémentaire pour gérer le désalignement résiduel.

Contributions Clés

• Représentation Hybride : L'introduction d'un cadre parcimonieux qui capture conjointement le détail au niveau de l'objet et le contexte au niveau de la scène en utilisant des primitives gaussiennes et des caractéristiques BEV éparses.
• KGGI et OCSF : Un mécanisme pour initialiser les Gaussiennes aux points clés estimés par les capteurs et les affiner de manière itérative, permettant un encodage centré sur l'objet sans grilles BEV denses.
• Fusion Temporelle à Double Voie (DPTF) : Une stratégie de fusion temporelle novatrice qui traite simultanément la parcimonité par image (via l'accumulation BEV) et le mouvement au niveau de l'objet (via la propagation des Gaussiennes), en utilisant une compensation de vélocité explicite dans les deux voies.
• Performance de l'État de l'Art : Efficacité démontrée sur le benchmark TruckScenes pour les scénarios à longue portée et haute vitesse.

Résultats Expérimentaux
Évalué sur le jeu de données TruckScenes (présentant des portées de détection allant jusqu'à 150 m et des vitesses élevées), Horizon3D atteint des performances de pointe parmi les méthodes de fusion radar-caméra :

• Performance : Sur l'ensemble de validation, Horizon3D surpasse la meilleure méthode radar-caméra précédente (SpaRC) de +3,0 NDS et +1,6 mAP. Il surpasse également de manière significative la meilleure méthode basée sur le BEV précédente (CRT-Fusion).
• Comparaison LiDAR : Notamment, Horizon3D dépasse la performance de CenterPoint-V (une méthode basée sur le LiDAR) de +0,8 NDS et +1,0 mAP sur le split de test, malgré l'utilisation d'entrées d'images de résolution inférieure.
• Efficacité : La méthode maintient une représentation parcimonieuse, atteignant des vitesses d'inférence compétitives (8,5 FPS) et une utilisation de mémoire modérée (3,2 Go), surpassant nettement les méthodes BEV denses en termes d'efficacité tout en évitant la perte de précision des méthodes basées sur les requêtes.
• Études d'Ablation : Les expériences confirment que l'initialisation par KGGI, l'élargissement des boîtes englobantes pour la supervision d'occupation, et la combinaison des voies BEV et Gaussienne dans la DPTF sont critiques pour la performance. L'analyse par distance montre des gains constants sur toutes les portées, avec des améliorations particulièrement notables à 25–50 m et 100–150 m.

Signification
L'article affirme qu'Horizon3D répond au compromis fondamental de la perception à longue portée entre l'efficacité computationnelle et la nécessité d'un contexte de scène et de détails au niveau de l'objet. En évitant la construction d'un BEV dense tout en capturant la dynamique temporelle et le contexte de la scène grâce à une approche hybride de type Gaussienne-BE-parcimonieux, le cadre permet une perception robuste pour la conduite autonome à haute vitesse utilisant des suites de capteurs radar-caméra à coût réduit. Les résultats suggèrent que cette approche hybride est une alternative viable et supérieure aux paradigmes de BEV dense et de requêtes pures pour la détection à portée étendue.