Résumé Technique : WeatherOcc3D

Énoncé du Problème

La prédiction d'occupation sémantique 3D est cruciale pour la navigation des véhicules autonomes, mais sa robustesse est fondamentalement limitée par la variabilité environnementale. Bien que les systèmes multi-modaux fusionnant les données caméra et LiDAR améliorent généralement les performances, ils font face à un « problème de confiance des modalités » dans des conditions défavorables. Plus précisément, les capteurs caméra souffrent d'une dégradation sévère de la visibilité lors de fortes précipitations, tandis que les capteurs LiDAR rencontrent un bruit de rétrodiffusion important sous la pluie. Les stratégies de fusion actuelles de l'état de l'art, telles que les modèles basés sur l'attention (par exemple, OccFusion, GaussianOcc3D), échouent souvent à ré-pondérer de manière adaptative les entrées lorsqu'un capteur spécifique devient peu fiable. De plus, ces méthodes entraînent fréquemment des coûts mémoire prohibitifs ou traitent les entrées des capteurs comme également fiables, indépendamment du bruit atmosphérique. Bien que les approches récentes de Modèles Vision-Langage (VLM) utilisent des embeddings linguistiques pour des priors sémantiques, elles abordent rarement le défi spécifique de la confiance des capteurs dans des conditions météorologiques dégradées.

Méthodologie

Les auteurs proposent WeatherOcc3D, un cadre assisté par VLM conçu pour guider l'intégration multi-capteurs via des indices environnementaux linguistiques. L'architecture fonctionne comme un système multi-modal de bout en bout avec les composants clés suivants :

1. Extraction de Caractéristiques :

   • Caméra : Les images de vue périphérique sont traitées par un encodeur 2D (ResNet + FPN) et projetées dans l'espace 3D à l'aide d'un Transformateur de Vue (Lift-Splat-Shoot) pour générer des caractéristiques de voxels caméra ($V_{cam}$).
   • LiDAR : Les nuages de points sont traités par un Encodeur 3D pour générer des caractéristiques de voxels LiDAR ($V_{pts}$).

2. Perception Environnementale et Prompting :

   • Un module de prédiction météorologique analyse les caractéristiques 2D pour prédire les états environnementaux : Visibilité (Clair/Pluvieux) et Éclairage (Jour/Nuit).
   • Ces états prédits sont convertis en invites textuelles (par exemple, « Nuit pluvieuse, fort éblouissement caméra »).
   • Un encodeur de texte CLIP pré-entraîné (spécialisé via une Adaptation à Faible Rang/LoRA) encode ces invites en un embedding environnemental raffiné ($f_{env}$). Une couche de projection mappe cet embedding à la dimension des caractéristiques du modèle.

3. Mécanisme de Commutation Factorisé :
   Le cadre emploie une stratégie de fusion adaptative à double niveau pilotée par $f_{env}$ :

   • Commutation au Niveau des Canaux : L'embedding génère des masques de commutation ($G_{cam}, G_{pts}$) appliqués par multiplication élément par élément. Cela permet au modèle de supprimer sélectivement les canaux contaminés par le bruit au sein de chaque modalité, en fonction du contexte environnemental spécifique.
   • Pondération Globale : L'embedding est transformé en un scalaire apprenable unique ($w_{env}$) via un MLP et une activation sigmoïde. Ce scalaire représente la confiance globale du modèle dans la modalité visuelle.
   • Fusion : La représentation fusionnée finale ($V_{fused}$) est calculée comme une somme pondérée :
     $$V_{fused} = w_{env}(G_{cam}V_{cam}) + (1 - w_{env})(G_{pts}V_{pts})$$
     Ce mécanisme permet au modèle de privilégier les caractéristiques sémantiques de la caméra en journée claire, tout en déplaçant la reliance vers les priors géométriques du LiDAR durant les nuits pluvieuses.

4. Optimisation :
   Le modèle est entraîné avec une fonction objectif multi-tâches combinant la perte de prédiction d'occupation (entropie croisée et Lovász-Softmax) et la perte de prédiction météorologique (entropie croisée binaire pour la visibilité et l'éclairage).

Contributions Clés

• Commutation Factorisée Guidée par VLM : Contrairement aux méthodes d'attention croisée gourmandes en mémoire, l'article introduit un mécanisme de commutation économe en paramètres qui décompose l'incertitude environnementale en facteurs de visibilité et d'éclairage indépendants pour moduler dynamiquement les ratios de fusion.
• Résolution du Problème de Confiance des Modalités : Le cadre adresse explicitement le problème de confiance des modalités en utilisant des indices linguistiques pour supprimer les canaux contaminés par le bruit et ajuster les poids de fusion globaux, plutôt que de traiter les capteurs comme également fiables.
• Versatilité Plug-and-Play : La méthode est conçue comme un composant modulaire pouvant être intégré dans des architectures existantes sans nécessiter une ré-architecture complète.

Résultats Expérimentaux

Les évaluations ont été menées sur l'ensemble de validation nuScenes-OpenOccupancy.

• Gains de Performance :
  • Intégré à OccMamba, le cadre a atteint 26,3 mIoU, soit une amélioration de 1,1 mIoU par rapport à la base vanilla.
  • Intégré à M-CONet, il a atteint 21,1 mIoU, soit une amélioration de 1,0 mIoU.
  • Les améliorations ont été constantes sur toutes les 17 classes sémantiques.
• Robustesse aux Conditions Météorologiques Adverses :
  • Dans des conditions de Nuit, la méthode a amélioré le mIoU de 11,8 à 15,7 (+3,9).
  • Dans des conditions Pluvieuses, le mIoU est passé de 24,1 à 27,3 (+3,2).
• Efficacité :
  • Le module proposé n'a ajouté que 2,14 ms de latence, surpassant la méthode ACLF (3,21 ms) tout en obtenant des scores de segmentation supérieurs (+0,8 mIoU par rapport à ACLF).

Importance et Revendications

L'article revendique que WeatherOcc3D établit un paradigme plus robuste pour la perception multi-modale dans la conduite autonome. En exploitant l'espace latent pré-entraîné de CLIP pour interpréter les descripteurs environnementaux, le cadre fournit une solution computationnellement efficace au problème de confiance des modalités. Les auteurs soulignent que leur approche atténue efficacement la dégradation spécifique aux capteurs, en particulier dans les sous-ensembles de conditions météorologiques adverses les plus difficiles, offrant une amélioration significative par rapport aux bases de fusion statiques traditionnelles, sans la surcharge mémoire élevée des alternatives basées sur l'attention. Le travail démontre que l'adaptation dynamique des poids de fusion basée sur la visibilité et l'éclairage environnementaux est essentielle pour une prédiction fiable de l'occupation sémantique 3D dans des scénarios réels.