Résumé Technique : IAF-Net pour la segmentation de routes urbaines en faible luminosité

Énoncé du problème

La segmentation sémantique robuste des routes est une composante critique des systèmes de conduite autonome, essentielle pour la planification de trajectoire et l'évitement d'obstacles. Bien que les méthodes existantes soient performantes dans des conditions d'éclairage standard, elles souffrent d'une dégradation sévère des performances dans des conditions de faible luminosité et nocturnes. La limitation principale identifiée n'est pas un manque d'études sur la nuit, mais plutôt une modélisation insuffisante de la fiabilité de la modalité dépendante de l'illumination.

Dans les scénarios de faible luminosité, les images RGB souffrent d'une réduction de la luminosité, d'un faible contraste et d'un bruit de capteur, ce qui corrompt les caractéristiques de texture et de couleur. Crucialement, de nombreuses méthodes de fusion multi-modales existantes (combinant l'RGB avec des données géométriques comme la profondeur ou les normales de surface) ne parviennent pas à s'adapter explicitement à ces changements. Par conséquent, elles propagent souvent le bruit dégradé de l'RGB dans la représentation fusionnée, au lieu de basculer dynamiquement la dépendance vers des indices géométriques plus fiables lorsque les conditions d'éclairage se détériorent.

Méthodologie : IAF-Net

Les auteurs proposent IAF-Net (Illumination-Adaptive Fusion Network), un cadre de bout en bout conçu pour ajuster dynamiquement la fusion des caractéristiques en fonction de l'illumination de la scène. L'architecture intègre quatre modules de base :

1. Module d'amélioration de la faible luminosité léger (LLEM) :

   • Prend des images RGB brutes de faible luminosité en entrée.
   • Utilise des convolutions séparables en profondeur pour estimer des paramètres d'amélioration pixel par pixel, améliorant de manière itérative la luminosité et le contraste tout en supprimant le bruit.
   • Sortie clé : Produit une image RGB améliorée et une estimation de la luminosité globale ($b \in [0, 1]$), qui sert de signal de condition au niveau de la scène pour les modules suivants.

2. Estimation robuste des normales de surface (R-SNE) :

   • Traite les cartes de profondeur pour générer des indices de normales de surface, qui sont intrinsèquement moins sensibles aux changements d'illumination que l'apparence RGB.
   • Pipeline : Effectue un rejet des valeurs aberrantes sur la profondeur brute (en utilisant un filtrage Z-score), applique un filtrage bilatéral pour préserver les bords, et calcule les normales de surface.
   • Pondération de confiance : Un réseau léger prédit une carte de confiance pixel par pixel pour pondérer les caractéristiques de normales, réduisant la contribution des estimations de normales peu fiables dans les régions bruitées.

3. Module de fusion adaptatif à l'illumination (IAF) :

   • L'innovation centrale qui lie le signal de luminosité à l'intégration multi-modale.
   • Mécanisme : Un perceptron multicouche (MLP) projette le signal de luminosité globale $b$ vers des poids de fusion dynamiques ($\alpha_{rgb}$ et $\alpha_{norm}$) dont la somme est égale à 1.
   • Comportement : Dans les scènes extrêmement sombres (faible $b$), le module attribue un poids plus élevé aux caractéristiques géométriques (normales) et supprime les caractéristiques RGB bruitées. Dans les scènes bien éclairées, il donne la priorité aux informations de texture RGB tout en conservant le support géométrique.
   • Processus de fusion : Les caractéristiques sont traitées par des modules d'attention hiérarchique (HAM), combinées à l'aide des poids dynamiques, et affinées via un descripteur de contraste de caractéristiques hétérogènes (HFCD) et un raffineur de caractéristiques pondéré par affinité (AWFR).

4. Décodeur sensible à la nuit (NAA) :

   • Remplace les portes d'attention standard par un mécanisme d'accentuation de l'attention modulé par la luminosité.
   • Mécanisme : La carte d'attention $\psi$ est accentuée par un facteur $s = 1.0 + (1.0 - b) \times 0.5$.
   • Effet : Dans les scènes sombres, le facteur d'accentuation augmente, forçant le mécanisme d'attention à se concentrer plus strictement sur les caractéristiques pertinentes et à supprimer le bruit de fond. Dans les scènes lumineuses, le facteur approche 1, maintenant un comportement standard.

Optimisation : Le cadre inclut un EdgeHead auxiliaire pour la prédiction des contours et un schéma de pondération de perte adaptative (ALW). L'ALW module les pertes de transition sémantique, d'incohérence de profondeur et de supervision de bord en fonction de l'estimation de la luminosité globale, garantissant que l'objectif d'entraînement s'aligne sur la conception adaptative à l'illumination.

Contributions clés

1. Cadre IAF-Net : Un réseau de bout en bout qui intègre explicitement la conscience de l'illumination dans le pipeline de perception, s'adaptant aux variations de conditions d'éclairage sans nécessier de transfert de domaine ou de capteurs supplémentaires.
2. Module IAF : Un nouveau mécanisme de fusion qui utilise la luminosité globale pour réguler dynamiquement la fiabilité des caractéristiques RGB par rapport aux caractéristiques géométriques, supprimant efficacement la propagation du bruit provenant des données RGB dégradées la nuit.
3. Décodeur NAA : Un décodeur d'attention sensible à la luminosité qui améliore la sélection des caractéristiques dans les environnements à faible luminosité en accentuant de manière adaptative les cartes d'attention.
4. Jeux de données dédiés :
   • nuScenes-NRS : Un jeu de données à grande échelle dérivé de nuScenes avec des annotations de segmentation de route au niveau du pixel générées automatiquement à partir de nuages de points LiDAR (3 182 images d'entraînement, 805 images de validation).
   • CARLA-MWRS : Un jeu de données synthétique couvrant plusieurs conditions météorologiques (jour ensoleillé/nuit, nuit brumeuse, nuit pluvieuse et brumeuse) pour tester la robustesse (3 600 images au total).

Résultats expérimentaux

Les auteurs ont évalué IAF-Net sur leurs jeux de données proposés, en le comparant aux méthodes mono-modales et multi-modales de pointe.

• Performance sur nuScenes-NRS : IAF-Net a atteint une performance de pointe (SOTA) parmi les méthodes comparées.
  • Score MaxF : 96,11 % (surpassant la base solide RoadFormer+ de 0,15 % et SNE-RoadSegV2 de 0,57 %).
  • Efficacité : Malgré une performance supérieure à RoadFormer+, IAF-Net utilise nettement moins de paramètres (73,78 M contre 131,3 M).
• Robustesse sur CARLA-MWRS : Le modèle a démontré une stabilité à travers diverses conditions météoriques défavorables, atteignant un MaxF de 94,79 % même dans des scénarios de nuit pluvieuse et brumeuse.
• Études d'ablation : Menées sur un sous-ensemble d'entraînement de 40 % pour isoler les contributions des modules.
  • Le module IAF a fourni le gain individuel le plus important (+0,70 % MaxF).
  • Le module NAA a fourni le deuxième gain le plus important (+0,63 % MaxF).
  • Le modèle complet améliore le MaxF de 1,29 % par rapport à une base simplifiée (R-SNE + backbone).

Signification et affirmations

L'article affirme que la principale signification d'IAF-Net réside dans sa modélisation explicite de la fiabilité de la modalité dépendante de l'illumination. Contra� Contrairement aux approches précédentes qui traitent les poids de fusion comme statiques ou implicitement appris, IAF-Net utilise un signal de luminosité globale comme un mécanisme de contrôle explicite. Cela permet au système de s'appuyer automatiquement sur les caractéristiques géométriques lorsque les données RGB sont peu fiables (nuit/obscurité) et de tirer parti de la texture lorsqu'elle est informative (jour/bien éclairé).

Les auteurs positionnent ce travail comme une étape vers une perception de conduite autonome plus robuste dans des conditions défavorables, répondant à la lacune spécifique où les méthodes de fusion existantes échouent à prendre en compte le changement de fiabilité des indices RGB. La construction des jeux de données nuScenes-NRS et CARLA-MWRS est également mise en avant comme une contribution pour faciliter la recherche future en segmentation de route en faible luminosité.

Les travaux futurs identifiés se concentrent sur l'amélioration de l'efficacité pour le déploiement en temps réel, l'extension du cadre à des scénarios plus complexes (neige, pluie) et l'intégration plus étroite avec les modules de planification et de contrôle en aval.