Technische Samenvatting: IAF-Net voor Segmentatie van Stedelijke Wegen bij Lage Lichtomstandigheden

Probleemstelling

Robuuste semantische wegsegmentatie is een cruciaal onderdeel van autonome rij-systemen, essentieel voor padplanning en obstakelvermijding. Hoewel bestaande methoden goed presteren onder standaard lichtomstandigheden, lijden ze onder ernstige prestatievermindering in situaties met weinig licht en nachtelijke omstandigheden. De primaire beperking die is geïdentificeerd, is niet een gebrek aan studies naar de nacht, maar eerder de onvoldoende modellering van de illuminatie-afhankelijke modaliteitbetrouwbaarheid.

In scenario's met weinig licht lijden RGB-beelden onder verminderde helderheid, laag contrast en sensorkruis (noise), wat textuur- en kleurkenmerken corrumpeert. Cruciaal is dat veel bestaande multi-modale fusiemethoden (die RGB combineren met geometrische gegevens zoals diepte of oppervlaktenormalen) er niet in slagen om expliciet aan deze veranderingen aan te passen. Gevolgdelijk propageren ze vaak gedegradeerde RGB-ruis naar de gefuseerde representatie, in plaats van dynamisch de afhankelijkheid te verschuiven naar meer betrouwbare geometrische aanwijzingen wanneer de lichtomstandigheden verslechteren.

Methodologie: IAF-Net

De auteurs stellen IAF-Net (Illumination-Adaptive Fusion Network) voor, een end-to-end framework dat is ontworpen om de kenmerkfusie dynamisch aan te passen op basis van de scène-illuminatie. De architectuur integreert vier kernmodules:

1. Lightweight Low-light Enhancement Module (LLEM):

   • Neemt ruwe RGB-beelden met weinig licht als input.
   • Gebruikt depth-wise separable convoluties om pixel-gewijze verbeteringsparameters te schatten, waarbij helderheid en contrast iteratief worden verbeterd terwijl ruis wordt onderdrukt.
   • Belangrijkste output: Produceert een verbeterd RGB-beeld en een globale helderheidsschatting ($b \in [0, 1]$), die dient als een scène-niveau conditiesignaal voor de daaropvolgende modules.

2. Robust Surface Normal Estimation (R-SNE):

   • Verwerkt dieptekaarten om oppervlaktenormaal-kenmerken te genereren, die inherent minder gevoelig zijn voor veranderingen in illuminatie dan RGB-verschijning.
   • Pipeline: Voert outlier-rejectie uit op de ruwe diepte (met behulp van Z-score filtering), past bilaterale filtering toe om randen te behouden, en berekent de oppervlaktenormalen.
   • Confidence Weighting: Een lichtgewicht netwerk voorspelt een pixel-gewijze betrouwbaarheidskaart om de normaal-kenmerken te wegen, waardoor de bijdrage van onbetrouwbare normaal-schattingen in ruisgevoelige regio's wordt verminderd.

3. Illumination-Adaptive Fusion (IAF) Module:

   • De kerninnovatie die het helderheidssignaal koppelt aan multi-modale integratie.
   • Mechanisme: Een Multi-Layer Perceptron (MLP) brengt het globale helderheidssignaal $b$ in kaart naar dynamische fusiegewichten ($\alpha_{rgb}$ en $\alpha_{norm}$) die samen 1 vormen.
   • Gedrag: In extreem donkere scènes (lage $b$) wijst de module een hoger gewicht toe aan geometrische (normaal) kenmerken en onderdrukt het ruizige RGB-kenmerken. In goed verlichte scènes geeft het prioriteit aan RGB-textuurinformatie, terwijl het geometrische ondersteuning behoudt.
   • Fusieproces: Kenmerken worden verwerkt door Hierarchical Attention Modules (HAM), gecombineerd met behulp van de dynamische gewichten, en verfijnd via een Heterogeneous Feature Contrast Descriptor (HFCD) en een Affinity-Weighted Feature Refiner (AWFR).

4. Nighttime-aware Attention Decoder (NAA):

   • Vervangt standaard attention gates door een helderheid-gemoduleerd aandacht-verscherpingsmechanisme.
   • Mechanisme: De aandachtskaart $\psi$ wordt verscherpt door een factor $s = 1.0 + (1.0 - b) \times 0.5$.
   • Effect: In donkere scènes neemt de verscherpingsfactor toe, waardoor het aandachtsmethanisme gedwongen wordt strikter te focussen op relevante kenmerken en achtergrondruis te onderdrukken. In heldere scènes nadert de factor 1, waardoor de standaardwerking behouden blijft.

Optimalisatie: Het framework bevat een hulp-EdgeHead voor randvoorspelling en een Adaptive Loss Weighting (ALW) schema. De ALW moduleert semantische transities, diepte-inconsistenties en edge-supervisie-verliezen op basis van de globale helderheidsschatting, zodat de trainingsdoelstelling in lijn is met het illuminatie-adaptieve ontwerp.

Belangrijkste Bijdragen

1. IAF-Net Framework: Een end-to-end netwerk dat expliciet illuminatie-bewustzijn integreert in de perceptie-pipeline, waarbij het zich aanpast aan variërende lichtomstandigheden zonder dat domeintransfer of extra sensoren nodig zijn.
2. IAF Module: Een nieuw fusiemechanisme dat globaal helderheid gebruikt om de betrouwbaarheid van RGB versus geometrische kenmerken dynamisch te reguleren, wat effectief de ruispropagatie van gedegradeerde RGB-data bij nacht onderdrukt.
3. NAA Decoder: Een helderheid-gemoduleerde aandacht-decoder die de selectie van kenmerken in situaties met weinig licht verbetert door aandachtskaarten adaptief te verscherpen.
4. Specifieke Datasets:
   • nuScenes-NRS: Een grootschalige dataset afgeleid van nuScenes met automatisch gegenereerde pixel-niveau wegsegmentatie-annotaties van LiDAR-puntenwolken (3.182 trainingsbeelden, 805 validatiebeelden).
   • CARLA-MWRS: Een synthetische dataset die diverse weersomstandigheden dekt (zonnige dag/nacht, mistige nacht, zware regenachtige mistige nacht) om robuustheid te testen (3.600 beelden in totaal).

Experimentele Resultaten

De auteurs hebben IAF-Net geëvalueerd op hun voorgestelde datasets, waarbij ze het hebben vergeleken met state-of-the-art single-modal en multi-modal methoden.

• Prestaties op nuScenes-NRS: IAF-Net bereikte State-of-the-Art (SOTA) prestaties onder de vergeleken methoden.
  • MaxF Score: 96,11% (overtreft de sterke baseline RoadFormer+ met 0,15% en SNE-RoadSegV2 met 0,57%).
  • Efficiëntie: Ondanks het feit dat IAF-Net beter presteert dan RoadFormer+, gebruikt het aanzienlijk minder parameters (73,78M vs. 131,3M).
• Robuustheid op CARLA-MWRS: Het model toonde stabiliteit onder ongunstige weersomstandigheden en behaalde een MaxF van 94,79%, zelfs in scenario's met zware regen en mist in de nacht.
• Ablatie-studies: Uitgevoerd op een subset van 40% van de training om de bijdragen van de modules te isoleren.
  • De IAF module leverde de grootste individuele winst op (+0,70% MaxF).
  • De NAA module leverde de op één na grootste winst op (+0,63% MaxF).
  • Het volledige model verbeterde de MaxF met 1,29% ten opzichte van een vereenvoudigde baseline (R-SNE + backbone).

Betekenis en Claims

De paper claimt dat de primaire betekenis van IAF-Net ligt in het expliciet modelleren van illuminatie-afhankelijke modaliteitbetrouwbaarheid. In tegenstelling tot eerdere benaderingen die fusiegewichten als statisch of impliciet geleerd behandelen, gebruikt IAF-Net een globaal helderheidssignaal als een expliciet controlesignaal. Dit stelt het systeem in staat om automatisch op geometrische kenmerken te vertrouwen wanneer RGB-gegevens onbetrouwbaar zijn (nacht/donker) en texturen te benutten wanneer deze informatief zijn (dag/goed verlicht).

De auteurs positioneren dit werk als een stap naar robuustere autonome rij-perceptie onder ongunstige omstandigheden, waarbij zij het specifieke gat adresseren waar bestaande fusiemethoden falen door geen rekening te houden met de verschuivende betrouwbaarheid van RGB-kenmerken. De constructie van de nuScenes-NRS en CARLA-MWRS datasets wordt ook benadrukt als een bijdrage om toekomstig onderzoek in wegsegmentatie bij weinig licht te faciliteren.

Toekomstig werk richt zich op het verbeteren van de efficiëntie voor real-time implementatie, het uitbreiden van het framework naar complexere scenario's (sneeuw, regen) en een nauwere integratie met downstream planning en controle modules.