HG-Lane: High-Fidelity Generation of Lane Scenes under Adverse Weather and Lighting Conditions without Re-annotation

Probleemstelling

Detectie van rijstroken is een cruciale taak voor autonoom rijden en geavanceerde bestuurdersassistentiesystemen (ADAS). Bestaande state-of-the-art (SOTA) modellen presteren echter aanzienlijk slechter onder extreme weersomstandigheden (zoals regen, sneeuw, mist) en slechte verlichting (nacht, schemering). De belangrijkste oorzaak is het gebrek aan grote, geannoteerde datasets voor deze specifieke scenario's.

• Bestaande datasets (zoals CULane en TuSimple) bevatten voornamelijk zonnige, dagelijkse scènes.
• Datacollectie van nieuwe data is duur, tijdrovend en inefficiënt vanwege de lage frequentie van extreme weersomstandigheden.
• Huidige oplossingen zoals beeldherstel (image restoration) of generatieve modellen vereisen vaak hertraining per weertype, extra annotatiekosten of leiden tot een verlies aan semantische consistentie van de rijstroken.

Methodologie: HG-Lane Framework

Het paper introduceert HG-Lane, een framework voor het genereren van realistische rijstrookscènes onder adverse weers- en lichtomstandigheden zonder dat er nieuwe annotaties nodig zijn. Het systeem is volledig trainingsvrij (gebruikt alleen vooraf getrainde modellen) en volgt een tweestaps-pijplijn gebaseerd op Diffusion-modellen en ControlNet.

1. Semantisch behoudende voorverwerking (Control Information Fusion):
In plaats van alleen Canny-edges te gebruiken, combineert het framework:

• Kleurgemaskers (om rijstrookgebieden te extraheren).
• Canny-edges (voor randinformatie).
• Bestaande rijstrookannotaties (labels).
  Deze worden gefuseerd tot één controlekaart ($C_0$) die zowel de geometrie als de lokale randinformatie behoudt, zelfs bij onvolledige of gestippelde lijnen.

2. Tweestaps Reverse Diffusion:

• Fase I: Structure-aware Reverse Diffusion:
  Een ControlNet getraind op Canny-edges stuurt het generatieproces. Deze fase zorgt ervoor dat de geometrie van de rijstroken strikt wordt behouden tijdens het denoisen in de latent space. Dit voorkomt dat de rijstroken verdwijnen of vervormen.
• Fase II: Appearance-aware Reverse Diffusion (Optioneel):
  Voor specifieke categorieën zoals "nacht" en "schemering" wordt een tweede stap toegevoegd met een InstructPix2Pix ControlNet. Deze verfijnt de stijl, belichting en globale tinten zonder de geometrie uit Fase I te verstoren.
  • Opmerking: Voor weersomstandigheden zoals sneeuw, regen en mist wordt Fase II overgeslagen, omdat de Canny-control al voldoende realisme biedt en de wenselijke stochastische elementen (zoals sneeuwvlokken) niet te strak gecontroleerd moeten worden.

3. Pixelruimte Conversie:
De gegenereerde latent representatie wordt gedecodeerd naar een pixelbeeld met een vooraf getrainde VAE-decoder. Het hele proces gebruikt gefixeerde (frozen) parameters; er vindt geen fine-tuning plaats.

Belangrijkste Bijdragen

1. HG-Lane Framework: Een nieuw generatief framework dat hoge-fideliteit rijstrookscènes genereert onder diverse weers- en lichtomstandigheden zonder herannotatie, terwijl de semantiek van de rijstroken exact behouden blijft.
2. Dual-Stage Strategie: Een innovatieve combinatie van Canny-ControlNet (voor structuur) en InstructPix2Pix-ControlNet (voor stijl), versterkt door een semantisch-bewuste voorverwerkingspijplijn.
3. Nieuwe Benchmark: De creatie van een dataset met 30.000 gegenereerde afbeeldingen verdeeld over zes categorieën: Normaal, Sneeuw, Regen, Mist, Nacht en Schemering.
4. Uitgebreide Validatie: Omvangrijke experimenten die aantonen dat de gegenereerde data de prestaties van bestaande detectiemodellen significant verbetert.

Resultaten

De auteurs hebben hun methode getest op meerdere SOTA-rijstrookdetectiemodellen (zoals CLRNet, LaneATT, RESA, etc.) op hun nieuwe benchmark en op echte werelddata.

• Prestatieverbetering: Bij gebruik van het SOTA-model CLRNet (ResNet-18) steeg de algehele mF1-score met 20,87%.
• Specifieke F1@50 verbeteringen:
  • Sneeuw: +38,8%
  • Mist: +26,84%
  • Nacht: +21,5%
  • Regen: +14,96%
  • Schemering: +12,04%
  • Normaal: +8,63%
• Vergelijking met andere methoden: HG-Lane presteert beter dan bestaande generatieve modellen (zoals Stable Diffusion, CycleGAN, Flux.1) en beeldherstel-modellen (zoals EfficientDeRain, DeSnowNet) op zowel realisme als detectieprecisie.
• Real-world Generalisatie: Wanneer getraind op de gegenereerde data, behaalde het model een 15,51% hogere F1@50 op echte, ongeziene testdata (regen, sneeuw, mist, nacht, schemering) vergeleken met modellen getraind op de originele CULane-data.
• Efficiëntie: In tegenstelling tot beeldherstel-modellen die extra rekentijd vereisen (bijv. 4.8ms tot 10.2ms per afbeelding), heeft HG-Lane geen extra overhead tijdens de inferentie van het detectiemodel, omdat de data vooraf is gegenereerd.

Significantie

HG-Lane lost een fundamenteel probleem op in het domein van autonoom rijden: de "data-kloof" voor extreme omstandigheden.

• Kostenefficiëntie: Het elimineert de noodzaak voor dure en tijdrovende handmatige datacollectie en herannotatie.
• Veiligheid: Door de robuustheid van detectiemodellen onder extreme omstandigheden aanzienlijk te verbeteren, draagt het direct bij aan de veiligheid van autonome voertuigen.
• Schaalbaarheid: Het framework is plug-and-play en kan worden toegepast op bestaande detectiepijplijnen om synthetische data te genereren voor een breed scala aan scenario's, wat de ontwikkeling van veiliger autonome systemen versnelt.