Contrastive-SDXL: Annotation-Preserving Night-Time Augmentation for Pedestrian Detection

Probleemstelling

Nachtelijke voetgangersdetectie is een kritieke uitdaging voor autonome voertuigen en Geavanceerde Driver-Assistance Systemen (ADAS). Hoewel detectoren goed presteren bij daglicht, neemt hun betrouwbaarheid aanzienlijk af in omstandigheden met weinig licht door verminderde zichtbaarheid, schittering, ruis en grote verschillen in verlichting. Het verzamelen en annoteren van grootschalige datasets voor de nacht is kostbaar en moeilijk schaalbaar.

Cross-domein augmentatie biedt een alternatief door gelabelde dagbeelden te vertalen naar nachtelijke afbeeldingen, waardoor het mogelijk is om de originele annotaties opnieuw te gebruiken. Echter, bestaande op diffusie gebaseerde beeld-naar-beeld vertaalmethoden geven vaak perceptuele realisme voorrang boven het behoud van specifieke objectniveau-gegevens. Bij veiligheidskritieke taken zoals voetgangersdetectie, als een vertaling een voetganger vervormt, verwijdert of verschuift, worden de overgenomen bounding-box annotaties onbetrouwbaar, wat kan leiden tot het leren van onjuiste signalen door de downstream detector. Er is een gat in het gebruik van Latent Diffusion Models (LDM's) voor augmentatie die expliciet het behoud van kleine, verduisterde en rommelige voetgangers garandeert, zoals vereist voor geldige detectietraining.

Methodologie: Contrastive-SDXL

De auteurs stellen Contrastive-SDXL voor, een dag-naar-nacht augmentatiekader gebaseerd op SDXL-Turbo en fijn afgestemd met Low-Rank Adaptation (LoRA). Het kader is ontworpen om dagbeelden te vertalen naar realistische nachtelijke afbeeldingen terwijl de semantische structuur en de integriteit van voetgangers strikt worden behouden.

De methode wordt geleid door vier complementaire doelstellingen en een tweestaps data-curatiepijplijn:

1. Generator Backbone en Efficiënte Adaptatie:

   • Het kader maakt gebruik van SDXL-Turbo, een vooraf getraind latent diffusion model in één stap, als generator backbone.
   • Om het model aan te passen aan het nachtdomein zonder volledige hertraining, wordt LoRA toegepast op de UNet cross-attention lagen, transformer MLP's, convolutielagen en VAE encoder/decoder lagen.
   • Encoder-decoder skip-verbindingen worden behouden om fijnmazige ruimtelijke structuur te behouden.

2. Patch-Wise Semantische Contrastieve Supervisie (DINOv2-geleid):

   • In tegenstelling tot eerdere ongepaarde vertaalmethoden (zoals PSCUT) die vertrouwen op generator-encoder-features (die in diffusiemodellen onstabiel kunnen zijn door stochastische ruis), maakt Contrastive-SDXL gebruik van een bevroren, vooraf getrainde DINOv2-encoder.
   • Deze externe encoder haalt multi-level semantische features uit zowel de bron (dag) als de vertaalde (nacht) afbeeldingen.
   • Twee verliezen worden berekend op deze features:
     • Semantic Relations Consistency Loss (SRC): Behoudt de relatieve semantische relaties tussen patches in de bronafbeelding en hun tegenhangers in de vertaalde afbeelding met behulp van Jensen-Shannon-divergentie.
     • Hard Negative Contrastive Loss (hDCE): Trekt overeenkomstige bron- en vertaalde patches dichter naar elkaar terwijl het niet-overeenkomende, semantisch vergelijkbare patches uit elkaar duwt om onderscheidend vermogen af te dwingen.

3. Detector-Geleide Object Consistentie Loss:

   • Om expliciet te garanderen dat voetgangers detecteerbaar blijven, wordt een vooraf getrainde YOLO11 detector (fijn afgestemd op EuroCity Persons) gebruikt als vaste supervisor.
   • De generator minimaliseert een detectieloss ($L_{det}$) berekend op de vertaalde afbeelding tegen de originele daglicht bounding-box annotaties. Dit straft vertalingen af waarbij voetgangers vervormd, gewist of niet-op-lijn zijn, zodat de originele annotaties geldig blijven.

4. Adversariële Alignering en Identiteitsregularisatie:

   • Een adversariële loss ($L_{adv}$) met een discriminator verrijkt met CLIP-features zorgt ervoor dat de gegenereerde afbeeldingen aligneren met de statistische verdeling van echte nachtelijke scènes.
   • Een identiteitsloss ($L_{idt}$) moedigt het model aan om minimale wijzigingen aan te brengen in afbeeldingen die zich al in het doeldomein bevinden.

5. Tweestaps Data Curatie Pijplijn:

   • Om de betrouwbaarheid van synthetische data te waarborgen, wordt een filterproces toegepast voordat detectoren worden getraind:
     • Fase 1 (Fideliteit): Filtert vertalingen eruit waarbij de DINOv2 feature-相似heid tussen bron en doel onder een drempelwaarde (0,95) valt, zodat semantische trouw wordt gewaarborgd.
     • Fase 2 (Voetgangersbehoud): Gebruikt een op YOLOv8 gebaseerde binaire classifier om te verifiëren dat voetgangerspatches die uit de vertaalde afbeelding zijn geknipt (op de originele annotatielocaties) nog steeds als voetgangers worden geclassificeerd. Afbeeldingen die deze check niet halen, worden verworpen.

Belangrijkste Bijdragen

• Onderzoek naar LDM's: Het werk beoordeelt vooraf getrainde Latent Diffusion Models als cross-domein augmentatietools voor veiligheidskritieke nachtelijke voetgangersdetectie.
• Contrastive-SDXL Kader: Stelt een nieuw dag-naar-nacht vertaalkader voor met SDXL-Turbo en LoRA, geleid door DINOv2-gebaseerde patch-wise semantische contrastieve leer in plaats van generator-features.
• Object Consistentie Loss: Introduceert een detector-geleide loss om voetgangersbehoud expliciet af te dwingen, zodat de geldigheid van annotaties tijdens vertaling gewaarborgd blijft.
• Empirische Validatie: Toont aan dat consistentie-gedreven diffusieaugmentatie veiligheidskritieke detectie effectief kan ondersteunen, met prestaties vergelijkbaar met training op echte nachtelijke data.

Experimentele Resultaten

De methode werd geëvalueerd met de EuroCity Persons (ECP) dataset en getest op twee downstream detectoren: Pedestron en YOLO26.

• Beeldkwaliteit: Contrastive-SDXL behaalde een Fréchet Inception Distance (FID) van 22,57 en een Wasserstein Distance (WD) van 11,27 tegenover echte ECP-nachtbeelden. Dit presteerde aanzienlijk beter dan baselines zoals InstructPix2Pix (FID 64,11) en CycleGAN-Turbo (FID 38,36). UMAP-visualisaties bevestigden dat synthetische afbeeldingen dichter bij echte nachtelijke data clusterden dan bij andere methoden.
• Detectieprestaties:
  • Detectoren getraind met Contrastive-SDXL synthetische afbeeldingen (zonder enige echte nachtelijke data) bereikten een reductie van 6–7% in de miss-rate vergeleken met een daglicht-only baseline.
  • Specifiek, voor de Pedestron detector, daalde de "All" miss-rate op de nachtelijke validatieset van 20,0% (daglicht baseline) naar 16,0% met uitsluitend synthetische data.
  • Wanneer gemengd met slechts 20% echte nachtelijke data, bereikte Contrastive-SDXL een miss-rate van 14,0%, wat overeenkomt met de prestaties van een model getraind op 100% echte nachtelijke data.
  • Vergelijkbare verbeteringen werden waargenomen met de YOLO26 detector, wat generalisatie over architecturen aantoont.
• Generalisatie: De methode toonde het vermogen om te generaliseren naar out-of-distribution stedelijke scènes (TJU-DHD dataset), waarbij de voetgangersstructuur in onbekende omgevingen behouden bleef.

Betekenis en Claims

Het paper claimt dat Contrastive-SDXL aantoont dat consistentie-gedreven diffusieaugmentatie een levensvatbare en effectieve strategie is voor veiligheidskritieke nachtelijke voetgangersdetectie. De auteurs benadrukken dat voor veiligheidskritieke perceptie visueel realisme alleen niet voldoende is; het behoud van objectniveau-semantiek en de geldigheid van annotaties is van het grootste belang.

De resultaten suggereren dat:

1. Vooraf getrainde LDM's krachtige augmentatietools kunnen zijn als ze worden geleid door expliciete consistentie-beperkingen (semantische contrastieve en objectniveau-verliezen).
2. Synthetische data gegenereerd door dit kader de domeinkloof tussen dag en nacht aanzienlijk kan verkleinen, met prestaties die benaderen die van modellen getraind op echte nachtelijke data met minimale injectie van echte data.
3. Het voorgestelde kader niet gebonden is aan een specifieke detectorarchitectuur, aangezien voordelen werden waargenomen bij zowel Pedestron als YOLO.

De auteurs concluderen dat hoewel de methode veelbelovend is, toekomstig werk de toepassing op andere vervoerstaken (bijvoorbeeld verkeersbordherkenning) moet verkennen en moet onderzoeken hoe detectorarchitectuur en fijnafstammingsstrategieën de adaptatieprestaties beïnvloeden.