Contrastive-SDXL: Annotation-Preserving Night-Time Augmentation for Pedestrian Detection

Enunciato del Problema

Il rilevamento dei pedoni in condizioni notturne rappresenta una sfida critica per i veicoli autonomi e i Sistemi Avanzati di Assistenza alla Guida (ADAS). Sebbene i rilevatori funzionino bene in condizioni diurne, la loro affidabilità degrada significativamente in ambienti a bassa luminosità a causa della ridotta visibilità, dell'abbagliamento, del rumore e delle grandi differenze di illuminazione. La raccolta e l'annotazione di dataset su larga scala per la notte sono costose e difficili da scalare.

L'aumento dei dati cross-domain offre un'alternativa traducendo immagini etichettate diurne in immagini in stile notturno, permettendo il riutilizzo delle annotazioni originali. Tuttavia, i metodi esistenti di traduzione immagine-immagine basati su diffusione spesso privilegiano il realismo percettivo rispetto alla preservazione di dettagli specifici a livello di oggetto. In compiti critici per la sicurezza come il rilevamento dei pedoni, se una traduzione distorce, rimuove o sposta un pedone, le annotazioni delle caselle di delimitazione ereditate diventano inaffidabili, potenzialmente causando al rilevatore a valle l'apprendimento di segnali errati. Esiste un vuoto nell'uso dei Latent Diffusion Models (LDM) per l'aumento che garantisca esplicitamente la preservazione di pedoni piccoli, occlusi e in ambienti affollati, necessari per un training di rilevamento valido.

Metodologia: Contrastive-SDXL

Gli autori propongono Contrastive-SDXL, un framework di aumento da giorno a notte basato su SDXL-Turbo e affinato utilizzando Low-Rank Adaptation (LoRA). Il framework è progettato per tradurre immagini diurne in immagini notturne realistiche preservando rigorosamente la struttura semantica e l'integrità dei pedoni.

Il metodo è guidato da quattro obiettivi complementari e una pipeline di curazione dei dati in due fasi:

1. Backbone del Generatore e Adattamento Efficiente:

   • Il framework utilizza SDXL-Turbo, un modello di diffusione latente preaddestrato a un passo, come backbone del generatore.
   • Per adattare il modello al dominio notturno senza un riaddestramento completo, LoRA viene applicato ai livelli di cross-attention dell'UNet, ai transformer MLP, ai livelli convoluzionali e ai livelli encoder/decoder del VAE.
   • Le connessioni di salto (skip connections) tra encoder e decoder sono mantenute per preservare la struttura spaziale fine.

2. Supervisione Contrastiva Semantica a Livello di Patch (guidata da DINOv2):

   • A differenza dei precedenti metodi di traduzione non appaiati (es. PSCUT) che si affidano alle caratteristiche dell'encoder del generatore (che possono essere instabili nei modelli di diffusione a causa del rumore stocastico), Contrastive-SDXL utilizza un encoder DINOv2 preaddestrato e congelato.
   • Questo encoder esterno estrae caratteristiche semantiche multilivello sia dalle immagini sorgente (giorno) che da quelle tradotte (notte).
   • Su queste caratteristiche vengono calcolate due funzioni di perdita:
     • Perdita di Coerenza delle Relazioni Semantiche (SRC): Preserva le relazioni semantiche relative tra le patch nell'immagine sorgente e le loro controparti nell'immagine tradotta utilizzando la divergenza di Jensen-Shannon.
     • Perdita Contrastiva Negativa Rigorosa (hDCE): Avvicina le patch sorgente e tradotte corrispondenti mentre allontana le patch non corrispondenti ma semanticamente simili per imporre la distintività.

3. Perdita di Coerenza degli Oggetti Guidata dal Rilevatore:

   • Per garantire esplicitamente che i pedoni rimangano rilevabili, viene utilizzato un rilevatore YOLO11 preaddestrato (affinato su EuroCity Persons) come supervisore fisso.
   • Il generatore minimizza una perdita di rilevamento ($L_{det}$) calcolata sull'immagine tradotta rispetto alle originali annotazioni delle caselle di delimitazione diurne. Questo penalizza le traduzioni in cui i pedoni sono distorti, cancellati o disallineati, garantendo che le annotazioni originali rimangano valide.

4. Allineamento Avversario e Regularizzazione dell'Identità:

   • Una perdita avversariale ($L_{adv}$) con un discriminatore arricchito da caratteristiche CLIP garantisce che le immagini generate si allineino alla distribuzione statistica delle scene notturne reali.
   • Una perdita di identità ($L_{idt}$) incoraggia il modello a apportare cambiamenti minimi alle immagini che sono già nel dominio target.

5. Pipeline di Curazione dei Dati in Due Fasi:

   • Per garantire l'affidabilità dei dati sintetici, viene applicato un processo di filtraggio prima dell'addestramento dei rilevatori:
     • Fase 1 (Fedeltà): Filtra le traduzioni in cui la similarità delle caratteristiche DINOv2 tra sorgente e target scende sotto una soglia (0,95), garantendo la fedeltà semantica.
     • Fase 2 (Preservazione del Pedone): Utilizza un classificatore binario basato su YOLOv8 per verificare che le patch di pedoni ritagliate dall'immagine tradotta (alle posizioni originali delle annotazioni) siano ancora classificate come pedoni. Le immagini che non superano questo controllo vengono scartate.

Contributi Chiave

• Indagine sugli LDM: Il lavoro valuta i Latent Diffusion Models preaddestrati come strumenti di aumento cross-domain per il rilevamento di pedoni notturni critico per la sicurezza.
• Framework Contrastive-SDXL: Propone un nuovo framework di traduzione da giorno a notte utilizzando SDXL-Turbo e LoRA, guidato dall'apprendimento contrastivo semantico a livello di patch basato su DINOv2 piuttosto che dalle caratteristiche del generatore.
• Perdita di Coerenza degli Oggetti: Introduce una perdita guidata dal rilevatore per imporre esplicitamente la preservazione dei pedoni, garantendo la validità delle annotazioni durante la traduzione.
• Validazione Empirica: Dimostra che l'aumento tramite diffusione guidato dalla coerenza può supportare efficacemente il rilevamento critico per la sicurezza, raggiungendo prestazioni comparabili all'addestramento su dati notturni reali.

Risultati Sperimentali

Il metodo è stato valutato utilizzando il dataset EuroCity Persons (ECP) e testato su due rilevatori a valle: Pedestron e YOLO26.

• Qualità dell'Immagine: Contrastive-SDXL ha raggiunto una Fréchet Inception Distance (FID) di 22,57 e una Wasserstein Distance (WD) di 11,27 rispetto alle immagini notturne reali di ECP. Questo ha superato significativamente i baseline come InstructPix2Pix (FID 64,11) e CycleGAN-Turbo (FID 38,36). Le visualizzazioni UMAP hanno confermato che le immagini sintetiche si raggruppavano più vicino ai dati notturni reali rispetto ad altri metodi.
• Prestazioni di Rilevamento:
  • I rilevatori addestrati con immagini sintetiche Contrastive-SDXL (senza alcun dato notturno reale) hanno raggiunto una riduzione del 6-7% del tasso di mancate rilevazioni (miss rate) rispetto a un baseline solo diurno.
  • Nello specifico, per il rilevatore Pedestron, il tasso di mancate rilevazioni "All" sul set di validazione notturno è sceso dal 20,0% (baseline diurno) al 16,0% utilizzando solo dati sintetici.
  • Quando miscelato con appena il 20% di dati notturni reali, Contrastive-SDXL ha raggiunto un tasso di mancate rilevazioni del 14,0%, eguagliando le prestazioni di un modello addestrato al 100% su dati notturni reali.
  • Sono state osservate miglioramenti simili con il rilevatore YOLO26, dimostrando una generalizzazione attraverso diverse architetture.
• Generalizzazione: Il metodo ha mostrato la capacità di generalizzare a scene urbane fuori distribuzione (dataset TJU-DHD), preservando la struttura dei pedoni in ambienti non familiari.

Significato e Affermazioni

Il paper afferma che Contrastive-SDXL dimostra che l'aumento tramite diffusione guidato dalla coerenza è una strategia vitale ed efficace per il rilevamento di pedoni notturni critico per la sicurezza. Gli autori sottolineano che, per la percezione critica per la sicurezza, il realismo visivo da solo è insufficiente; la preservazione della semantica a livello di oggetto e la validità delle annotazioni sono fondamentali.

I risultati suggeriscono che:

1. Gli LDM preaddestrati possono fungere da potenti strumenti di aumento se guidati da vincoli espliciti di coerenza (perdite contrastive semantiche e a livello di oggetto).
2. I dati sintetici generati da questo framework possono ridurre significativamente il divario di dominio tra giorno e notte, avvicinandosi alle prestazioni dei modelli addestrati su dati notturni reali con una minima iniezione di dati reali.
3. Il framework proposto non è legato a una specifica architettura di rilevatore, poiché i benefici sono stati osservati sia su Pedestron che su YOLO.

Gli autori concludono che, sebbene il metodo mostri promesse, il lavoro futuro dovrebbe esplorarne l'applicazione ad altri compiti di trasporto (ad esempio, riconoscimento dei segnali stradali) e investigare come l'architettura del rilevatore e le strategie di affinamento influenzino le prestazioni di adattamento.