VideoGAN-based Trajectory Proposal for Automated Vehicles

Sintesi Tecnica: Proposta di Traiettoria basata su VideoGAN per Veicoli Automatizzati

Problematica
La sfida centrale affrontata in questo lavoro è la generazione di opzioni di traiettoria realistiche e statisticamente accurate per i veicoli automatizzati (AV). Sebbene la previsione e la pianificazione delle traiettorie siano fondamentali per un'operatività altamente automatizzata, i metodi esistenti presentano dei limiti. Gli approcci classici basati su regole faticano a modellare le distribuzioni complesse, ad alta dimensionalità e multimodali che governano il comportamento congiunto di più agenti in ambienti interattivi. Al contrario, sebbene i modelli di deep learning (DL), in particolare i modelli generativi come i modelli di Diffusione e le Reti Generative Avversarie (GAN), eccellano nel catturare futuri diversificati, molti approcci spazialmente radicati (che gestiscono bene i vincoli di layout e gli indizi contestuali) si affidano ad architetture basate sull'attenzione che non sfruttano appieno i benefici della modellazione distributiva dei modelli generativi. Inoltre, esiste la necessità di metodi in grado di gestire traiettorie di lunghezza variabile (agenti che entrano/escono dalle scene) e di mantenere il realismo fisico riguardo alle distanze di sicurezza e al rispetto dei segnali stradali senza incorrere negli elevati costi computazionali associati ai modelli di diffusione.

Metodologia
Gli autori propongono una pipeline in tre fasi che combina la rappresentazione spazialmente radicata con la generazione di video:

1. Rasterizzazione dei Dati Astratti:
   La pipeline converte i dati del traffico astratti dal Waymo Open Motion Dataset in video di griglie di occupazione a bassa risoluzione in vista a volo d'uccello (Bird's-Eye View - BEV). Questo processo prevede:

   • L'estrazione delle linee centrali stradali, degli stati variabili nel tempo dei semafori e dei dati degli agenti (coordinate centrali, orientamento, dimensione del bounding box).
   • La resa di questi elementi in coordinate d'immagine centrate sul veicolo ego. Le linee centrali stradali sono renderizzate come linee grigie; i semafori come cerchi colorati; e gli agenti come rettangoli.
   • Il veicolo ego viene renderizzato in nero, mentre gli altri agenti ricevono colori casuali da un sottospazio HSV per evitare confusione con i semafori o la segnaletica stradale.
   • L'output è un dataset di video BEV a bassa risoluzione (ad es. 54 × 96 pixel) che rappresentano scene di traffico.

2. Addestramento di VideoGAN:
   Un modello generativo video, nello specifico un VideoGAN (basato su LongVideoGAN), viene addestrato sui video di griglie di occupazione rasterizzati. Gli autori hanno scelto le GAN rispetto ai modelli di diffusione per dare priorità a tempi di addestramento e inferenza più rapidi, osservando che, sebbene i modelli di diffusione offrano una maggiore fedeltà visiva, ciò è meno critico per la proposta di traiettoria dove la plausibilità fisica e la fattibilità della guida sono le metriche primarie. Il modello impara a generare scene dinamicamente coerenti di lunghezza arbitraria.

3. Estrazione della Traiettoria:
   I dati astratti della traiettoria vengono estratti dai video generati utilizzando una pipeline di post-elaborazione:

   • Rilevamento Oggetti: I fotogrammi vengono convertiti nello spazio colore HSV. Vengono applicate maschere per isolare i semafori (rossi, verdi, gialli) e gli agenti. Una tecnica di mascheramento specifica sostituisce i colori dei semafori con il colore sottostante occluso (ad es. veicolo o strada) per migliorare il rilevamento degli agenti che passano sotto i semafori. Un'apertura morfologica leviga i contorni, e vengono estratti i parametri spaziali (centro, dimensione, forma).
   • Corrispondenza Oggetti (Matching): Le identità sono tracciate attraverso i fotogrammi utilizzando una matrice di costo basata sulla prossimità spaziale, la somiglianza del colore, il rapporto di aspetto e la coerenza del tipo.
   • Arricchimento della Traiettoria: Vengono assegnati ID persistenti e la velocità istantanea e l'accelerazione rispetto al veicolo ego vengono calcolate tramite interpolazione.

Contributi Chiave

• Pipeline Generativa e Spazialmente Radicata: Gli autori presentano un metodo che sfrutta la modellazione distributiva dei modelli generativi mantenendo al contempo i vincoli di layout spaziale delle rappresentazioni BEV.
• Rasterizzazione Personalizzabile: Una pipeline per convertire i dati del traffico astratti in video di griglie di occupazione BEV a bassa risoluzione, consentendo un'alta personalizzazione della composizione della scena (ad es. aumentando la frequenza degli scenari di svolta).
• Procedura di Estrazione: Una procedura sviluppata per estrarre dati astratti riguardanti i semafori e gli utenti della strada dalle previsioni video frame per frame tramite rilevamento e matching.
• Efficienza: Il sistema raggiunge tempi di inferenza di circa 20 ms per una scena di 15 secondi, rendendolo adatto ad applicazioni in tempo reale, con un addestramento completato entro 100 ore di GPU.

Risultati
Gli autori hanno valutato le traiettorie generate rispetto alla verità fondamentale (ground truth) del Waymo Open Motion Dataset utilizzando sia metriche qualitative che quantitative:

• Analisi Qualitativa: Le scene generate hanno mostrato linee stradali realistiche, dinamiche degli utenti della strada e interazioni con i semafori realistiche. È stato osservato che gli agenti attendono ai semafori rossi, procedono con i semafori verdi e mantengono distanze di sicurezza. Il modello ha modellato con successo comportamenti complessi come la svolta agli incroci e l'ingresso/uscita degli agenti dalla scena, sebbene siano state osservate occasionali mutazioni di identità (divisioni o fusioni) vicino agli incroci.
• Analisi Quantitativa (Parametri Statici):
  • Dimensioni degli Oggetti: La distribuzione delle dimensioni degli agenti nei video generati è bimodale e confrontabile con i dati reali, sebbene i veicoli generati fossero in media del 10% più grandi.
  • Distanze e Densità: La distanza media centro-centro tra gli agenti e la densità del traffico (numero di oggetti per fotogramma) erano notevolmente simili tra le scene reali e quelle generate.
  • Oggetti Non Identificati: La distribuzione degli oggetti non riconosciuti era coerente, confermando il realismo visivo dei fotogrammi.
• Analisi Quantitativa (Dinamica):
  • Velocità e Accelerazione: Le distribuzioni statistiche delle velocità e delle accelerazioni relative corrispondevano ai dati di addestramento, catturando comportamenti di sorpasso, movimento coordinato e traffico opposto.
  • Sicurezza: Le distanze minime bordo-bordo hanno confermato che gli utenti della strada mantenevano una separazione appropriata.
• Rispetto dei Segnali Stradali: L'analisi della velocità del veicolo ego rispetto ai semafori ha mostrato che il modello ha imparato a fermarsi ai semafori rossi (velocità ~0 km/h) e a procedere a velocità appropriate per i semafori verdi, dimostrando l'osservanza dei segnali stradali dinamici.

Significato e Rivendicazioni
L'articolo sostiene di dimostrare che i modelli di generazione video possono produrre scene di traffico e traiettorie che sono sia realistiche che sicure in termini di interazione tra agenti e conformità ai segnali stradali dinamici. Raggiungendo velocità di inferenza di 20 ms, gli autori posizionano il loro metodo come un candidato valido per la proposta di traiettoria in tempo reale negli stack di guida autonoma. Il lavoro evidenzia il potenziale di combinare rappresentazioni spazialmente radicate con modelli generativi efficienti per superare i limiti sia dei sistemi basati su regole che dei costosi modelli di diffusione. Gli autori osservano che il lavoro futuro dovrebbe investigare modifiche architettoniche per gestire scene più grandi e complesse e comportamenti specifici come la precedenza ai pedoni.