CityGen: Structure-Guided City-Style Synthesis for Cross-City Autonomous Driving

Enunciato del Problema
I sistemi di guida autonoma sono tipicamente addestrati e valutati all'interno di regioni geografiche limitate, portando a un significativo degrado delle prestazioni quando vengono distribuiti in città non viste. Questo fallimento "cross-city" deriva da shift di dominio nelle disposizioni stradali, nell'aspetto visivo, nei modelli di traffico e nelle condizioni ambientali. Le soluzioni esistenti, come l'adattamento di dominio, l'aumento dei dati e la generazione di dati sintetici, spesso si affidano a dati target etichettati, annotazioni specifiche per città o design specifici per il compito. Queste dipendenze limitano la scalabilità e l'efficacia per una valutazione olistica attraverso i compiti di percezione, segmentazione e pianificazione. Inoltre, i benchmark attuali spesso mancano di una separazione geografica rigorosa, fallendo nel valutare rigorosamente la vera generalizzazione a livello di città.

Metodologia: CityGen e CityTransfer-Bench
Per affrontare queste sfide, gli autori introducono due componenti principali:

1. CityTransfer-Bench: Un benchmark geograficamente disgiunto progettato per valutare la generalizzazione cross-city. Costruito sul dataset nuScenes, separa rigorosamente i dati di addestramento e di test per località: i modelli sono addestrati esclusivamente su dati provenienti da tre regioni di Singapore (One-North, Queenstown e Holland Village) e valutati nell'area di Boston Seaport. Il benchmark valuta tre compiti fondamentali della guida autonoma: percezione (rilevamento), segmentazione e pianificazione.

2. CityGen: Un framework generativo basato su diffusione per l'adattamento di città senza etichette. Sintetizza scene urbane realistiche che imitano l'aspetto della città target preservando la struttura geometrica della città sorgente. Il metodo opera attraverso un meccanismo di doppia condizionamento:

   • Controllo Geometrico Guidato dalla Struttura: Il framework utilizza mappe ad alta definizione (HD) per imporre la coerenza geometrica. Proietta primitive strutturali invarianti per la città (confini delle corsie, linee centrali e box di delimitazione 3D degli agenti) su piani di telecamera multi-view per creare un tensore di controllo strutturale ($M_{hdmap}$). Questo tensore viene iniettato nel modello di diffusione tramite un ramo di controllo strutturale, garantendo che la topologia delle corsie e la disposizione degli oggetti rimangano stabili attraverso i domini.
   • Prompt Visivi a Livello di Città: Per catturare l'aspetto della città target (ad esempio, architettura, vegetazione, illuminazione), il sistema costruisce una "libreria di stile di città non etichettata" da video del dominio target. Un Modello Visivo-Linguistico (VLM), specificamente InternVL, estrae didascalie delle scene da questi video per formare un insieme di descrittori di stile. Questi descrittori agiscono come segnali di condizionamento testuale durante il processo di diffusione.
   • Processo di Sintesi: Il modello impiega un'architettura Diffusion Transformer (DiT). Denuidifica le variabili latenti condizionate sia dalla mappa strutturale ($M_{hdmap}$) che da un descrittori di stile campionati ($y$). Questo permette la generazione di scene urbane multi-view che mantengono la geometria della sorgente (preservando le annotazioni esistenti) mentre adottano lo stile visivo della città target.

Contributi Chiave

• CityTransfer-Bench: Il primo benchmark specificamente progettato per valutare la generalizzazione a livello di città attraverso i compiti di percezione, segmentazione e pianificazione utilizzando una divisione geograficamente disgiunta.
• Framework CityGen: Un approccio innovativo basato su diffusione per l'adattamento di città senza etichette che disaccoppia il layout strutturale dallo stile visivo. Permette il trasferimento di stile che preserva la semantica senza richiedere annotazioni aggiuntive per la città target.
• Validazione Empirica: Esperimenti su larga scala che dimostrano che i dati generati da CityGen migliorano significativamente la robustezza a valle su città non viste, stabilendo una base scalabile per la guida autonoma cross-domain.

Risultati Sperimentali
Valutato su CityTransfer-Bench utilizzando StreamPetr (rilevamento), Cross-View Transformer (segmentazione) e UniAD (pianificazione), CityGen ha costantemente superato i metodi di potenziamento esistenti e le baseline addestrate solo sui dati sorgente:

• Rilevamento: Miglioramento della media della Precisione Media (mAP) da 10.18 a 13.06 e del Normalized Detection Score (NDS) da 28.05 a 33.95 rispetto alla baseline solo sorgente.
• Segmentazione: Ha raggiunto guadagni sostanziali, aumentando IoU40 da 43.47 a 50.84 e IoU50 da 41.97 a 49.39, riducendo significativamente il divario con la baseline superiore addestrata su entrambe le città.
• Pianificazione: Ha ridotto il tasso medio di collisione allo 0.350% e l'errore L2 medio a 0.984, superando la baseline solo sorgente.
• Studi di Ablazione: I risultati hanno confermato che sia l'allineamento dello stile della città target che la codifica semantica dello stile basata su VLM sono essenziali; l'uso di didascalie della città sorgente o la rimozione della codifica VLM ha portato a un degrado delle prestazioni. Inoltre, CityGen ha mantenuto una forte robustezza anche quando i dati di addestramento sorgente etichettati sono stati ridotti al 20%, dimostrando una maggiore efficienza delle etichette.

Significato e Affermazioni
Il documento afferma che CityGen stabilisce una base scalabile ed efficiente in termini di etichette per la guida autonoma generalizzabile. Sintetizzando dati che sono strutturalmente coerenti ma visivamente diversificati, il metodo espone efficacemente i modelli a valle a un ampio spettro di condizioni visive della città target senza il costo proibitivo dell'annotazione manuale. Gli autori sostengono che questo approccio di sintesi guidata dalla struttura supera i limiti dei metodi precedenti che faticano con la generalizzazione cross-city su larga scala e nel mondo reale a causa delle differenze intrinseche nei modelli di traffico e nelle strutture stradali. Il lavoro fornisce un protocollo unificato per valutare la trasferibilità a livello di città, affrontando una lacuna critica nella scalabilità e nell'affidabilità dei sistemi di guida autonoma.