InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation

Sintesi Tecnica: InstaDrive

Problematica
I sistemi di guida autonoma si affidano fortemente a video di guida multi-vista di alta qualità e su larga scala per l'addestramento di task a valle come la percezione, l'inseguimento degli oggetti (tracking) e la pianificazione. Sebbene i "modelli del mondo" offrano un'alternativa più economica alla raccolta di dati nel mondo reale generando scenari di guida realistici, gli approcci esistenti faticano a causa di due criticità fondamentali:

1. Incoerenza Temporale a Livello di Istanza: Gli attuali modelli spesso non riescono a mantenere attributi stabili (ad es. colore, trama, identità) di oggetti specifici attraverso i fotogrammi, portando a sfarfallii o cambi di identità.
2. Fedeltà Geometrica Spaziale: I video generati presentano frequentemente disallineamenti con i segnali di controllo (ad es. i bounding box che deviano dalle loro posizioni previste) e non riescono a modellare correttamente le gerarchie di occlusione (ad es. oggetti distanti che occludono erroneamente oggetti più vicini).

Queste carenze ostacolano l'applicabilità dei dati sintetici in rigorosi compiti di guida autonoma, che richiedono un contesto spaziale preciso e un tracking stabile degli oggetti nel tempo.

Metodologia
Gli autori propongono InstaDrive, un modello del mondo per la guida basato sul framework OpenSora V1.1 (che utilizza un Variational Auto-Encoder, un encoder testuale T5 e un Spatial-Temporal Diffusion Transformer). InstaDrive introduce due nuovi moduli, consapevoli delle istanze (instance-aware), per affrontare le suddette sfide:

1. Instance Flow Guider (IFG):

   • Obiettivo: Imporre la coerenza temporale tracciando e propagando le caratteristiche delle istanze attraverso i fotogrammi.
   • Meccanismo: Il modulo utilizza gli ID di tracciamento per catturare le traiettorie di movimento (instance flow) degli oggetti circostanti. Calcola un vettore di spostamento 3D (offset) tra il fotogramma corrente e il fotogramma più recente visibile di un'istanza.
   • Implementazione: Questo offset viene renderizzato in una "mappa di movimento" all'interno dello spazio latente, dove gli offset x, y e z sono mappati in canali RGB. Questa mappa di movimento viene iniettata nel backbone del Diffusion Transformer (DiT) tramite ControlNet.
   • Effetto: Gli strati di attenzione temporale utilizzano questa condizione di movimento per recuperare le caratteristiche semantiche (categoria, colore, trama) dai fotogrammi precedenti e propagarle in avanti, garantendo che l'identità di un oggetto rimanga stabile anche quando riappare dopo un'occlusione.

2. Spatial Geometric Aligner (SGA):

   • Obiettivo: Garantire una localizzazione spaziale precisa e un corretto ragionamento sull'occlusione.
   • Meccanismo: Il modulo trasforma i bounding box 3D dal sistema di coordinate del mondo alla visuale in prima persona (FPV) della telecamera utilizzando i parametri intrinseci ed estrinseci.
   • Implementazione:
     • Proiezione: Gli angoli dei box 3D vengono proiettati in coordinate pixel 2D per creare vincoli spaziali espliciti nel dominio RGB.
     • Ordine di Profondità: Per modellare l'occlusione, il sistema calcola la profondità di ogni angolo rispetto al centro ottico della telecamera. Questi valori di profondità vengono codificati tramite Fourier embedding e un MLP per creare una rappresentazione dell'ordine di profondità.
     • Fusione: Le rappresentazioni dei box proiettati e l'ordine di profondità vengono fusi utilizzando meccanismi di cross-attention prima di essere iniettati nella pipeline di generazione.
   • Effetto: Ciò assicura che gli oggetti generati aderiscano strettamente ai segnali di controllo dei bounding box e che gli oggetti più vicini occludano correttamente quelli più lontani, mantenendo la coerenza geometrica.

Contributi Chiave

• Instance Flow Guider: Un modulo leggero che estrae e propaga le caratteristiche delle istanze attraverso i fotogrammi, migliorando significativamente la coerenza temporale senza dipendere da estrattori di caratteristiche esterni.
• Spatial Geometric Aligner: Un meccanismo che integra le proiezioni dei bounding box 3D e l'ordine di profondità esplicito per allineare le istanze con lo spazio dei pixel e risolvere le gerarchie di occlusione.
• Simulazione Procedurale Long-Tail: Una pipeline che sfrutta l'autopilota di CARLA per simulare stocasticamente scenari di guida rari e critici per la sicurezza (ad es. frenate improvvise, inserimenti di veicoli/cut-ins) attraverso diverse mappe, fornendo condizioni di controllo rigorose per la sintesi video.
• Framework Unificato: Un approccio end-to-end che combina questi moduli con ControlNet per gestire efficientemente molteplici segnali di controllo (mappe stradali, box 3D, pose della telecamera).

Risultati
Valutato sul dataset nuScenes, InstaDrive dimostra prestazioni allo stato dell'arte (SOTA):

• Qualità del Video: Raggiunge un FID di 3.96 e un FVD di 38.06, superando i metodi esistenti come MagicDrive-V2, DriveDreamer2 e Panacea.
• Coerenza Temporale: Nei compiti di Multi-Object Tracking (MOT) utilizzando il modello StreamPETR, i dati generati da InstaDrive riducono gli ID Switch (IDS) a 532 (rispetto a 593 per DriveDreamer2 e 687 per i baseline del mondo reale), indicando una superiore stabilità delle istanze.
• Fedeltà Spaziale: Nei compiti di percezione, i modelli addestrati sui dati generati da InstaDrive raggiungono un nuScenes Detection Score (NDS) di 40.51 sul set di validazione (86.38% della performance rispetto ai dati reali). Quando utilizzato per l'augmentation dei dati (miscelazione di dati sintetici e reali), l'NDS del modello di percezione migliora di 3.6 punti rispetto all'addestramento con soli dati reali.
• Analisi Qualitativa: I confronti visivi confermano che InstaDrive elimina gli sbalzi di colore, aderisce ai vincoli dei bounding box e renderizza correttamente le relazioni di occlusione, a differenza dei lavori precedenti che mostrano deviazioni in queste aree.

Significatività
Il paper afferma che InstaDrive stabilisce un modello del mondo fine e robusto che colma efficacemente il divario tra la generazione sintetica e i requisiti della guida autonoma nel mondo reale. Affrontando esplicitamente la coerenza temporale a livello di istanza e la fedeltà geometrica spaziale, il modello non solo genera video di alta qualità, ma produce anche dati sintetici direttamente applicabili e benefici per l'addestramento di compiti downstream di percezione, tracking e pianificazione. Inoltre, l'integrazione con CARLA per la generazione procedurale di scenari long-tail evidenzia il potenziale del sistema per la valutazione di sicurezza critica nei sistemi autonomi.