InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation

Technische Samenvatting: InstaDrive

Probleemstelling
Autonome rij-systemen zijn sterk afhankelijk van hoogwaardige, grootschalige multi-view rijvideo's voor het trainen van downstream-taken zoals perceptie, objecttracking en planning. Hoewel "wereldmodellen" een kosteneffectief alternatief bieden voor real-world dataverzameling door realistische rijscenario's te genereren, kampen bestaande benaderingen met twee kritieke beperkingen:

1. Instance-Level Temporele Inconsistentie: Huidige modellen slagen er vaak niet in om stabiele attributen (bijv. kleur, textuur, identiteit) van specifieke objecten over frames heen te behouden, wat leidt tot flikkeringen of identiteitswisselingen.
2. Ruimtelijke Geometrische Getrouwheid: Gegenereerde video's vertonen frequent een mismatch met besturingssignalen (bijv. bounding boxes die afwijken van hun beoogde posities) en falen in het correct modelleren van occlusiehiërarchieën (bijv. verre objecten die onjuist de voorgrond occluderen).

Deze tekortkomingen belemmeren de toepasbaarheid van synthetische data in rigoureuze autonome rijtaken, die een precieze ruimtelijke context en temporeel stabiele objecttracking vereisen.

Methodologie
De auteurs stellen InstaDrive voor, een driving world model gebouwd op het OpenSora V1.1-framework (gebruikmakend van een Variational Auto-Encoder, T5 text encoder en Spatial-Temporal Diffusion Transformer). InstaDrive introduceert twee nieuwe, instance-bewuste modules om de bovengenoemde uitdagingen aan te pakken:

1. Instance Flow Guider (IFG):

   • Doel: Om temporele consistentie af te dwingen door instance-features over frames heen te tracken en te propageren.
   • Mechanisme: De module maakt gebruik van tracking ID's om bewegingstrajecten (instance flow) van omliggende objecten vast te leggen. Het berekent een 3D-verplaatsingsvector (offset) tussen het huidige frame en het meest recente zichtbare frame van een instance.
   • Implementatie: Deze offset wordt gerenderd in een "motion map" binnen de latente ruimte, waarbij x-, y- en z-offsets worden toegewezen aan RGB-kanalen. Deze motion map wordt via ControlNet geïnjecteerd in de Diffusion Transformer (DiT) backbone.
   • Effect: De temporele attention-lagen gebruiken deze motion-conditie om semantische features (categorie, kleur, textuur) uit voorgaande frames op te halen en deze voorwaarts te propageren, waardoor de identiteit van een object stabiel blijft, zelfs wanneer het na occlusie opnieuw verschijnt.

2. Spatial Geometric Aligner (SGA):

   • Doel: Om nauwkeurige ruimtelijke lokalisatie en correcte occlusie-redenering te waarborgen.
   • Mechanisme: De module transformeert 3D bounding boxes vanuit het wereldcoördinatensysteem naar het camera-perspectief (First-Person View, FPV) met behulp van intrinsieke en extrinsieke parameters.
   • Implementatie:
     • Projectie: 3D box-hoeken worden geprojecteerd naar 2D-pixelcoördinaten om expliciete ruimtelijke restricties in de RGB-domein te creëren.
     • Dieptevolgorde: Om occlusie te modelleren, berekent het systeem de diepte van elk hoekpunt ten opzichte van het optische centrum van de camera. Deze dieptewaarden worden gecodeerd via Fourier-embedding en een MLP om een dieptevolgorde-representatie te creëren.
     • Fusie: De geprojecteerde box-condities en dieptevolgorde-representaties worden gefuseerd via cross-attention mechanismen voordat ze in de generatiepipeline worden geïnjecteerd.
   • Effect: Dit zorgt ervoor dat gegenereerde objecten zich strikt houden aan de bounding box besturingssignalen en dat dichterbij gelegen objecten dichterbij gelegen objecten correct occluderen, wat de geometrische consistentie handhaaft.

Belangrijkste Bijdragen

• Instance Flow Guider: Een lichtgewicht module die instance-features extraheert en over frames heen propageert, wat de temporele consistentie aanzienlijk verbetert zonder afhankelijk te zijn van externe feature extractoren.
• Spatial Geometric Aligner: Een mechanisme dat 3D bounding box-projecties en expliciete dieptevolgorde integreert om instances uit te lijnen met de pixelruimte en occlusiehiërarchieën op te lossen.
• Procedural Long-Tail Simulatie: Een pipeline die gebruikmaakt van de CARLA autopilot om stochastisch zeldzame, veiligheidskritische rijscenario's (bijv. plotseling remmen, invoegen) te simuleren over diverse kaarten, wat strikte controlecondities biedt voor video-synthese.
• Unified Framework: Een end-to-end benadering die deze modules combineert met ControlNet om meerdere besturingssignalen (road maps, 3D boxes, camera poses) efficiënt af te handelen.

Resultaten
Geëvalueerd op de nuScenes dataset, demonstreert InstaDrive state-of-the-art (SOTA) prestaties:

• Videokwaliteit: Behaalt een FID van 3.96 en FVD van 38.06, waarmee het bestaande methoden zoals MagicDrive-V2, DriveDreamer2 en Panacea overtreft.
• Temporele Consistentie: In Multi-Object Tracking (MOT) taken met het StreamPETR-model, vermindert de door InstaDrive gegenereerde data het aantal ID-wisselingen (IDS) tot 532 (vergeleken met 593 voor DriveDreamer2 en 687 voor real-world baselines), wat duidt op superieure instance-stabiliteit.
• Ruimtelijke Getrouwheid: In perceptietaken bereiken modellen die getraind zijn op de door InstaDrive gegenereerde data een nuScenes Detection Score (NDS) van 40.51 op de validatieset (86,38% relatieve prestatie ten opzichte van real-world data). Bij gebruik voor data-augmentatie (het mengen van synthetische en echte data) verbetert de NDS van het perceptiemodel met 3,6 punten ten opzichte van training met enkel echte data.
• Kwalitatieve Analyse: Visuele vergelijkingen bevestigen dat InstaDrive kleurverschuivingen elimineert, zich houdt aan bounding box-restricties en de juiste occlusierelaties rendert, in tegen tegenstelling tot eerdere werken die afwijkingen vertonen op deze gebieden.

Betekenis
Het artikel stelt dat InstaDrive een fijnmazig en robuust wereldmodel vestigt dat de kloof tussen synthetische generatie en de eisen van real-world autonoom rijden effectief overbrugt. Door expliciet in te gaan op instance-level temporele consistentie en ruimtelijke geometrische getrouwheid, genereert het model niet alleen hoogwaardige video's, maar produceert het ook synthetische data die direct toepasbaar en nuttig is voor het trainen van downstream perceptie-, tracking- en planningstaken. Bovendien benadrukt de integratie met CARLA voor procedurele long-tail scenario-generatie het potentieel van het systeem voor veiligheidskritische evaluatie in autonome systemen.