MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer

Probleemstelling

Het genereren van realistische stadsomgevingen voor autonoom rijden is een cruciale taak voor het testen en evalueren van zelfrijdende systemen, vooral voor het synthetiseren van zeldzame "long-tail" scenario's. Bestaande methoden voor videogeneratie (zoals SVD en CogVideoX) zijn voornamelijk gericht op het genereren van RGB-video's en missen de mogelijkheid om multi-modale data (zoals dieptekaarten en semantische kaarten) te produceren.

De huidige aanpak voor autonoom rijden is vaak fragmentarisch:

1. Single-modal focus: De meeste methoden genereren alleen RGB-video's, terwijl autonoom rijden afhankelijk is van multi-modale data voor een holistisch begrip van de omgeving.
2. Meerdere modellen: Een veelvoorkomende oplossing is het gebruik van verschillende modellen voor verschillende modaliteiten (bijv. één model voor RGB, een ander voor diepte). Dit verhoogt echter de complexiteit van de implementatie, maakt de training inefficiënt en misbruikt niet de complementaire signalen tussen de verschillende data-modi.
3. Beperkte controle: Bestaande multi-view methoden hebben vaak moeite met het behouden van ruimtelijk-temporele consistentie over meerdere camera-weergaven en het nauwkeurig controleren van de scène-inhoud.

Methodologie: MoVieDrive

Het paper introduceert MoVieDrive, een unificerend framework dat een Multi-Modal Multi-View Video Diffusion Transformer gebruikt om diverse scenario's in één model te genereren.

1. Architectuur: Unified Diffusion Transformer

In plaats van meerdere modellen te gebruiken, bouwt MoVieDrive een enkel model op dat is opgedeeld in twee soorten componenten:

• Modal-shared components (Gedeelde componenten): Deze lagen leren gemeenschappelijke patronen die voor alle modaliteiten gelden, zoals tijdsconsistentie en ruimtelijke structuur. Ze bestaan uit:
  • Temporal attention layers: Zorgen voor consistentie tussen videoframes.
  • Multi-view spatiotemporal blocks: Zorgen voor consistentie tussen verschillende camera-weergaven (multi-view) en 3D-structuur. Deze gebruiken 3D-spatiale attention en hash-grid embeddings om de 3D-occupancy te coderen.
• Modal-specific components (Specifieke componenten): Deze lagen zijn verantwoordelijk voor het onderscheiden van specifieke modaliteiten (RGB vs. Diepte vs. Semantiek). Ze bestaan uit:
  • Cross-modal interaction layers: Hierbij wordt cross-attention gebruikt waarbij de query afkomstig is van de huidige modale latent, en de keys/values van de geconjugeerde latents van andere modaliteiten. Dit zorgt voor uitlijning tussen modaliteiten.
  • Projection heads: Schatten het toegevoegde ruispatroon voor elke specifieke modale uitgifte.

2. Conditionering en Invoer

Het model wordt gestuurd door diverse conditionering inputs om de scène nauwkeurig te controleren:

• Tekstcondities: Inclusief camera-prompten (intrinsic/extrinsic parameters) en tekstuele beschrijvingen van de scène (bijv. "regenachtige avond").
• Layout-condities: Voor fijnmazige controle worden kaarten gebruikt zoals box maps (3D-bounding boxes geprojecteerd op 2D), road maps (rijbanen) en occupancy maps. Deze worden gefuseerd via een unified layout encoder (gebaseerd op causale convoluties) in plaats van meerdere encoders.
• Context Referenties: Optionele startframes (context) die worden gebruikt voor het voorspellen van toekomstige scènes, vergelijkbaar met wereldmodellen.

3. Training en Inferentie

• Het model wordt getraind met een DDPM (Denoising Diffusion Probabilistic Models) scheduler om ruis te verwijderen uit latente representaties.
• Een gedeelde 3D VAE (van CogVideoX) wordt gebruikt voor het encoderen en decoderen van alle modaliteiten, wat aantoont dat verschillende modaliteiten een gemeenschappelijke latente ruimte kunnen delen.
• Tijdens inferentie kan het model lange video's genereren zonder referentieframes, of nieuwe modaliteiten produceren op basis van een bestaande RGB-video.

Belangrijkste Bijdragen

1. Unificerend Framework: De eerste methode die multi-modal multi-view video-generatie voor autonoom rijden in één diffusion transformer model combineert, waardoor de noodzaak voor meerdere modellen wordt weggenomen.
2. Novel Architectuur: Introductie van een diffusion transformer met gescheiden "modal-shared" en "modal-specific" lagen, wat zorgt voor zowel gedeeld begrip van de scène als specifieke modaliteitsdetails.
3. Geavanceerde Controle: Een systeem dat tekst, camera-parameters, en diverse layout-kaarten (boxen, wegen, occupancy) combineert voor hoogwaardige controle over de gegenereerde inhoud.
4. Empirische Superioriteit: Uitgebreide experimenten op real-world datasets (nuScenes en Waymo) die aantonen dat de methode state-of-the-art presteert in zowel kwaliteit als controleerbaarheid.

Resultaten

De prestaties van MoVieDrive zijn geëvalueerd op de nuScenes en Waymo datasets en vergeleken met state-of-the-art methoden zoals MagicDrive, DriveDreamer en UniScene.

• Videokwaliteit (Fidelity): MoVieDrive bereikte een FVD (Fréchet Video Distance) van 46.8 op nuScenes, wat aanzienlijk beter is dan concurrenten (bijv. MagicDrive-V2: 112.7, DriveDreamer-2: 55.7). Dit duidt op realistischere en temporair coherente video's.
• Controleerbaarheid:
  • 3D Object Detection: Beste mAP van 22.7.
  • BEV Segmentatie: Beste mIoU van 35.8.
  • Dit toont aan dat de gegenereerde video's strikt voldoen aan de input-condities (bijv. de positie van auto's en wegen).
• Multi-Modal Kwaliteit:
  • Dieptekaarten: Beste AbsRel van 0.110.
  • Semantische Kaarten: Beste mIoU van 37.5.
  • Ablatiestudies tonen aan dat het genereren van alle modaliteiten in één model (unified) beter presteert dan het genereren van RGB en het daarna schatten van diepte/semantiek met aparte modellen.
• Robuustheid: Het model kan video's genereren onder diverse weersomstandigheden (regen, sneeuw, nacht) en tijden, en kan lange video's (tot 18+ seconden) genereren zonder referentieframes.

Betekenis en Impact

MoVieDrive vormt een belangrijke doorbraak in de synthese van data voor autonoom rijden. Door een unificerend model te introduceren dat zowel RGB als sensorische data (diepte, semantiek) gelijktijdig en consistent genereert, lost het de problemen van implementatiecomplexiteit en data-fragmentatie op.

De mogelijkheid om holistische, multi-modale scènes te creëren met hoge controleerbaarheid maakt het mogelijk om:

1. Efficiënter te testen: Zelfrijdende systemen kunnen worden getraind en getest op synthetische data die exact overeenkomt met de vereiste sensorische inputs.
2. Zeldzame scenario's te simuleren: Gevaarlijke of zeldzame situaties (bijv. zware sneeuwval met verkeersdrukte) kunnen veilig worden gegenereerd voor training.
3. De kloof te overbruggen: Het bewijst dat diffusion modellen kunnen worden aangepast voor complexe, multi-view en multi-modale taken, wat de weg vrijmaakt voor toekomstige generaties van wereldmodellen in de autonome mobiliteit.