Technische Samenvatting: OMNIDRIVE

1. Probleemstelling

Autonome rijdende wereldmodellen worden geconfronteerd met twee hardnekkige, onopgeloste spanningen die de generatie van hoogwaardige, controleerbare multi-view video's hinderen:

1. Heterogene Controle-injectie: Bestaande systemen hebben moeite om fundamenteel verschillende controlemethoden te verenigen. Geometrische aanwijzingen (HD-kaarten, 3D-boxen, camerastellingen) zijn ruimtelijk verankerd aan het pixelrooster, terwijl semantische aanwijzingen (vrije tekst, weer, stijl) globaal diffuus zijn. Huidige benaderingen voegen doorgaans aparte takken samen (bijv. ControlNet voor geometrie, cross-attention voor tekst) die onverbonden blijven totdat het diffusieproces ze post-hoc probeert te verzoenen.
2. Post-hoc Cross-View Fusie: De meeste methoden comprimeren elke camerabeeld onafhankelijk via afzonderlijke 3D VAE's en fuseren deze pas later via cross-view attention. Dit resulteert in camera-lokale latents die een gebrek hebben aan globaal 3D-geometrisch bewustzijn, wat leidt tot hardnekkige problemen zoals cross-view drift, fotometrische flikkering en object-teleportatie, zelfs wanneer individuele beeldkwaliteitsmetingen (FID) competitief zijn.

De auteurs stellen dat de kernoorzaak van beide fouten de afwezigheid is van een gedeelde symbolische interlingua die taal, geometrie en pixels op latent-token niveau uitlijnt.

2. Methodologie

OMNIDRIVE herdefinieert controleerbare multi-view video-generatie als een latent choreografie probleem, georkestreerd door een multi-agent systeem en verenigd door een innovatieve compressiestrategie.

A. LLM-Geregeerde Multi-Agent Systeem

In plaats van een monolithische prompt-naar-encoder pijplijn, gebruikt OMNIDRIVE drie gespecialiseerde Qwen2.5-VL agenten die gezamenlijk een enkele, positie-bewuste tokensequentie componeren:

• ARCHITECT: Parseert vrije tekst-prompts naar een gestructureerd WORLDSCRIPT (JSON). Dit script codeert de globale staat (weer, tijd), ego-traject, agent-lijsten (klassen, posities, gedrag) en wegtopologie. De output wordt ingebed als semantische tokens ($C_{sem}$).
• CARTOGRAPHER: Grond de WORLDSCRIPT in ruimtelijk verankerde geometrie. Het rendert programmatisch ijle lay-outafbeeldingen (gerasterde HD-kaarten, geprojecteerde 3D-boxen, ego-ribbons) voor elke camera en tijdstap. Deze lay-outs worden gecodeerd in geometrische tokens ($C_{geo}$) die exact dezelfde positionele indices delen als de visuele tokens.
• AUDITOR: Tijdens de training consumeert deze agent gedecodeerde multi-view crops en de WORLDSCRIPT om gestructureerde kritieken (consistentiescores en failure mode tags) tussen cameraparen te genereren. Deze worden ingebed als review-tokens ($C_{rev}$) om aanvullende supervisie te bieden.

B. Latente Co-Compressie

Om het cross-view consistentieprobleem op te lossen, introduceert OMNIDRIVE Latent Co-Compression, wat onafhankelijke per-camera codering vervangt door een verenigd proces:

• View-Time Permutatie ($\Pi$): De zes-camera $\times$ tijd video-kubus wordt platgeslagen tot een pseudo-temporele stroom waarbij de temporele dimensie wordt gedefinieerd als $\tilde{t} = (n-1)T + t$. Deze permutatie wordt identiek toegepast op zowel de RGB-video als de geometrische lay-outafbeeldingen van de CARTOGRAPHER.
• Unified 3D VAE: Een enkele 3D VAE (pre-trained op generieke video's) codeert de gepermuteerde tensor. Omdat de permutatie metriek-behoudend en orthogonaal is, behoudt het de Lipschitz-constante van de encoder.
• View-Block-Aware Padding (VBP): Om te voorkomen dat het convolutionele receptieve veld verschillende camerabeelden overbrugt (wat ongerelateerde ruimtelijke contexten zou mengen), wordt een leerbare maskering-operator toegepast. Dit zorgt ervoor dat temporele kernels alleen informatie aggregeren van hetzelfde moment over de verschillende views heen, wat inter-camera variantie vermindert.
• Gedeeld Ruis-Endpoint: Voor views die op hetzelfde fysieke moment zijn vastgelegd, wordt het ruis-endpoint ($z_1$) in de flow-matching formulering gedeeld, wat fotometrische variantie verder vermindert.

C. Gechoreografeerde Generatie (MM-DiT)

De co-gecomprimeerde latent wordt gepatchified en geconcateneerd met de door agenten geauteurde tokens ($C_{sem}, C_{geo}, C_{tmp}, C_{rev}$) tot een verenigde sequentie $S$.

• Positioneel Schema: Geometrische tokens ($C_{geo}$) delen dezelfde 3D positionele indices $(\tilde{t}, i, j)$ als de visuele tokens ($X$), wat pixel-niveau geometrische gronding afdwingt. Semantische tokens zijn offset, en temporele tokens zijn sinusoidaal.
• Biased Attention: Er wordt een controleerbare bias toegepast op het multi-modale aandachtmechanisme, waarbij specifiek de aandacht tussen visuele tokens en geometrische tokens ($X$ en $C_{geo}$) wordt verstevigd via een scalaire gain $\gamma_{geo}$. Dit brengt multi-branch cross-attention samen in een enkele self-attention mechanisme met expliciete positionele uitlijning.

D. Training en Inferentie

• Verliesfunctie: Het model wordt getraind met Conditional Flow Matching ($L_{CFM}$) gecombineerd met een equivariantie-bewuste smooth term ($L_{sm}$) die niet-fysieke latente sprongen bestraft, en een AUDITOR loss ($L_{rev}$) die de snelheidsovereenkomsten tussen views afstemt op de consistentiescores van de critic.
• Inferentie: Generatie vindt plaats via een rectified-flow ODE solver (Heun stappen). De AUDITOR kan optioneel worden aangeroepen tijdens de testtijd om tussenliggende samples te scoren en een enkele verfijningsstap te triggeren als de consistentiescores onder een drempelwaarde zakken.

3. Belangrijkste Bijdragen

1. OMNIDRIVE Architectuur: Het eerste multi-agent rijdend wereldmodel dat taalbegrip, geometische lay-out en pixelgeneratie verenigt in een enkele positie-bewuste token grid.
2. Latent Co-Compression: Een nieuwe view-time permutatiestrategie die inter-camera 3D-beperkingen transformeert naar lokale convolutionele afhankelijkheden binnen een gedeelde 3D VAE, waardoor post-hoc fusie overbodig wordt.
3. LLM-Geregeerde Conditionering: Een framework waarbij drie gespecialiseerde agenten (ARCHITECT, CARTOGRAPHER, AUDITOR) een conditionering-sequentie componeren die op token-niveau aan de visuele grid is gebonden, wat fijnmazige, ontkoppelde controle mogelijk maakt.
4. State-of-the-Art Prestaties: Het model zet nieuwe benchmarks op de nuScenes dataset voor multi-view consistentie en controleerbaarheid.

4. Experimentele Resultaten

Geëvalueerd op de nuScenes validatieset (6 camera's, 32 frames, 880×1280 resolutie):

• Kwaliteit & Consistentie: OMNIDRIVE bereikt een FVD van 45.7 en een multi-view consistentiescore (PC) van 65.6%, waarmee het baselines zoals MagicDrive-V2 (FVD 64.8, PC 62.8%) en UniMLVG significant verslaat. Het vermindert de epipolaire fotometrische fout (EPC) met ~28% vergeleken met de runner-up.
• Controleerbaarheid: Het model bereikt een BEV mAP van 21.55 en mIoU van 18.87 op gegenereerde data, waarmee het alle andere methoden overtreft.
• Downstream Nut: Een detector (BEVERFormer-S) die uitsluitend is getraind op 20k synthetische clips gegenereerd door OMNIDRIVE, bereikt 36.8 mAP en 44.0 NDS op echte nuScenes validatiedata. Dit vertegenwoordigt een verbetering van +2.4 NDS ten opzien van een baseline die alleen op echte data is getraind, wat het hoge nut van de synthetische corpus valideert.
• Efficiëntie: OMNIDRIVE opereert op de Pareto-front van kwaliteit versus latentie, waarbij clips worden gegenereerd in 9.6 seconden (2.4× sneller dan UniMLVG) met een lager geheugengebruik.

5. Betekenis en Claims

Het artikel claimt dat OMNIDRIVE de langdurige afruil tussen getrouwheid (fidelity) en controleerbaarheid in rijdende wereldmodellen oplost. Door een "gedeelde symbolische interlingua" te vestigen waar symbolische taal, gerenderde geometrie en pixel latents een volledig uitgelijnde coördinatenstelsel delen, stelt het systeem de gebruiker in staat tot:

• Echte Controleerbaarheid: Gebruikers kunnen enkele velden in de WORLDSCRIPT vervangen (bijv. weer, traject) om alleen het doelgerichte attribuut te wijzigen zonder andere attributen te beïnvloeden, wat fijnmazige, ontkoppelde controle aantoont.
• Geometrische Gronding: De co-compressie benadering zorgt ervoor dat geometrische beperkingen op het latente niveau worden gerespecteerd, wat de "cross-view drift" en "object-teleportatie" voorkomt die gebruikelijk zijn bij onafhankelijke encoding schema's.
• Praktisch Nut: De gegenereerde data is niet enkel visueel plausibel, maar ook functioneel waardevol, omdat het de prestaties van downstream perceptiemodellen getraind op echte data direct verbetert.

De auteurs positioneren OMNIDRIVE als een fundamentele stap naar "echte controleerbaarheid" in generatieve wereldmodellen, waarbij zij verder gaan dan losgekoppelde controlestromen naar een verenigd, door agenten gecoördineerd generatieproces.