Technische Samenvatting: OmniSpace

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben een sterke prestatie getoond bij 2D visuele taken, maar worstelen met de geometrische intelligentie die vereist is voor Autonomous Vehicle (AV) toepassingen. Huidige benaderingen vallen doorgaans uiteen in twee categorieën:

1. Pure 2D MLLM's: Deze behandelen AV-taken als standaard 2D autoregressieve problemen. Hoewel efficiënt, missen ze expliciete geometrische transparantie, waarbij cruciale informatie zoals diepte, schaal, camerapositie en cross-view correspondentie begraven ligt binnen de beeldtokens.
2. MLLM's met externe 3D-modellen: Deze integreren hulpmodellen voor 3D-geometrie (bijv. diepteschatters) tijdens de inferentie. Hoewel effectief, introduceert dit pipeline-complexiteit, verhoogt het de computationele kosten en creëert het een risico op cascadefouten als het externe 3D-model slecht presteert.

De auteurs identificeren dat huidige MLLM's worden gehinderd door twee specifieke geometrische tekortkomingen: zwakke diepteschatting (het onvermogen om metrische scène-structuur af te leiden) en slechte cross-view correspondentie (het onvermogen om scène-elementen te associëren tussen verschillende camerabeelden). Diagnostische analyse laat een sterke correlatie zien tussen de prestaties op deze geometrische taken en de downstream AV-planning en risicodetectie-capaciteiten.

Methodologie: OmniSpace

OmniSpace wordt voorgesteld als een plug-and-play, geometrie-bewust adaptatieframework dat ruimtelijk redeneren direct binnen de MLLM verbetert zonder te vertrouwen op externe 3D-modellen tijdens de inferentie. Het bestaat uit drie kerncomponenten:

1. Camera Pose Injector

Om ruimtelijke priors in visuele tokens te injecteren, introduceren de auteurs een mechanisme dat elk feature map token codeert met de bijbehorende Plücker-straalrepresentatie.

• Mechanisme: In plaats van een straal naïef te representeren als een cameracentrum en richting (wat redundant is), gebruikt het model de Plücker-coördinaat $P = (o \times d, d) \in \mathbb{R}^6$. Deze representatie is invariant voor de keuze van een punt langs de straal, wat geometrische consistentie garandeert.
• Implementatie: De Plücker-straalkaart wordt geprojecteerd via een lichtgewicht MLP en toegevoegd aan de visuele features. De projector is met nul geïnitialiseerd, waardoor het model zich aanvankelijk gedraagt als de basis-MLLM en geleidelijk leert om camerageometrie te injecteren.

2. Multi-view Epipolar Attention

Om cross-view consistentie af te dwingen, vervangen de auteurs standaard globale cross-view aandacht door epipolaire-beperkte aandacht (epipolar-constrained attention).

• Mechanisme: Voor een token in één view berekent het model epipolaire lijnen op andere views op basis van camerakalibratie. De aandacht wordt beperkt tot tokens die op deze epipolaire lijnen liggen (plus een 3x3 dilatatie voor robuustheid).
• Effect: Dit dwingt het model om overeenkomstige scène-elementen over verschillende views te associëren op basis van geometrische plausibiliteit in plaats van willekeurige feature-gelijkenis, terwijl de onbeperkte self-attention binnen een enkele view behouden blijft. Net als de injector wordt dit module toegevoegd via een met nul geïnitialiseerde residuele verbinding.

3. 3D Geometrische Distillatie met Temporele Aggregatie

Om het model uit te rusten met dieptebegrip, gebruikt OmniSpace een 3D foundation model (VGGT) als docent, maar alleen tijdens de training.

• Uitdaging: Het direct toepassen van 3D foundation modellen op single-frame AV-scènes levert ruizige supervisie op door beperkte inter-view overlap en dynamische objecten.
• Oplossing: De auteurs introduceren temporele geometrische aggregatie. Een symmetrisch temporeel venster van multi-view frames ($2K+1$) wordt gevoed aan de 3D-docent. De resulterende docent-features worden gemiddeld langs de temporele dimensie om een stabiel, hoogwaardig geometrisch doel te creëren.
• Distillatie: De visuele tokens van de student-MLLM worden geprojecteerd naar de feature-dimensie van de docent en getraind om de L2-afstand tussen de student- en de geaggregeerde docent-features te minimaliseren. De 3D-docent wordt tijdens de inferentie volledig weggegooid.

Belangrijkste Bijdragen

1. Diagnostisch Onderzoek: De auteurs identificeerden diepteschatting en cross-view correspondentie als de primaire geometrische bottlenecks voor MLLM's in AV-taken en valideerden hun correlatie met downstream prestaties via een nieuwe benchmark (Geo-Bench).
2. OmniSpace Framework: Een nieuwe architectuur die Camera Pose Injection, Multi-view Epipolar Attention en 3D Geometrische Distillatie integreert. Deze aanpak internaliseert geometrisch bewustzijn zonder externe 3D-modules te vereisen tijdens de inferentie.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat OmniSpace de planning-nauwkeurigheid, risicodetectie en taalbegrip verbetert over meerdere benchmarks (nuScenes, Bench2Drive, nuInstruct, OmniDrive, DriveBench), terwijl de efficiëntie van pure 2D MLLM's behouden blijft.

Experimentele Resultaten

Het paper evalueert OmniSpace op vijf autonome rij-benchmarks:

• Open-loop Planning (nuScenes): OmniSpace presteert consequent beter dan baseline MLLM's en methoden die vertrouwen op 3D-modellen tijdens de testtijd (zoals SpaceDrive, VGGDrive) op het gebied van trajectfout (L2), botsingspercentage en intersectiepercentage. Opvallend genoeg behaalt het deze winst met een aanzienlijk hogere doorvoer (FPS) vergeleken met methoden die externe 3D-modellen gebruiken.
• Closed-loop Planning (Bench2Drive): OmniSpace behaalt een Driving Score van 79,65 en een Success Rate van 60,15% (gebruikmakend van Qwen2.5-VL), waarmee het eerdere state-of-the-art methoden overtreft. De Qwen3-VL variant behaalt de beste prestaties onder MLLM-gebaseerde methoden op deze benchmark.
• Risicodetectie (nuInstruct): Het model behaalt superieure prestaties in risicoperceptie (hoogste MAP en Accuraatheid, laagste MAE) zonder hulp-3D-modellen, waarmee een bekende zwakte van standaard MLLM's wordt aangepakt.
• Taalbegrip (OmniDrive): OmniSpace verbetert de kwaliteit van de beschrijving (CIDEr, ROUGE) ten opzichte van baselines, wat bevestigt dat geometrische distillatie het ruimtelijk redeneren versterkt zonder de linguïstische capaciteiten te verslechteren.
• Generalisatie (DriveBench): Fine-tuning op DriveLM en testen op DriveBench laat zien dat OmniSpace beter generaliseert dan baselines over uitdagende scenario's.

Ablatie-studies bevestigen dat elk onderdeel (Pose Injector, Epipolar Attention, Distillatie) uniek bijdraagt aan de prestaties. Specifiek presteert Plücker-straal codering beter dan naïeve straal codering, en epipolaire aandacht presteert beter dan vanilla cross-view aandacht. Temporele aggregatie met $N=4$ frames wordt gevonden als de optimale balans tussen de kwaliteit van de geometrische supervisie en de computationele kosten.

Betekenis en Claims

Het paper claimt dat OmniSpace een eenvoudig maar effectief paradigma biedt voor het bereiken van geometrie-bewust ruimtelijk redeneren in MLLM's. De primaire betekenis ligt in:

• Ontkoppeling van Inferentiecomplexiteit van Geometrisch Bewustzijn: Door geometrische priors tijdens de training te internaliseren via distillatie, vermijdt OmniSpace de computationele overhead en de implementatierisico's die gepaard gaan met externe 3D-modellen tijdens de inferentie.
• Directe Verbetering van Ruimtelijke Intelligentie: Het demonstreert dat MLLM's direct een robuust 3D-scènebegrip (diepte en cross-view correspondentie) kunnen verwerven, in plaats van te vertrouwen op 2D visuele autoregressie of externe pipelines.
• Efficiëntie en Prestatie-trade-off: Het framework biedt een competitieve of superieure nauwkeurigheid-efficiëntie trade-off, waardoor het een levensvatbare oplossing is voor real-world autonome rij-systemen waar zowel veiligheid (geometrische nauwkeurigheid) als latentie (inferentiesnelheid) cruciaal zijn.

De auteurs erkennen beperkingen en merken op dat de methode een nauwkeurige camerakalibratie veronderstelt en vertrouwt op een specifieke 3D-docent (VGGT), wat suggereert dat toekomstig werk ego-motion-bewuste aggregatie en AV-voorgetrainde 3D foundation modellen zou kunnen verkennen.