DriveTok: 3D Driving Scene Tokenization for Unified Multi-View Reconstruction and Understanding

DriveTok is een efficiënte 3D-tokenizer voor rijscènes die semantische, geometrische en textuurinformatie integreert om via een uniek token-representatie multi-view reconstructie en diverse begrijpende taken op het nuScenes-dataset te verbeteren.

De kern

Stel je voor dat je een zelfrijdende auto bent. Je hebt zes camera's aan de boord, die allemaal tegelijk naar de weg, andere auto's, bomen en de hemel kijken. Voor een mens is dit makkelijk: je hersenen bouwen direct een 3D-gevoel op van wat er om je heen gebeurt. Maar voor een computer is dit een enorme chaos. De computer ziet zes aparte, platte foto's. Als hij die één voor één bekijkt, raakt hij de draad kwijt: "Is dat diezelfde boom links en rechts? Hoe ver weg is die auto echt?"

Tot nu toe probeerden computers die foto's te comprimeren (in te korten) alsof ze losse postkaarten waren. Maar dat werkt niet goed voor rijden, want je mist het 3D-gevoel en het kost te veel rekenkracht.

DriveTok is de oplossing die de auteurs van dit paper hebben bedacht. Hier is hoe het werkt, vertaald naar een simpel verhaal:

1. De "Super-Vertaler" (De Encoder)

Stel je voor dat je zes verschillende vertalers hebt die elk een verhaal in een andere taal vertellen. Normaal gesproken zou je ze allemaal apart moeten lezen. DriveTok doet iets slimmers: het pakt al die zes verhalen en vertaalt ze direct naar één enkel, perfect samenvattend verhaal in een nieuwe taal.

In de wereld van de auto noemen ze dit "Scene Tokens".

• Het oude probleem: De computer hield 10.000 losse stukjes informatie vast (voor elke pixel in elke foto).
• De DriveTok-methode: De computer vat alles samen in een vast aantal "hoofdpersonages" (bijvoorbeeld 16.000 stukjes). Deze stukjes weten precies waar ze in de 3D-wereld staan, ongeacht of ze van links of rechts zijn gefotografeerd. Het maakt niet uit of de foto's groot of klein zijn; het resultaat is altijd hetzelfde compacte pakketje.

2. De "Onzichtbare Netten" (De Decoder)

Nu heeft de computer dat compacte pakketje met de "essentie" van de wereld. Maar wat moet hij ermee doen? DriveTok kan dit pakketje weer terugveranderen in verschillende dingen, afhankelijk van wat nodig is:

• Terug naar foto's: Hij kan de originele beelden weer reconstrueren (alsof hij de foto's opnieuw tekent).
• Diepte voelen: Hij kan zeggen hoe ver alles weg is (dieptekaart).
• Betekenis geven: Hij kan zeggen "dit is een weg", "dat is een voetganger" of "dat is een boom".
• 3D Ruimte vullen: Hij kan een volledig 3D-voorstelling maken van de hele ruimte, inclusief wat er achter de andere auto's zit.

3. De "Magische Bril" (Visibility-Guided Attention)

Dit is het slimste onderdeel. Stel je voor dat je door een raam kijkt. Je ziet wat er buiten is, maar je ziet niet wat er achter de muur is.
DriveTok gebruikt een speciale "magische bril" (visibility-guided attention). Deze bril zorgt ervoor dat de computer alleen informatie uitwisselt als het fysiek mogelijk is om dat te zien.

• Als een camera een boom ziet, mag die boom "praten" met de 3D-token van die boom.
• Maar als die boom achter een ander voertuig zit en de camera kan hem niet zien, dan mag hij niet praten.
  Dit voorkomt dat de computer in de war raakt en zorgt dat hij een eerlijke, fysiek correcte 3D-wereld bouwt.

Waarom is dit zo belangrijk?

Vroeger waren auto's slim in "zien" (wat is dat?) en "rekenen" (hoe ver is het?). Maar ze waren niet goed in "begrijpen" (wat gebeurt er nu eigenlijk?).

DriveTok is als een universale schakel tussen de ogen van de auto en de "hersenen" van de toekomst.

• Voor de auto: Het bespaart enorm veel rekenkracht. In plaats van een berg losse foto's te verwerken, krijgt de AI een strakke, duidelijke samenvatting van de wereld.
• Voor de toekomst: Dit maakt het mogelijk om echte "wereldmodellen" te bouwen. Denk aan een auto die niet alleen rijdt, maar ook kan praten ("Kijk, daar staat een hond"), kan plannen ("Ik moet hier voorzichtig zijn omdat de weg nat is") en zelfs kan dromen over wat er zou gebeuren als die auto plotseling remt.

Kortom: DriveTok pakt de chaotische wereld van zes camera's, knijpt die samen tot een slimme, 3D-bewuste "samenvatting" (tokens), en zorgt dat de auto niet alleen kijkt, maar echt begrijpt wat er om hem heen gebeurt. Het is de sleutel om zelfrijdende auto's van simpele waarnemers naar slimme denkers te maken.

Technische samenvatting

Probleemstelling

De autonome rijtechnologie evolueert van een puur perceptie-gedreven pijplijn naar een redenerings-gedreven pijplijn, aangedreven door Vision-Language-Action (VLA) modellen en wereldmodellen. Een centrale uitdaging in deze transitie is het vinden van een geschikte representatie voor sensorinvoer die zowel lage-niveau informatie (voor reconstructie) als semantisch rijke informatie (voor begrip) bevat.

Bestaande visuele tokenizers hebben echter twee fundamentele beperkingen in de context van autonoom rijden:

1. 2D/Per-Image Focus: De meeste tokenizers zijn ontworpen voor monoculaire of generieke 2D-scènes. Ze tokeniseren afbeeldingen per afzonderlijk beeld, wat leidt tot inconsistentie tussen verschillende camera-weergaven en het verlies van cruciale 3D-spatiale informatie.
2. Inefficiëntie: Voertuigen zijn uitgerust met meerdere hoge-resolutie camera's. Het verwerken van elke afbeelding onafhankelijk resulteert in een groot aantal tokens, wat computationally inefficiënt is en redundante representaties creëert in overlappende gebieden.

Er is dus behoefte aan een tokenizer die multi-view inputs omzet in een compacte, 3D-bewuste representatie die resolutie- en camera-agnostisch is.

Methodologie: DriveTok

DriveTok is een efficiënte 3D-tokenizer voor autonome rijscènes die multi-view beelden omzet in een vaste set van "unified scene tokens". De architectuur bestaat uit drie hoofdmodules:

1. 3D Driving Scene Tokenization (Encoder)

In plaats van per afbeelding te tokeniseren, projecteert DriveTok features van meerdere camera's naar een uniforme 3D-ruimte.

• Feature Extractie: Een voorgeïmplementeerde vision foundation model (DINOv3) extraheren semantisch en textuur-rijke features uit de surround-view beelden.
• 3D Deformable Cross-Attention: Deze features worden gemapt naar een vast 3D-scènerooster (scene grid) $Q$ met behulp van een "scene query lifter". Door middel van 3D deformable cross-attention worden informatieve gebieden uit de afbeeldingen gesampled op basis van de camera-intrinsieken en -extrinsieken.
• Resultaat: Dit produceert een set van unified scene tokens ($B$). Het aantal tokens is vast (bepaald door het rooster, bijv. 128x128) en onafhankelijk van het aantal camera's ($N$) of de beeldresolutie ($H \times W$).

2. Spatial-Aware Multi-View Decoder

Om interactie tussen de scene tokens en de per-camera view tokens mogelijk te maken, wordt een multi-view transformer gebruikt.

• Plücker Ray Embeddings: View tokens worden verrijkt met Plücker-embeddings van de kijkstralen, wat zorgt voor camera-bewuste geometrische priors.
• Visibility-Guided Attention: Een cruciale innovatie is het gebruik van een zichtbaarheidsmasker (visibility mask). Dit zorgt ervoor dat scene tokens alleen interageren met view tokens van camera's die dat specifieke 3D-gebied fysiek kunnen zien. Dit voorkomt onlogische interacties en forceert geometrische consistentie.

3. Unified Reconstruction and Understanding (Training)

DriveTok wordt getraind met een joint multi-task strategie om de scene tokens te laten coderen voor textuur, geometrie en semantiek:

• 2D Taken: Beeldreconstructie (RGB), dieptepredictie en semantische segmentatie (via een DPT-decoder).
• 3D Taken: 3D semantische bezettingsvoorspelling (Occupancy Prediction) direct vanuit de scene tokens.
• Semantische Regularisatie: Een extra term die de scene tokens afstemt op expliciete semantische labels om de structuur in de latente ruimte te verbeteren.

Belangrijkste Bijdragen

1. Unificatie van 3D Representatie: DriveTok introduceert een framework dat multi-view inputs omzet in resolutie- en camera-agnostische scene tokens, wat de basis legt voor schaalbare wereldmodellen.
2. Geometrie-bewuste Tokenisatie: Door 3D deformable cross-attention en visibility-guided attention te combineren, worden tokens geproduceerd die consistent zijn over verschillende gezichtsvelden en rijke 3D-structuur bevatten.
3. Multitask Learning: Het gezamenlijk trainen van reconstructie, diepte, semantiek en 3D-bezetting zorgt ervoor dat de tokens zowel lage-niveau details (textuur) als hoge-niveau begrip (semantiek/ruimte) bevatten.
4. Efficiëntie: Het systeem reduceert het token-aantal aanzienlijk ten opzichte van per-image tokenisatie, wat essentieel is voor de volgende generatie grote modellen in autonoom rijden.

Resultaten

De methode is uitgebreid geëvalueerd op het nuScenes-dataset:

• Beeldreconstructie: DriveTok presteert vergelijkbaar met state-of-the-art tokenizers (zoals VQGAN en FlowMo) op PSNR en SSIM, maar doet dit voor multi-view inputs met behoud van cross-view consistentie.
• Dieptepredictie: DriveTok behaalt de beste resultaten (laagste AbsRel, hoogste $\delta < 1.25$) vergeleken met zowel monoculaire als multi-view diepte-methoden, wat aantoont dat de tokens robuuste geometrische informatie bevatten.
• 3D Bezetting (Occupancy): De methode bereikt state-of-the-art prestaties in 3D semantische bezettingsvoorspelling (mIoU), zelfs met een gefrozen backbone, wat beter is dan gespecialiseerde modellen zoals BEVFormer en GaussianFormer.
• Ablatie-studies:
  • Het verwijderen van de visibility-guided attention leidt tot tokens die overfit op textuur en falen in 3D-redenering.
  • Het toevoegen van 3D-taken (diepte, bezetting) verbetert de ruimtelijke en semantische kwaliteit van de tokens, zelfs als dit ten koste gaat van de puur beeldreconstructiekwaliteit.

Significantie en Toekomstperspectief

DriveTok biedt een cruciale schakel tussen waarneming en redenering in autonome systemen. Door een compacte, semantisch rijke en geometrisch consistente representatie te bieden, maakt het de integratie van autonome rijmodellen met Vision-Language-Action (VLA) modellen en wereldmodellen mogelijk.

Deze "unified scene tokens" kunnen dienen als een gemeenschappelijk geheugen voor:

• Open-ended vragen over de rijomgeving.
• Contrafactueel redeneren ("Wat zou er gebeuren als...").
• Meerstapsplanning en video-predictie.

Kortom, DriveTok legt de basis voor schaalbare, holistische rijfoundationmodellen die zowel kunnen "zien" als "begrijpen".