TokenSplat: Token-aligned 3D Gaussian Splatting for Feed-forward Pose-free Reconstruction

TokenSplat is een feed-forward framework dat semantisch uitgelijnde tokens en een asymmetrische decoder gebruikt om direct uit ongepositioneerde beelden zowel hoogwaardige 3D-Gaussische reconstructies als nauwkeurige cameraposities te genereren zonder iteratieve verfijning.

De kern

Stel je voor dat je een kamer binnenloopt en vanuit verschillende hoeken foto's maakt. Je wilt nu een perfecte, driedimensionale kopie van die kamer maken, zodat je er virtueel doorheen kunt lopen.

Vroeger was dit een enorme klus. Je moest eerst een ingewikkelde berekening doen om te achterhalen waar de camera precies stond bij elke foto (de "pose"). Als je die berekening verkeerd deed, was je 3D-model een puinhoop. Het was alsof je een puzzel probeert op te lossen zonder te weten hoe de randstukken eruitzien.

TokenSplat is de nieuwe, slimme oplossing die dit probleem oplost. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De "Token" als een slimme postbode

Stel je voor dat elke foto niet uit miljoenen losse pixels bestaat, maar uit een handvol slimme postbodes (de "tokens").

• Hoe het vroeger werkte: De computer keek naar elke pixel afzonderlijk. Als je 10 foto's had, kreeg hij 10 keer zo veel werk, en vaak kwamen dezelfde postbodes uit verschillende hoeken op precies dezelfde plek aan. Dat leidde tot een rommelige, dubbelzinnige boodschap (redundantie).
• Hoe TokenSplat werkt: De postbodes praten eerst met elkaar in een virtuele vergaderzaal (de "feature space"). Ze zeggen: "Hé, jij bent de postbode voor de vaas op de linkerkant, en jij bent de postbode voor diezelfde vaas op de rechterkant." Ze bundelen hun kennis direct. Zo krijgen ze een perfect, gezamenlijk beeld van de vaas voordat ze überhaupt beginnen met bouwen. Dit noemen ze Token-aligned.

2. De Twee Sporen: De Architect en de Navigator

Het grootste probleem bij het maken van 3D-modellen is dat je twee dingen tegelijk moet doen:

1. De vorm van de kamer bouwen (de Architect).
2. Bepalen waar de camera stond toen de foto werd gemaakt (de Navigator).

In oude systemen liepen deze twee vaak door elkaar heen. De Architect werd verward door de Navigator en vice versa, waardoor het model trilde of scheef werd.

TokenSplat gebruikt een slimme Asymmetrische Dubbele Stroom (ADF-Decoder):

• De Navigator (camera-token) kijkt naar de Architect en zegt: "Ik zie de lijnen van de muur, dus ik weet nu waar ik stond."
• De Architect (beeld-token) luistert naar de Navigator, maar laat de Navigator niet alles overnemen. De Navigator geeft alleen een stabiel, kalmer signaal terug: "Ik ben hier, bouw rustig verder."
• De metafoor: Het is alsof een architect en een gids samenwerken. De gids wijst de weg, maar hij mag niet in de bouwplannen gaan rommelen. Zo blijft de constructie stevig, terwijl de gids precies weet waar hij is.

3. Geen "Iteratief" Goochelwerk

Oude methoden waren als iemand die een bal probeert te vangen door eerst te gooien, te kijken of hij hem mist, en dan weer te gooien. Dit proces (iteratie) kost veel tijd en energie.

TokenSplat is feed-forward: het is als een super-snel schietend net. In één keer, zonder te hoeven terugkijken of te corrigeren, vangt het de hele scène en de camera-posities. Het is alsof je een foto maakt en in een flits een perfecte 3D-reconstructie hebt, zonder dat je computer uren moet nadenken.

Waarom is dit zo cool?

• Het werkt zonder GPS: Je hoeft niet te weten waar je camera stond. Je kunt gewoon een hoop willekeurige foto's maken (zelfs met je telefoon) en het systeem werkt het uit.
• Geen rommel: Omdat de postbodes (tokens) eerst samenvoegen voordat ze bouwen, krijg je geen dubbele muren of zwevende deeltjes. Het resultaat is strak en schoon.
• Het groeit mee: Of je nu 3 foto's of 30 foto's hebt, het systeem blijft stabiel. Bij andere methoden wordt het beeld wazig als je te veel foto's toevoegt, maar TokenSplat blijft scherp.

Kortom: TokenSplat is als een slimme, snelle bouwmeester die een kamer kan reconstrueren uit een hoop losse foto's, zonder dat hij eerst een kompas nodig heeft. Hij praat met zijn team (de tokens) om de beste plannen te maken, en bouwt het in één keer perfect op.

Technische samenvatting

Probleemstelling

Bestaande methoden voor 3D-scèneherconstructie met behulp van 3D Gaussian Splatting (3DGS) lijden vaak aan twee grote beperkingen:

1. Afhankelijkheid van camera-posities: De meeste geavanceerde pipelines vereisen nauwkeurige camera-posities (vaak verkregen via Structure-from-Motion, SfM), wat rekenkundig duur is en in uitdagende omgevingen kan falen.
2. Beperkingen van "Pose-free" methoden: Bestaande pose-vrije benaderingen proberen camera-posities en 3D-structuur gelijktijdig te leren, maar ze vertonen vaak "representatie-entanglement" (verstrengeling). Dit betekent dat viewpoint-informatie en scenesemantiek door elkaar lopen, wat leidt tot onnauwkeurige possschattingen die de 3D-herconstructie verstoren.
3. Redundantie en fragmentatie: Veel huidige pose-vrije methoden gebruiken pixel-gealigneerde heads die Gaussians per pixel genereren. Bij een groot aantal beelden leidt dit tot overvloedige, overlappende Gaussians, wat geometrische wazigheid, kleurinkonsistentie en gefragmenteerde reconstructies veroorzaakt.

Methodologie: TokenSplat

TokenSplat is een feed-forward framework dat 3D-scènes reconstrueert en camera-posities schat vanuit een willekeurig aantal ongepositioneerde (unposed) beelden, zonder iteratieve verfijning. De kernarchitectuur bestaat uit de volgende componenten:

1. Token-gealigneerde Gaussian Predictie (Token-aligned Gaussian Prediction)
In plaats van Gaussians direct per pixel te voorspellen, aligneert deze module semantisch corresponderende informatie over verschillende weergaven direct in de feature-ruimte.

• Token Fusion: Tokens worden gegroepeerd op basis van ruimtelijke nabijheid en fusie-vertrouwen. Dit creëert een set samengevoegde tokens met geconsolideerde features.
• One-to-Many Mapping: Een voorspellingshoofd mapt elke gefuseerde token naar meerdere Gaussians. Dit ontkoppelt de dichtheid van de Gaussians van de pixelresolutie, wat leidt tot dichter en expressiever splatting zonder de redundantie van pixel-gebaseerde methoden.

2. Asymmetrische Dual-Flow Decoder (ADF-Decoder)
Om de verstrengeling tussen camera-posities en scenesemantiek te voorkomen, introduceert TokenSplat een asymmetrische communicatiestroom:

• Learnable Camera Tokens: Er worden speciale camera-tokens geïntroduceerd die de camera-posities vertegenwoordigen.
• Directioneel Beperkte Communicatie:
  • Camera tokens halen robuuste geometrische aanwijzingen uit de beeld-tokens om de pose te voorspellen.
  • Beeld-tokens ontvangen alleen gestabiliseerde, laagfrequente signaaloverdracht over de pose-uitlijning.
  • Dit zorgt voor een schone factorisatie: de camera-tokens beïnvloeden de reconstructie niet op een manier die de scenesemantiek verstoort, en vice versa.

3. Architectuur

• ViT Encoder: Deel een gedeelde Vision Transformer (ViT) encoder om beeld-tokens te extraheren.
• Canonical Scene Decoder: Verwerkt de referentie-weergave met cross-attention om een canonieke scène-representatie op te bouwen.
• ADF-Decoder: Verwerkt de overige weergaven en de camera-tokens via de hierboven beschreven asymmetrische mechanismen.
• Loss Functies: Het model wordt getraind met een combinatie van rendering-verlies (L2 + LPIPS) en een camera-pose-verlies (MSE + Unit Dual Quaternion alignment) om zowel de visuele kwaliteit als de geometrische consistentie te waarborgen.

Kernbijdragen

1. TokenSplat Framework: Een nieuw feed-forward, pose-vrij systeem dat gelijktijdig camera-posities en 3D-Gaussian-scènes schat vanuit ongepositioneerde beelden, met sterke generalisatievermogen.
2. Token-aligned Predictie: Een module die multi-view feature-aggregatie op token-niveau mogelijk maakt. Dit reduceert redundantie en fragmentatie aanzienlijk ten opzichte van pixel-gebaseerde methoden, zelfs bij hoge dichtheid van input-beelden.
3. ADF-Decoder: Een innovatieve decoder die pose-redenering en scene-codering ontkoppelt via directioneel beperkte communicatie. Dit resulteert in stabielere pose-schattingen en hogere reconstructiekwaliteit zonder iteratieve loops.

Resultaten

TokenSplat is geëvalueerd op datasets zoals ScanNet en RealEstate10K (RE10K) en presteert superieur aan state-of-the-art methoden (zoals NoPoSplat, VicaSplat, AnySplat, en zelfs pose-afhankelijke methoden zoals FreeSplat in dichte-scenario's).

• Nieuwe Weergave Synthese (NVS):
  • Bereikt hogere PSNR, SSIM en lagere LPIPS scores.
  • Op RE10K (8 views) overtreft het FreeSplat met 0,95 dB in PSNR.
  • Toont uitstekende schaalbaarheid: bij 28 views behoudt TokenSplat de kwaliteit, terwijl concurrenten (zoals AnySplat en FreeSplat) degradatie vertonen door accumulatie van inconsistenties.
• Camera Pose Schatting:
  • Significant lagere fouten in Absolute Translation Error (ATE) en Relative Rotation Error (RPE-r) vergeleken met andere pose-vrije methoden.
  • Op RE10K (8 views) verlaagt het de RPE-r met 0,335 ten opzichte van VicaSplat.
• Cross-Dataset Generalisatie:
  • Getraind op RE10K, presteert het model "zero-shot" op ScanNet en overtreft alle bestaande methoden, wat bewijst dat het geen specifieke dataset-bias heeft.
• Efficiëntie:
  • De hoeveelheid gegenereerde Gaussians groeit veel trager dan bij pixel-gebaseerde methoden naarmate het aantal input-beelden toeneemt, wat leidt tot stabielere inferentietijden.

Betekenis en Impact

TokenSplat markeert een belangrijke stap voorwaarts in het veld van generaliseerbare 3D-reconstructie. Het lost het fundamentele probleem van "pose-entanglement" op in feed-forward architecturen door een asymmetrische decoder te gebruiken. Door te schakelen van pixel-gebaseerde naar token-gebaseerde aggregatie, elimineert het de redundantie die vaak leidt tot wazige of gefragmenteerde reconstructies bij veel input-beelden.

Dit maakt TokenSplat uiterst geschikt voor toepassingen waar camera-posities onbekend of onnauwkeurig zijn, zoals mobiele 3D-scanning, augmented reality en het verwerken van grote verzamelingen ongeordende foto's, waarbij het zowel de geometrie als de camera-trajecten nauwkeurig en stabiel kan reconstrueren zonder dure iteratieve optimalisatie.