UniQueR: Unified Query-based Feedforward 3D Reconstruction

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een kamer in je huis hebt met een paar foto's van verschillende hoeken. Je wilt nu een compleet 3D-model van die kamer maken, inclusief de hoeken die je niet op de foto's ziet (zoals de achterkant van een kast of de muur achter een stoel).

De oude manier om dit te doen was als een puzzellegger die alles één voor één moet uitrekenen. Dat kostte veel tijd en energie. Nieuwere methoden waren sneller, maar ze maakten vaak een "half-3D" model: ze konden alleen de dingen tekenen die ze daadwerkelijk op de foto zagen. Als je naar de achterkant van de kast keek, zag je daar een gat of een leegte, omdat de computer dacht: "Ik heb die kant nooit gezien, dus die bestaat niet."

UniQueR is een nieuwe, slimme manier om dit op te lossen. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De "Magische Vragen" (Queries) in plaats van pixels

Stel je voor dat je een schilderij maakt.

De oude manier (Pixel-gebaseerd): De kunstenaar kijkt naar elke individuele pixel op zijn foto en probeert daar een 3D-puntje van te maken. Als er geen pixel is (omdat het object voor een ander object staat), tekent hij niets. Het resultaat is een model met gaten.
De UniQueR-methode: In plaats van naar pixels te kijken, gebruikt UniQueR een set van slimme, onzichtbare "vragen" (in het Engels: queries). Stel je voor dat je 4.000 kleine, magische drones hebt die door de kamer vliegen. Deze drones zijn niet vastgeplakt aan de foto's. Ze kunnen vrij bewegen in de ruimte.

2. De drones vullen de gaten in

Deze "drones" (de queries) hebben twee taken:

Ze kijken naar de foto's om te zien wat er wel te zien is.
Ze gebruiken hun "kennis" om te raden wat er niet te zien is.

Omdat deze drones niet aan de foto's vastzitten, kunnen ze naar de achterkant van de kast vliegen en daar een 3D-puntje plaatsen, zelfs als er geen enkele foto die kant laat zien. Ze vullen de gaten op die andere methoden achterlaten.

3. Van vragen naar "3D-deeltjes" (Gaussians)

Zodra een drone op de juiste plek in de ruimte is, "ontploft" hij in een wolkje van kleine, kleurrijke 3D-deeltjes (in de vaktaal: Gaussians).

Denk aan deze deeltjes als een wolk van verfdeeltjes die in de lucht zweven.
Als je door deze wolk kijkt, zie je een scherp, realistisch beeld van de kamer.
Omdat UniQueR slim genoeg is om de drones ook in de onzichtbare hoeken te plaatsen, zie je geen gaten meer. Je ziet de volledige kamer, inclusief de achterkant van meubels.

4. Waarom is dit zo snel en slim?

Efficiëntie: Andere methoden proberen miljoenen deeltjes te berekenen (zoals een pixel voor elke pixel). UniQueR gebruikt slechts een paar duizend slimme drones die elk hun eigen wolk deeltjes genereren. Het is alsof je in plaats van elke steen in een muur te tellen, gewoon de structuur van de muur begrijpt. Dit maakt het veel sneller en verbruikt minder computerkracht.
Geen "per-scene" gedoe: Oude methoden moesten voor elke nieuwe kamer urenlang "nadenken" en optimaliseren. UniQueR is als een getrainde expert: hij ziet de foto's en maakt direct in één keer een perfect model, zonder lang na te hoeven denken.

Samenvattend

UniQueR is als een slimme architect die niet alleen kijkt naar de blauwdrukken (de foto's), maar ook zijn verbeelding gebruikt om de delen van het huis in te vullen die niet op de tekening staan.

Oude methoden: "Ik zie alleen wat op de foto staat." (Resultaat: gaten in het model).
UniQueR: "Ik zie wat op de foto staat, en ik weet dat er achter die stoel ook een muur zit." (Resultaat: een compleet, gatenloos 3D-model).

Dit maakt het mogelijk om in een fractie van de tijd realistische 3D-werelden te maken voor robots, games of virtuele tours, zelfs als je maar een paar foto's hebt.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Bestaande feedforward-methoden voor 3D-reconstructie (zoals DUSt3R, VGGT en AnySplat) hebben een fundamentele beperking: ze voorspellen per-pixel puntkaarten of pixel-uitgelijnde Gaussians. Deze benaderingen zijn inherent 2.5D en beperkt tot de zichtbare oppervlakken vanuit de ingangscamera's.

Gevolg: Ze kunnen geen geometrie genereren in gebieden die bedekt zijn (occlusies) of niet direct zichtbaar zijn vanuit de input-beelden. Dit leidt tot gaten en artefacten bij het genereren van nieuwe weergaven (novel view synthesis).
Huidige alternatieven: Optimalisatie-gebaseerde methoden (zoals NeRF en 3D Gaussian Splatting) kunnen volledige 3D-scènes modelleren, maar vereisen per-scène optimalisatie, wat rekenkundig duur is en niet schaalbaar is voor real-time toepassingen.

Methodologie: UniQueR

UniQueR introduceert een unified query-based feedforward framework dat reconstructie formuleert als een probleem van inferentie met een schaarse set 3D-queries, in plaats van per-pixel voorspellingen.

1. Kernelement: Leerbare 3D Queries

In plaats van pixel-gebaseerde output, leert het model een compacte set van 3D ankerpunten (queries).
Elke query fungeert als een expliciet geometrisch anker in de globale 3D-ruimte (niet gebonden aan een specifieke camera-positie).
Deze queries coderen zowel ruimtelijke als uiterlijke (appearance) priors direct in de 3D-ruimte.

2. Architectuur en Pipeline

Image Tokenization: Een Vision Transformer (ViT, specifiek DINOv2) extrahere visuele tokens van de input-afbeeldingen. Een "Alternating-Attention" transformer integreert multi-view informatie.
Hybride Initialisatie: Om trainingstabiliteit te garanderen zonder grondware 3D-data, worden de queries hybride geïnitieerd:
- De helft wordt gesampled vanuit voorspelde (niet-metrische) puntkaarten (gebaseerd op 2.5D oppervlakken).
- De andere helft bestaat uit leerbare ankerpunten die uniform in de 3D-ruimte zijn verdeeld om onzichtbare gebieden te exploreren.
Decoupled Cross-Attention: Om de rekenefficiëntie te behouden bij veel input-afbeeldingen, gebruikt UniQueR een ontkoppeld ontwerp:
- Eerst Cross-Attention: Queries absorberen informatie uit de image tokens.
- Daarna Self-Attention: Interactie tussen de queries onderling.
- Dit verlaagt de complexiteit van $O((Q+T)^2)$ naar $O(Q \cdot T + Q^2)$ , waarbij $Q$ het aantal queries en $T$ het aantal tokens is.
GS Spawning (Gaussian Splatting): Elke query "spawnt" een set van $K$ 3D Gaussians. De query voorspelt een verplaatsing ( $\delta q$ ) en offsets voor de Gaussians. Deze Gaussians worden vervolgens gerenderd via differentieerbare Gaussian Splatting.

3. Training en Supervisie

Novel-View Supervisie: Een cruciaal aspect is dat het model wordt getraind op een superset van views. Bijvoorbeeld: met 2 input-views worden 4 nieuwe (gehouden) views gebruikt voor supervisie.
Doel: Dit dwingt het model om Gaussians te plaatsen in gebieden die niet direct zichtbaar zijn in de input, waardoor gaten in occlusies worden opgevuld.
Verliesfunctie: Een combinatie van RGB-reconstructie (L1 + LPIPS), schaal-invariante diepteverlies en camera-pose verlies.

Belangrijkste Bijdragen

Query-based 3D Representatie: UniQueR is het eerste feedforward framework dat scene-level 3D reconstructie uitvoert via leerbare queries, waardoor geometrie losgekoppeld wordt van de input-camera's. Dit stelt het model in staat om Gaussians te plaatsen in onwaargenomen gebieden.
Decoupled Attention Mechanisme: Een efficiënt ontwerp dat de integratie van per-view features in globale queries mogelijk maakt, schaalbaar tot grote aantallen input-views en hoge resoluties.
Efficiëntie en Kwaliteit: Het bereikt state-of-the-art resultaten met een orde van grootte minder primitieven (Gaussians) dan dichte alternatieven, wat leidt tot lagere geheugengebruik en snellere inferentie.

Resultaten

De methoden zijn geëvalueerd op de datasets Mip-NeRF 360 en VR-NeRF.

Kwaliteit (Novel View Synthesis): UniQueR presteert superieur aan bestaande feedforward-methoden (zoals AnySplat en NoPoSplat) op metrics zoals PSNR, SSIM en LPIPS, zowel in schaarste (3-6 views) als dichte (32-64 views) settings.
Geometrische Accuraatheid: Het model produceert scherpere randen en vult gaten in occlusies in, wat resulteert in een lagere dieptefout (Abs-Rel error: 0.038 voor UniQueR vs. 0.062 voor AnySplat).
Efficiëntie:
- Gebruikt 15x minder Gaussians dan AnySplat (260K vs. 3.85M).
- Vereist 40% minder GPU-geheugen.
- Is 2.4x sneller in inferentie.
Initialisatie voor Optimalisatie: Als initialisatie voor per-scène optimalisatie (bijv. 3DGS) levert UniQueR aanzienlijk betere resultaten op dan andere methoden, wat aantoont dat de gegenereerde geometrie van hogere kwaliteit is.

Betekenis en Impact

UniQueR markeert een verschuiving in 3D-reconstructie van 2.5D pixel-gebaseerde benaderingen naar echte 3D query-gebaseerde inferentie.

Het lost het probleem van "gaten" in nieuwe weergaven op door expliciet 3D-ruimte te modelleren, zelfs voor onzichtbare gebieden.
Het maakt real-time, end-to-end 3D-reconstructie mogelijk zonder per-scène optimalisatie, wat essentieel is voor toepassingen in robotica, autonoom rijden en digitale content creatie.
Door de extreme efficiëntie (weinig primitieven) is het schaalbaar voor complexe scènes op standaard hardware.

Beperking: Het huidige framework ondersteunt geen dynamische scènes; uitbreiding naar temporele dynamiek is een richting voor toekomstig werk.