💻 computer science

E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training

E-RayZer is een zelftoezichtend 3D-visionmodel dat door expliciete 3D-reconstructie in plaats van latente ruimtesynthese, geometrisch onderbouwde representaties leert die presteren op of boven dat van volledig toezichtende modellen en andere visuele pre-training methoden.

Oorspronkelijke auteurs: Qitao Zhao, Hao Tan, Qianqian Wang, Sai Bi, Kai Zhang, Kalyan Sunkavalli, Shubham Tulsiani, Hanwen Jiang

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qitao Zhao, Hao Tan, Qianqian Wang, Sai Bi, Kai Zhang, Kalyan Sunkavalli, Shubham Tulsiani, Hanwen Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

E-RayZer: De "Ruimtelijke Zelflerende" die de 3D-Wereld Begrijpt

Stel je voor dat je een kind leert de wereld om zich heen te begrijpen. Als je het alleen foto's van een kamer geeft, kan het kind misschien de kleuren onthouden, maar het begrijpt niet echt dat de tafel achter de stoel staat of hoe ver de muur weg is. Het kind heeft geen "dieptezin".

Tot nu toe hebben computers die 3D-wereld moesten leren, vaak een "leraar" nodig gehad die hen vertelde: "Kijk, deze pixel is 2 meter weg, en die camera staat hier." Dit heet supervised learning (begeleid leren). Het probleem is dat zo'n leraar (vaak een mens of een dure software) niet altijd beschikbaar is, en het maken van die labels heel veel tijd kost.

E-RayZer is een nieuw soort computerprogramma dat zichzelf leert, zonder leraar. Het is alsof je het kind in een kamer zet met alleen maar video's en zegt: "Kijk maar goed, en probeer zelf te begrijpen hoe de ruimte eruitziet."

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Geheim: Van "Goocheltrucs" naar "Echte Bouwstenen"

Vorige zelflerende programma's (zoals RayZer) probeerden de 3D-wereld te begrijpen door een soort "gokspel" te spelen. Ze keken naar twee foto's en probeerden de ertussenin liggende beelden te gissen. Soms lukte dit goed, maar vaak gebruikten ze trucs. Ze gaven bijvoorbeeld een antwoord dat er op de foto mooi uitzag, maar dat in de echte 3D-wereld onzin was (alsof je een foto van een muur inkleurt alsof er een raam in zit, terwijl er geen raam is).

E-RayZer doet het anders. Het bouwt de wereld niet op in een onzichtbare, abstracte "droomwereld", maar bouwt hem op met zichtbare bouwstenen.

De Analogie: Stel je voor dat je een huis moet bouwen.
- De oude methode (RayZer) probeerde het huis te tekenen op een stuk papier dat je alleen ziet als je door een sleutelgat kijkt. Het ziet er mooi uit, maar je weet niet of de muren echt staan.
- E-RayZer pakt echte bakstenen (die noemen ze 3D-Gaussians) en bouwt het huis direct in de ruimte. Het ziet er niet alleen mooi uit op de foto, het is ook echt een huis.

2. De Oefening: "Kijk, Bouw, en Vergelijk"

Hoe leert E-RayZer zonder leraar? Het volgt een slimme cyclus:

Kijken: Het krijgt een reeks foto's van een kamer.
Gissen: Het probeert zelf te raden waar de camera's stonden en bouwt een 3D-model van de kamer met die bakstenen.
Testen: Het neemt dit 3D-model en probeert een nieuwe foto te maken die er nog niet was (een foto vanuit een hoek die niet in de originele set zat).
Controleren: Het vergelijkt de nieuwe foto die het zelf maakte met de echte foto uit de video. Als ze niet overeenkomen, weet het: "Ah, mijn 3D-model was fout!" en past het aan.

Dit proces noemen ze zelftoetsing. Het programma leert door fouten te maken en ze te corrigeren, net als een kind dat probeert een blokje op te stapelen en ziet dat het omvalt als het niet goed staat.

3. De Slimme Strategie: Eerst Makkelijk, Dan Moeilijk

Een groot probleem met dit soort leren is dat het soms vastloopt. Als je een kind direct een heel moeilijke puzzel geeft, geeft het op.
E-RayZer gebruikt een leerplan (curriculum):

Stap 1: Het begint met foto's die heel dicht bij elkaar staan (zoals twee foto's van een kamer die je 1 seconde na elkaar maakt). Dit is makkelijk; de camera is nauwelijks bewogen.
Stap 2: Naarmate het programma beter wordt, krijgt het foto's die verder uit elkaar liggen (zoals foto's van de kamer die je 10 seconden na elkaar maakt, of vanuit een heel andere hoek).
De Analogie: Het is als leren fietsen. Eerst oefen je op een vlakke weg met stabilisatiewieltjes (dichtbij elkaar). Als je dat goed kunt, haal je de wieltjes weg en ga je de heuvel op (ver uit elkaar).

Bovendien kijkt E-RayZer niet alleen naar de tijd (hoeveel seconden tussen de foto's), maar naar de visuele overlap. Als je in een lange gang loopt, zie je na 10 stappen nog steeds dezelfde muur (makkelijk). Als je in een open veld loopt en draait je om, zie je iets heel anders (moeilijk). E-RayZer meet dit en past de moeilijkheidsgraad daarop aan.

4. Waarom is dit zo belangrijk?

De resultaten zijn indrukwekkend:

Beter dan de "leraar": E-RayZer leert zo goed dat het soms zelfs beter presteert dan modellen die wel met een leraar (menselijke labels) zijn getraind.
Veelzijdig: Omdat het de wereld echt in 3D begrijpt (en niet alleen foto's nabootst), kan het dit kennis gebruiken voor andere taken. Het kan bijvoorbeeld diepte schatten (hoe ver is dat object?) of beweging volgen, zelfs in situaties waar het nooit eerder is getraind.
Toekomst: Dit opent de deur voor robots en auto's die de wereld kunnen begrijpen door gewoon video's te kijken, zonder dat mensen duizenden uren moeten besteden aan het labelen van data.

Kortom: E-RayZer is een computer die de 3D-wereld leert begrijpen door te spelen met bakstenen in de ruimte, in plaats van door te raden op een stuk papier. Het is een stap in de richting van machines die de wereld echt "zien" zoals wij dat doen.

1. Het Probleem

Huidige foundation-modellen voor taal, 2D-afbeeldingen en video maken gebruik van zelftoezicht (self-supervision) om betekenisvolle representaties te leren uit ongelabelde data. Echter, voor 3D-ruimtelijk begrip ontbreekt dit paradigma grotendeels. Bestaande 3D-vision-modellen vertrouwen bijna uitsluitend op volledig toezicht (supervised learning) met behulp van 3D-pseudolabels (zoals die gegenereerd door SfM-systemen zoals COLMAP). Deze aanpak is inefficiënt, onvolmaakt en schaalt niet goed.

Een eerdere zelftoezicht-methode, RayZer, probeerde 3D-bewustzijn te leren via een proxy-taak: latent-space view synthesis (het reconstrueren van nieuwe beelden in een verborgen ruimte). Het paper stelt echter dat RayZer slechts oppervlakkig 3D-bewust is en vaak "shortcut solutions" (zoals frame-interpolatie) gebruikt in plaats van echte geometrische redenering. Dit leidt tot camera-poses die niet fysiek betekenisvol zijn.

2. Methodologie: E-RayZer

E-RayZer is het eerste model dat volledig zelftoezicht gebruikt om 3D-Gaussian Splatting te leren voor feedforward 3D-reconstructie, zonder enige 3D-annotatie.

Kerncomponenten:

Expliciete 3D-Representatie: In tegenstelling tot RayZer (dat latent features gebruikt), werkt E-RayZer direct in de 3D-ruimte. Het voorspelt 3D-Gaussians (expliciete geometrie) direct vanuit de inputbeelden. Dit zorgt voor een sterkere inductieve bias voor 3D-structuur.
Architectuur:
- Camera Schatting: Een multi-view transformer voorspelt camera-intrinsieken en -extrinsieken (poses) voor alle inputbeelden.
- Scène Reconstructie: Vanuit een set "referentie-beelden" ( $I_{ref}$ ) worden per-pixel 3D-Gaussians gegenereerd. Deze parameters omvatten afstand, oriëntatie (quaternion), sferische harmonische coëfficiënten, schaal en opaciteit.
- Rendering: De voorspelde Gaussians worden gerenderd vanuit de zelf-voorspelde camera's van de "doel-beelden" ( $I_{tgt}$ ). Omdat 3D-Gaussian Splatting differentieerbaar is, kan de renderingsfout direct worden gebruikt voor zelftoezicht (fotometrische loss).
- Ontwerpkeuze: Het model verwijdert beeld-index embeddings om ongewenste interpolatie-prikkels te voorkomen en gebruikt een VGGT-achtige transformer met lokale-globale attention.
Curriculum Learning op Basis van Visuele Overlap:
- Training van expliciete 3D-modellen is lastig om te laten convergeren. E-RayZer introduceert een fijnmazig leerplan (curriculum) dat gebaseerd is op de visuele overlap tussen beelden, in plaats van vaste frame-intervallen.
- Labeling: Het model berekent de overlap tussen frames op twee manieren:
  1. Geometrisch: Gebaseerd op covisibility (UFM).
  2. Semantisch: Gebaseerd op cosine similarity van DINOv2 features (volledig zelftoezicht).
- Training: Het trainingproces begint met beelden met hoge visuele overlap (makkelijke samples, kleine camera-beweging) en schakelt geleidelijk over naar beelden met lagere overlap (moeilijkere samples, grotere beweging). Dit stabiliseert de training en maakt het model schaalbaar over heterogene datasets.

3. Belangrijkste Bijdragen

Eerste Zelftoezicht 3D Gaussian Splatting: E-RayZer is het eerste feedforward 3D-reconstructiemodel dat volledig van scratch wordt getraind met zelftoezicht, zonder 3D-labels.
Superieure 3D-Awareness: Door expliciete geometrie te gebruiken, leert het model representaties die fundamenteel 3D-bewust zijn, in tegenstelling tot de impliciete methoden van voorgangers.
Schaalbaarheid en Pre-training: Het model fungeert als een effectief pre-training framework voor ruimtelijk visueel begrip. De geleerde representaties transfereren uitstekend naar downstream taken.
Prestaties: Het presteert vergelijkbaar met of zelfs beter dan volledig toezicht-modellen (zoals VGGT), ondanks het ontbreken van 3D-labels tijdens training.

4. Resultaten

De auteurs evalueren E-RayZer op camera pose schatting, novel-view synthesis (NVS) en diverse downstream taken.

Pose Estimation & NVS: E-RayZer overtreft RayZer aanzienlijk in nauwkeurigheid van camera-poses (RPA) en behaalt vergelijkbare of betere kwaliteit in het renderen van nieuwe beelden (PSNR). Het lost het probleem van RayZer op waarbij poses niet fysiek consistent waren.
Vergelijking met Supervised Baselines: E-RayZer presteert op gelijke hoogte met of beter dan VGGT* (een gereproduceerde, volledig toezicht-versie van VGGT met dezelfde architectuur), vooral op out-of-domain datasets.
Downstream Tasks (Pre-training):
- Wanneer E-RayZer wordt gebruikt als pre-training voor VGGT, verbetert dit de prestaties van het toezicht-model aanzienlijk.
- Op taken zoals diepteschattting (Depth Estimation) en pairwise flow (optische stroom) overtreft E-RayZer toonaangevende visuele pre-training modellen zoals DINOv3, CroCo v2, VideoMAE V2 en Perception Encoder.
- Zelfs met een "frozen backbone" (zonder finetuning) levert E-RayZer de beste resultaten op 3D-taken, wat aantoont dat de features intrinsiek 3D-bewust zijn.
Schaalgedrag: Het model toont een vergelijkbaar schaalgedrag als toezicht-modellen: meer data en diversiteit leiden tot betere generalisatie. Data-kwaliteit en diversiteit blijken belangrijker dan alleen de hoeveelheid data.

5. Betekenis en Impact

E-RayZer markeert een paradigmaverschuiving in 3D-vision. Het bewijst dat zelftoezicht voldoende is om modellen te trainen die diep 3D-ruimtelijk begrip hebben, zonder afhankelijk te zijn van dure en onnauwkeurige 3D-annotaties (zoals COLMAP).

Efficiëntie: Het elimineert de noodzaak voor 3D-pseudolabels, waardoor het mogelijk is om modellen te trainen op enorme hoeveelheden ongelabelde internetvideo's.
Toekomstperspectief: Het stelt een nieuwe standaard voor voor "spatial visual pre-training". De representaties die het model leert, zijn bruikbaar voor een breed scala aan 3D-taken (robotica, AR/VR, autonome voertuigen) waar toezicht schaars is.
Beperkingen: Het model werkt momenteel alleen op statische scènes en neemt aan dat camera-beweging relatief uniform is. Uitbreiding naar dynamische scènes is een belangrijke richting voor toekomstig onderzoek.

Kortom, E-RayZer toont aan dat expliciete 3D-reconstructie via zelftoezicht een krachtige en schaalbare route is om fundamentele 3D-intelligentie in AI-modellen te verankeren.