💻 computer science

SCOPE: Scale-Consistent One-Pass Estimation of 3D Geometry

SCOPE is een nieuwe one-pass methode voor het schatten van 3D-geometrie uit uitgebreide monoculaire videosequenties die viewpoint-invariante uitlijning, appearance-invariante leerprocessen en frequentie-gemoduleerde positionering introduceert om significante verbeteringen in geometrische nauwkeurigheid en temporele consistentie te bereiken ten opzichte van state-of-the-art benaderingen.

Oorspronkelijke auteurs: Zheng Zhang, Lihe Yang, Tianyu Yang, Chaohui Yu, Yixing Lao, Xiaoyang Guo, Biao Gong, Fan Wang, Hengshuang Zhao

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zheng Zhang, Lihe Yang, Tianyu Yang, Chaohui Yu, Yixing Lao, Xiaoyang Guo, Biao Gong, Fan Wang, Hengshuang Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een perfect 3D-model van een kamer te bouwen door alleen naar een video te kijken van iemand die door de kamer loopt. De uitdaging is niet alleen het zien van de muren; het is ervoor zorgen dat de muur die je in de eerste seconde van de video ziet, exact dezelfde grootte en vorm heeft als de muur die je 100 seconden later ziet, zelfs als de camera ronddraait, het licht verandert of de persoon uit beeld loopt.

De meeste huidige AI-tools hebben hier moeite mee. Ze zijn als een persoon die een kaart probeert te tekenen terwijl hij loopt: ze krijgen de details goed voor de plek waar ze op dat moment staan, maar naarmate ze verder lopen, raken ze de weg kwijt, vergeten ze hoe groot de kamer echt is, of rekken ze per ongeluk de muren uit. Dit wordt "scale drift" (schaalverloop) genoemd.

SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry) is een nieuwe AI-methode die is ontworpen om dit probleem op te lossen. Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. De "One-Pass" Superkracht

De meeste video-AI-tools bekijken een video in kleine stukjes, zoals het kijken naar een film scène voor scène. Als de scène verandert, kunnen ze in de war raken over hoe groot dingen zijn ten opzichte van de vorige scène.

SCOPE is anders. Het bekijkt de volledige video in één enkele blik (een "single forward pass"). Denk aan een dirigent die de hele symfonie in één keer hoort, in plaats van elk instrument één voor één te beluisteren. Dit stelt het in staat om de hele geschiedenis van de video direct te begrijpen, waardoor de grootte van een auto in het eerste frame overeenkomt met de grootte van diezelfde auto in het laatste frame, ongeacht hoe lang de video is.

2. De "Gedeelde Liniaal" (Schaalconsistentie)

Stel je voor dat je een kamer opmeet met een meetlint. Als je voor elke muur een ander meetlint gebruikt, wordt je uiteindelijke kaart een puinhoop.

Oude methoden: Ze meten elke frame met een iets andere, onzichtbare liniaal. Tegen het einde van de video is de "liniaal" uitgerekt of gekrompen, waardoor het 3D-model vervormd of gebroken oogt.
SCOPE: Het gebruikt één gedeelde liniaal voor de gehele video. Het dwingt elke individuele frame om akkoord te gaan met dezelfde schaal en positie. Dit betekent dat als een tafel 1 meter breed is in de eerste seconde, deze in de 100ste seconde nog steeds 1 meter breed is, wat het "drift"-effect voorkomt dat 3D-modellen ruïneert.

3. De "Tijdreizende Docent" (Lange-termijn Consistentie)

Meestal controleert AI alleen of Frame 10 op Frame 11 lijkt. Als het een kleine fout maakt, wordt die fout groter bij Frame 20, en enorm bij Frame 100.
SCOPE gebruikt een slimme truc genaamd hiërarchisch toezicht. Het is als een docent die niet alleen je huiswerk van vandaag controleert, maar ook controleert hoe je werk van vorige week zich verhoudt tot die van vandaag.

Het bekijkt de video op verschillende afspeelsnelheden: door frames te vergelijken die 1 seconde uit elkaar liggen, 2 seconden, 4 seconden en zelfs 8 seconden.
Dit zorgt ervoor dat de AI het "grote plaatje" begrijpt van hoe de scène zich in de loop van de tijd beweegt, en niet alleen de directe volgende stap.

4. De "Rekbare Training" (Omgaan met Lange Video's)

Het trainen van een AI om een video van 10 minuten te bekijken is moeilijk omdat computers tekortkomen aan geheugen. Meestal worden AI-modellen getraind op korte fragmenten (zoals 24 seconden) en vervolgens gevraagd te raden wat er in een video van 10 minuten gebeurt. Dit is als vragen aan een student die slechts 10 minuten heeft gestudeerd om een scriptie te schrijven.
SCOPE gebruikt een techniek genaamd frequentie-gemoduleerde positionering.

De Analogie: Stel je voor dat je een student leert om een marathon te lopen, maar je hebt slechts een baan van 100 meter. In plaats van alleen die 100 meter te rennen, leer je hen om zich voor te stellen dat de baan "uitgerekt" is. Je zegt tegen hen: "Als je deze 100 meter rent, stel je dan voor dat dit 1.000 meter vertegenwoordigt."
Door tijdens de training deze "uitgerekte" sequenties te simuleren, leert SCOPE hoe het video's kan verwerken die veel langer zijn dan de video's waarop het daadwerkelijk is getraind, zonder in de war te raken of tekort te komen aan geheugen.

5. De "Blinddoektest" (Uiterlijk-invariantie)

Soms verandert de verlichting of beweegt een schaduw, en raakt de AI in de war, denkend dat het object zelf is veranderd.
SCOPE wordt getraind met appearance-invariant learning (uiterlijk-onafhankelijk leren). Het is also kind dat leert een vriend te herkennen, zelfs als diegene een zonnebril, een hoed draagt of in het donker staat. De AI wordt geleerd om de veranderende kleuren en lichten te negeren en zich alleen te concentreren op de vorm en structuur van de objecten. Dit houdt het 3D-model stabiel, zelfs wanneer het beeld donker wordt of de camera wild ronddraait.

Het Resultaat

Toen de onderzoekers SCOPE testten, ontdekten ze dat het 3D-modellen kon bouwen van videosequenties van honderden frames lang met bijna geen "drift" of vervorming.

Het verminderde de fouten in de 3D-vormvoorspelling met ongeveer 24%.
Het verminderde de fouten in het consistent houden van de video over de tijd met ongeveer 35%.
Het deed dit sneller dan andere methoden, waarbij het 300 frames in minder dan 8 seconden verwerkte.

Kortom, SCOPE is een nieuwe manier voor computers om een video te bekijken en een perfect, ononderbroken 3D-kaart van de wereld erin te bouwen, waarbij het garandeert dat wat ze aan het begin zien, exact consistent is met wat ze aan het einde zien.

Technische Samenvatting: SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry)

1. Probleemstelling

Het schatten van 3D-geometrie uit monoculaire videosequenties vormt een fundamentele uitdaging in computer vision: het balanceren van hoge geometrische nauwkeurigheid met langetermijn-temporele consistentie. Bestaande methoden blinken doorgaans uit in één gebied ten koste van het andere. Benaderingen gebaseerd op enkelvoudige beelden (bijv. MoGe) leggen gedetailleerde geometrie vast, maar produceren inconsistente resultaten wanneer ze frame voor frame worden toegepast, wat leidt tot schaaldrift. Daarentegen bieden videospecifieke methoden vaak korte-termijn consistentie, maar missen ze geometrische precisie of falen ze om globale schaal te behouden over honderden frames, met name onder complexe cameratrajecten en variaties in verlichting. Bovendien is het gelijktijdig verwerken van lange sequenties vaak onhaalbaar vanwege geheugenbeperkingen, wat een spanning creëert tussen de behoefte aan precieze temporele positie-encodering en het vermogen om te extrapoleren naar sequenties die veel langer zijn dan de trainingsvoorbeelden.

2. Methodologie

SCOPE stelt een nieuwe benadering voor om affien-invariante 3D-puntkaarten te genereren uit RGB-video's in één enkele forward pass. De methode zorgt ervoor dat alle frames in een sequentie dezelfde schaal- en verschuivingsparameters delen, wat consistente schaal-invariante representaties mogelijk maakt.

2.1 Architectuur en Kerncomponenten

Het model is gebouwd op de MoGe-architectuur en maakt gebruik van een DINOv2-L visuele encoder en een transformer-gebaseerde decoder. Om video te verwerken, heeft de auteur temporele aandachtmodules (attention modules) ingevoegd na elk van de vier decoder feature-niveaus. De belangrijkste innovaties zijn:

Viewpoint-Invariante Geometrie: Om geometrische consistentie af te dwingen, transformeert de methode punten van individuele cameracoördinaten naar een gemeenschappelijk referentiekader met behulp van camerastellingen (beschikbaar tijdens de training). Een multi-schaal geometrische loss wordt toegepast in dit verenigde coördinatensysteem, waarbij structuren over verschillende gezichtspunten worden vergeleken. Dit omvat globale uitlijning en lokale grid-gebaseerde uitlijning (met grid-groottes van 4 en 16) om zowel grove structuren als fijne details vast te leggen.
Appearance-Invariante Leren: Om robuustheid te garanderen tegen vluchtige visuele omstandigheden (bijv. veranderingen in verlichting, onscherpte), gebruikt het trainingsproces frame-specifieke augmentaties met onafhankelijk gesamplede kleurtransformaties en blur-patronen. Dit dwingt het model om zich te concentreren op invariante geometrische kenmerken in plaats van op vluchtige uiterlijke kenmerken.
Frequentie-Gemoduleerde Positiele Extrapolatie: Om sequenties te verwerken die aanzienlijk langer zijn dan de trainingscontext (bijv. 300+ frames versus 24-frame training), gebruikt SCOPE een gespecialiseerde Rotary Position Encoding (RoPE) met Neural Tangent Kernel (NTK) adaptatie.
- Dynamische NTK-schaling: De frequentiecomponenten worden geschaald op basis van de ratio tussen de inferentie-sequentielengte en de trainingslengte. Dit behoudt het vermogen van het model om fijnmazige lokale details (hoogfrequente componenten) vast te leggen, terwijl de aanpassingen voor langetermijn-afhankelijkheden (laagfrequente componenten) worden versterkt.
- Train-Time Sequence Stretching: Tijdens de training wordt het model blootgesteld aan "virtuele" uitgebreide sequenties. Positie-encodings worden berekend voor een langere virtuele sequentie en gesampled op intervallen om overeen te komen met de werkelijke inputlengte. Dit simuleert extrapolatie, waardoor het model leert om sequenties te verwerken die ordes van grootte langer zijn dan de trainingsdata.

2.2 Loss Functies en Temporele Consistentie

De trainingsdoelstelling integreert per-frame geometrische losses met cross-frame beperkingen:

Cross-Frame Geometrische Loss ( $L_{cross}$ ): Dwingt consistentie af door puntwolken van verschillende frames uit te lijnen in een gedeeld referentiekader, waarbij projectiefouten over globale en lokale schalen worden geminimaliseerd.
Hiërarchische Temporele Supervisie ( $L_{temp}$ ): In plaats van uitsluitend te vertrouwen op aangrenzende frame-beperkingen (wat leidt tot foutaccumulatie), introduceert SCOPE een afgeleide supervisie-framework. Het straft de temporele afgeleide van dieptewaarden over exponentieel toenemende tijdsintervallen ( $\delta = 1, 2, 4, 8$ ) af. Deze structuurbehoudende beperking straft schaaldrift direct af en zorgt voor gladde, consistente voorspellingen over langere perioden.

2.3 Inferentiestrategie

SCOPE werkt op een single-pass wijze. In tegen tegenstelling tot sliding window-benaderingen die overlappende segmenten onafhankelijk verwerken (wat kan leiden tot drift bij de grenzen), verwerkt SCOPE de gehele sequentie in één keer met behulp van de frequentie-gemoduleerde positie-encodering. Dit elimineert computationele redundantie en behoudt de globale context gedurende de gehele video.

3. Belangrijkste Bijdragen

Schaal-Consistente One-Pass Estimatie: Een verenigd framework dat 3D-puntkaarten genereert met gedeelde schaal- en verschuivingsparameters over volledige videosequenties, waardoor de schaaldrift die gebruikelijk is bij frame-voor-frame of sliding-window methoden wordt geëlimineerd.
Drie Belangrijke Innovaties:
- Viewpoint-invariante geometrische uitlijning via multi-schaal cross-frame losses.
- Appearance-invariante leren om structurele kenmerken te isoleren van vluchtige visuele omstandigheden.
- Frequentie-gemoduleerde positionering (NTK-geadapteerde RoPE met train-time stretching) die robuuste extrapolatie mogelijk maakt naar sequenties die de trainingslengtes ver overstijgen.
Efficiënte Langetermijn Verwerking: Het vermogen om honderden frames in een enkele forward pass te verwerken met minimale drift, wat een hoge computationele efficiëntie bereikt vergeleken met video diffusie of sliding-window baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op diverse datasets waaronder Sintel, ScanNet, Bonn, KITKI en DDAD, die synthetische, indoor en outdoor rij-scenario's dekken.

Kwantitatieve Prestaties: SCOPE presteert significant beter dan state-of-the-art methoden. Op ScanNet vermindert het de relatieve puntkaartfout met 24,2% en de temporele uitlijningsfout (TAE) met 34,9% vergeleken met bestaande benaderingen. Het bereikt de laagste gemiddelde rang over alle geëvalueerde datasets.
Vergelijking met Metrics:
- Vergeleken met MoGe-2 bereikt SCOPE een vergelijkbare puntkaart-nauwkeurigheid, maar een aanzienlijk betere temporele uitlijning.
- Vergeleken met VGGT en $\pi^3$ biedt SCOPE superieure temporele consistentie en is het meer parameter-efficiënt (322M vs. 959M parameters voor $\pi^3$ ).
- Vergeleken met DepthCrafter en Video Depth Anything is SCOPE 6–42× sneller (39,1 FPS vs. <7 FPS) terwijl het concurrerende of superieure nauwkeurigheid behoudt.
Downstream Impact: Wanneer SCOPE wordt gebruikt als input voor 4D-reconstructie (via MegaSAM), produceert het coherente, niet-gefragmenteerde resultaten. Op de Sintel-dataset verbeterde het de Absolute Trajectory Error (ATE) met 55–60% en de Relative Trajectory Error (RTE) met 58–63% vergeleken met MoGe en MonST3R.
Ablatie-studies:
- Extrapolatie: De combinatie van NTK-geadapteerde RoPE en sequence stretching (RoPE+) levert de beste balans tussen TAE en snelheid, en vermindert de TAE op lange sequenties (270 frames) aanzienlijk vergeleken met standaard encodings.
- Loss Componentn: Zowel cross-frame geometrische beperkingen als hiërarchische temporele supervisie zijn cruciaal; hun combinatie levert de beste temporele consistentie op.
- Inference: Single-pass verwerking presteert consequent beter dan sliding window-benaderingen, waarbij de fout op KITTI met bijna 10% wordt verminderd.

5. Betekenis en Claims

Het artikel claimt dat SCOPE het fundamentele spanningsveld tussen geometrische nauwkeurigheid en temporele consistentie aanpakt in monoculaire video-diepte-estimatie. Door de verwerking van uitgebreide sequenties in een enkele pass met minimale drift mogelijk te maken, faciliteert SCOPE hoogwaardige 3D en 4D reconstructie in uitdagende scenario's met complexe camerabewegingen en variaties in verlichting.

De auteurs positioneren SCOPE als een belangrijke stap voorzien voor toepassingen die langetermijn-consistentie vereisen, zoals autonome navigatie, virtuele realiteit en novel view synthesis. Hoewel de huidige implementatie afhankelijk is van externe tools (MegaSAM) voor camerastelling-schatting tijdens de evaluatiepipeline, merkt het artikel op dat toekomstig werk zich richt op het direct binnen het netwerk schatten van cameratrajecten. De methode wordt gepresenteerd als een robuuste, efficiënte en schaalbare oplossing die de kloof tussen single-image precisie en video-niveau coherentie overbrugt.