GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth

Technische Samenvatting: GemDepth: Geometrie-geëmbedeerde Kenmerken voor 3D-consistente Videodiepte

Probleemstelling
Monoculaire diepteschatting heeft aanzienlijke vooruitgang geboekt door middel van fundamentele modellen, doch deze kaders zijn primair ontworpen voor inferentie op een enkel frame. Bij toepassing op video leidt het geïsoleerd behandelen van frames tot het negeren van cruciale temporele afhankelijkheden, wat resulteert in ernstig inter-frame flickeren en geometrische inconsistenties. Bestaande methoden voor videodiepteschatting vallen over het algemeen in twee categorieën, beide met beperkingen:

1. Generatieve Modellen: Hoewel ze in staat zijn scherpe details te behouden, lijden ze onder slechte temporele coherentie, hoge rekenkundige overhead en prohibitief hoog geheugengebruik.
2. Discriminerende Modellen: Deze breiden single-frame schatters uit met temporele modules, maar vertrouwen op impliciete 2D temporele gladmaking. Ze missen expliciet geometrisch bewustzijn en hebben moeite om strikte 3D-consistentie te handhaven tijdens complexe camerarotaties of drastische veranderingen in het gezichtsveld. Dit leidt vaak tot onderdrukking van hoogfrequente ruimtelijke aanwijzingen, wat resulteert in vage grenzen en verminderde structurele fideliteit.

De auteurs betogen dat expliciet 3D-geometrisch inzicht – specifiek de perceptie van camerabeweging en globale 3D-structuur – een voorwaarde is voor ware temporele consistentie. Zonder expliciete, bewegingsbewuste prioren kunnen modellen geen latente correspondenties op punt-niveau tot stand brengen die nodig zijn om consistentie af te dwingen.

Methodologie
GemDepth is een gegeneraliseerd kader ontworpen om videodiepteschatting te verbeteren door expliciete geometrische beperkingen te integreren. Het wordt geïnstancierd op baselines zoals DepthAnythingV2 en VideoDepthAnything. Het kader bestaat uit drie kerncomponenten:

1. Geometrie-Embedding Module (GEM):

   • Functie: GEM modelleert expliciet camerabeweging (ego-motion) om pose-bewuste geometrische embeddings in te brengen.
   • Mechanisme: Het maakt gebruik van een lichtgewicht EfficientPoseNet met een transformer met 4 lagen van afwisselende aandacht om een leerbaar cameratoken te verwerken. Dit schat 6-DoF cameraposities en een globale schalingsfactor in.
   • Normalisatie: Om monoculaire schaalambiguïteit op te lossen, worden translaties genormaliseerd met een globale schalingsfactor, waardoor alle posities worden geprojecteerd naar een unified canoniek frame.
   • Output: Rotatie, translatie en schaal worden gecodeerd via geometrische MLP's om meetkundige camerakenmerkrepresentaties ($F_{cam}$) te creëren. Deze worden gefuseerd met visuele kenmerken, waardoor het netwerk een coördinatenstelsel krijgt dat consistentie afdwingt via fysieke beperkingen in plaats van blinde gladmaking.

2. Afwisselende Spatio-Temporale Transformer (ASTT):

   • Functie: ASTT ontkoppelt afhankelijkheidsmodellering in twee gespecialiseerde fasen om geometrische consistentie af te dwingen terwijl details worden verfijnd.
   • Temporele Aandacht (Geometrische Uitlijning): Door gebruik te maken van de bewegingspriors van GEM, stelt deze fase expliciete correspondenties op punt-niveau vast over de temporele as. Het voert trajectgebaseerde kenmerkenaggregatie uit om pure bewegingsaanwijzingen te vangen, wat zorgt voor robuuste ruimtelijke structurele consistentie en flickervrije sequenties.
   • Ruimtelijke Aandacht (Structurele Verfijning): Geconditioneerd op uitgelijnde temporele kenmerken, aggregeert deze fase relevante 3D ruimtelijke kenmerken. Het omvat intra-frame ruimtelijke aandacht voor lokale lay-out en inter-frame ruimtelijke aandacht voor lange-afstandsafhankelijkheden, waardoor hoogfrequente representaties worden versterkt en structurele details worden verscherpt.
   • Uitvoering: De module wisselt tussen deze mechanismen, waarbij geometrische uitlijning voorafgaat aan het scherper maken van details.

3. Tweestaps Trainingsstrategie:

   • Fase 1 (Geometrische Optimalisatie): Het volledige kader wordt gezamenlijk geoptimaliseerd met behulp van pose- en dieptetoesicht op een samengesteld dataset van ~690K frames (waaronder Virtual KITTI 2, TartanAir, etc.). Dit vestigt robuuste geometrische redeneercapaciteiten.
   • Fase 2 (Diepteverfijning): De GEM-module wordt bevroren om de geometrische basis te behouden. Het overige netwerk wordt fijngefineerd op ~250K frames uit datasets zonder ground truth voor camera-extrinsieken (bijv. IRS, in-the-wild sequenties). Dit dwingt de ASTT om zich aan te passen aan pose-ruis, waardoor hoogwaardige voorspellingen worden gegarandeerd zelfs bij imperfecte geometrische aanwijzingen.

Belangrijkste Bijdragen

• GemDepth Kader: Een gegeneraliseerde oplossing die een Geometrie-Embedding Module (GEM) integreert om pose-bewuste embeddings in te brengen, waarmee strikte 3D structurele beperkingen worden afgedwongen.
• ASTT Module: Een nieuw transformer-architectuur die geometrische prioren benut om afhankelijkheidsmodellering te ontkoppelen, waardoor het conflict tussen detailbehoud en temporele stabiliteit wordt opgelost door te wisselen tussen geometrische uitlijning en ruimtelijke verfijning.
• Data-efficiëntie: Het kader bereikt state-of-the-art (SOTA) prestaties met een zeer efficiënt gebruik van data, waarbij aanzienlijk minder trainingsvoorbeelden nodig zijn (minder dan 1M frames) in vergelijking met bestaande benaderingen die vaak miljoenen vereisen.

Experimentele Resultaten
Uitgebreide evaluaties over vier benchmarks (Sintel, KITTI, Scannet, Bonn) tonen de superioriteit van GemDepth aan:

• Ruimtelijke Precisie: GemDepth-VDA bereikt een reductie van de AbsRel-fout van meer dan 25% op Bonn en Scannet in vergelijking met bestaande SOTA-methoden. Op Sintel overtreft het VideoDepthAnything met 46,8%.
• Temporele Consistentie: GemDepth vestigt nieuwe SOTA-standaarden voor temporele stabiliteit. Op Scannet reduceert het de Temporal Alignment Error (TAE) met 56,14% (GemDepth-DAv2) en 17,54% (GemDepth-VDA) in vergelijking met hun respectievelijke baselines.
• 3D Geometrische Nauwkeurigheid: Bij puntwolkreconstructie bereikt GemDepth-VDA een F1-score van 90,43 op Bonn, wat aanzienlijk beter presteert dan zware 3D fundamentele modellen zoals DA3 (78,44) en VGGT, ondanks dat het slechts 0,58B parameters heeft (ongeveer de helft van de grootte van concurrenten).
• Robuustheid: Ablatiestudies tonen aan dat het model stabiele prestaties handhaaft onder lage tot gematigde ingebrachte pose-ruis (tot 20%), wat veerkracht aantoont tegen onnauwkeurigheden in de upstream geometrie.
• Efficiëntie: GemDepth bereikt deze resultaten met een marginale rekenkundige overhead (<20%) in vergelijking met discriminerende baselines en aanzienlijk lagere latentie dan generatieve kaders.

Betekenis en Claims
Het artikel claimt dat GemDepth een nieuwe benchmark zet voor zowel ruimtelijke nauwkeurigheid als temporele consistentie in videodiepteschatting. Door expliciet camerabeweging en globale 3D-structuur te modelleren, adresseert het kader de fundamentele beperking van huidige methoden die vertrouwen op impliciete 2D gladmaking. De auteurs stellen dat GemDepth een veelzijdig, gegeneraliseerd kader is dat naadloos kan worden geïntegreerd in diverse monoculaire of videodiepte-baselines. Het vermogen om SOTA zero-shot prestaties te bereiken met beperkte pose-gelabelde data onderstreept een verschuiving naar meer data-efficiënte en geometrisch onderbouwde benaderingen voor 3D-perceptie in dynamische omgevingen. Het werk wordt gepositioneerd als een stap voorwaarts om diepteschattingsruggengraten praktischer te maken voor real-world toepassingen zoals autonoom rijden en augmented reality, waar geometrische consistentie cruciaal is.