3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation

Technische Samenvatting: 3D-consistentie-optimalisatie voor zelfgesuperviseerde monoculaire video-diepte-inschatting

Probleemstelling
Betrouwbare monoculaire video-diepte-inschatting is essentieel voor downstream 3D-redenering en embodied AI in endoscopische navigatie, inclusief dichte reconstructie, robotgestuurde ondersteuning en chirurgisch scène-begrip. De klinische inzetbaarheid wordt echter gehinderd door hardwarebeperkingen; de meeste standaard endoscopen zijn monoculair en missen betrouwbare camera-pose tracking. Bestaande zelfgesuperviseerde benaderingen behandelen videoframes vaak als onafhankelijke entiteiten of vertrouwen op zwakke temporele regularisatie. Deze methoden slagen er niet in de holistische 3D-geometrie van de chirurgische scène te vatten, wat leidt tot geometrisch inconsistente voorspellingen, ernstige cross-frame drift en temporeel flikkeren. Deze fouten accumuleren snel onder uitdagende endoscopische omstandigheden, wat de betrouwbaarheid van elke downstream 3D-reconstructie ondermijnt.

Methodologie
De auteurs stellen een paradigmaverschuiving voor die sequentiële video-diepte-inschatting herformuleert als een onbeperkt multi-view 3D-reconstructieprobleem. In plaats van frames afzonderlijk te verwerken, behandelt de methode een endoscopische video als een verzameling multi-view observaties die verankerd zijn aan een gedeelde 3D-scène. Deze aanpak maakt gebruik van de geometrische priors van recente 3D-foundation modellen zonder dat daarvoor ground-truth camerapozen nodig zijn.

Het framework bestaat uit twee hoofdfasen:

1. 3D Geometrie Begripsnetwerk:

   • Architectuur: Het netwerk maakt gebruik van een Alternating-Attention Transformer die frame-level intra-view aandacht afwisselt met globale inter-view aandacht om ruimtelijke-temporele coherentie af te dwingen. Inputbeelden worden getokeniseerd met behulp van DINOv2-features.
   • Scène-representatie: De onderliggende scène wordt gerepresenteerd door een set 3D Gaussian primitives ($P$), geparametriseerd door 3D-centra, opaciteit, anisotrope covariantie en sferische harmonische coëfficiënten.
   • Heads: Het netwerk gebruikt drie gespecialiseerde heads:
     • Camera Head: Voorspelt per frame extrinsieke poses ($T_t$) en intrinsieken ($K$).
     • Depth Head: Voorspelt een initiële per-pixel dieptekaart ($D^{init}_t$) die uitsluitend wordt gebruikt om beeldpixels terug te projecteren in de 3D-ruimte, wat dient als initialisatie voor de Gaussian-centra.
     • Gaussian Head: Fuseert transformer-features met oppervlakkige CNN-appearance features om de resterende Gaussian-attributen te voorspellen.
   • Rendering: Een differentieerbaar Gaussian splatting-mechanisme rendert verwachte RGB-beelden ($\hat{I}_t$) en dieptekaarten ($\hat{D}_t$) vanuit de 3D Gaussians en de voorspelde cameraparameters.

2. 3D Consistentie-optimalisatieframework:
   Het netwerk wordt getraind via een zelfgesuperviseerde objectieve functie die dieptekaarten en camerapozen gezamenlijk optimaliseert door drie synergetische beperkingen op te leggen aan de gerenderde outputs:

   • Beeldniveau Fotometrische Consistentie ($L_{rgb}$): Minimaliseert het $L_1$-verschil tussen het inputframe $I_t$ en het gerenderde beeld $\hat{I}_t$, wat zorgt voor verschijnings- en structurele consistentie.
   • Geometrische Uitlijning in Wereldcoördinaten ($L_{3D}$): Dit is de kernmechanisme voor het elimineren van ruimtelijke drift. Het projecteert gerenderde dieptepunten van frame $t$ terug naar een verenigd wereldcoördinatensysteem en reprojecteert deze op naburige frames ($t'$). Een consistentieverlies wordt berekend tussen de gereprojecteerde diepte en de gerenderde diepte van het doelframe, strikt over geldige pixelsets (waarbij rekening wordt gehouden met occlusies en out-of-bounds projecties). Een robuuste Huber-penalty wordt toegepast om dynamische weefselbeweging en uitschieters te mitigeren.
   • Multi-schaal Temporele Gradiëntconsistentie ($L_{temp}$): Om temporeel flikkeren te onderdrukken terwijl geometrie-bewuste discontinuïteiten behouden blijven, straft deze loss het absolute verschil van ruimtelijke gradiënten tussen opeenvolgende frames over meerdere schalen af.

De uiteindelijke trainingsdoelstelling is een gewogen som van deze drie verliezen. Cruciaal is dat deze optimalisatie strikt een trainingstijd-doelstelling is; tijdens de inferentie voorspelt het model diepte in één enkele feed-forward pass zonder test-time optimalisatie.

Belangrijkste Bijdragen

1. Nieuw Paradigma: De auteurs introduceren een zelfgesuperviseerd framework dat monoculaire video-diepte-inschatting herformuleert als een pose-vrij, multi-view 3D-consistentie-optimalisatieprobleem, wat het potentieel van 3D foundation modellen voor klinische endoscopie ontsluit.
2. Verenigde Optimalisatiestrategie: Zij stellen een strategie voor die voorziet in expliciete uitlijning in wereldcoördinaten en multi-schaal temporele gradiëntbeperkingen. Dit verankert opeenvolgende frames effectief aan een globaal coherente geometrie, waardoor cross-frame 3D-drift wordt geëlimineerd.
3. State-of-the-Art Prestaties: De methode bereikt superieure nauwkeurigheid op publieke benchmarks en demonstreert robuuste zero-shot generalisatie naar onbeperkte klinische omgevingen.

Resultaten
Het framework werd geëvalueerd op twee publieke chirurgische datasets: SCARED (met ground-truth diepte en poses) en Hamlyn (complexe in vivo procedures, gebruikt voor zero-shot evaluatie).

• Kwantitatieve Prestaties: Op de SCARED-dataset presteerde de voorgestelde methode beter dan recente baselines (EndoDAC, VDA, EndoDAV en AnySplat) op alle metrieken. Specifiek verminderde het de Absolute Relative Error (Abs Rel) van 0,100 (AnySplat) naar 0,060 en de RMSE van 10,400 naar 5,503, terwijl het een $\delta_1$-nauwkeurigheid van 0,978 behaalde.
• Zero-Shot Generalisatie: Op de Hamlyn-dataset behaalde de methode eveneals de beste resultaten over alle metrieken, waarbij de Abs Rel werd teruggebracht van 0,299 naar 0,108 en de RMSE van 29,938 naar 10,535.
• Kwalitatieve Analyse: Visuele vergelijkingen toonden aan dat de methode de scène-structuur beter behoudt en de abnormale fouten en temporele inconsistenties (flikkeren) vermijdt die bij bestaande methoden worden waargenomen, met name in scenario's met grote beweging.
• Ablatie-studies: Experimenten bevestigden dat alle drie de componenten van de loss ($L_{rgb}$, $L_{3D}$, $L_{temp}$) complementaire voordelen bieden. De inclusie van de geometrische ($L_{3D}$) en temporele ($L_{temp}$) beperkingen verbeterde de ruimtelijke nauwkeurigheid en stabiliteit aanzienlijk vergeleken met de baselines. Bovendien verbeterde het toepassen van de consistentie-optimalisatiemodule op verschillende backbones (VDA en AnySplat) consequent hun prestaties.

Betekenis
Het artikel beweert dat door de slecht gestelde monoculaire video-diepte-inschatting te transformeren naar een robuust multi-view 3D-reconstructieprobleem, het voorgestelde framework effectief de kloof overbrugt tussen krachtige 3D foundation modellen en pose-vrije klinische endoscopie. De resultaten tonen aan dat het expliciet afdwingen van globale 3D-consistentie en temporele coherentie betrouwbare diepte-inschatting mogelijk maakt in echte operatiekamers, wat de geometrische drift en temporele instabiliteit aanzienlijk vermindert ten opzichte van state-of-the-art methoden. Deze vooruitgang banen de weg voor meer betrouwbare downstream toepassingen in minimaal invasieve chirurgie, zoals dichte reconstructie en robotgestuurde ondersteuning.