In Depth We Trust: Reliable Monocular Depth Supervision for Gaussian Splatting

Probleemstelling

3D Gaussian Splatting (3DGS) is een krachtige techniek voor fotorealistische weergave en scene-reconstructie, maar het lijdt vaak onder artefacten wanneer de trainingsdata spaarzaam is of wanneer oppervlakken weinig textuur hebben. Om dit op te lossen, wordt vaak gebruikgemaakt van monokulaire dieptepriors (geschatte dieptekaarten van enkelvoudige RGB-afbeeldingen) als extra geometrische supervisie.

Echter, bestaande foundation-modellen voor monokulaire dieptheschatting (MDE) hebben drie fundamentele beperkingen die de prestaties van 3DGS kunnen verslechteren als ze naïef worden toegepast:

1. Schaalambiguïteit: De dieptewaarden hebben geen vaste schaal en variëren per weergave, wat leidt tot misalignering tussen meerdere views.
2. Multi-view inconsistentie: De geschatte dieptekaarten zijn niet consistent over verschillende hoeken van dezelfde scène.
3. Lokale geometrische onnauwkeurigheid: Vooral in gebieden met weinig textuur of buiten de trainingsdistributie (out-of-distribution) zijn de voorspellingen onbetrouwbaar.

Het naïef toepassen van deze onbetrouwbare priors kan de geometrie van reeds goed gereconstrueerde gebieden corrumperen en de renderkwaliteit verlagen, wat ertoe heeft geleid dat sommige 3DGS-implementaties dieptepriors standaard uitschakelen.

Methodologie

De auteurs stellen een trainingsframework voor dat monokulaire dieptepriors op een betrouwbare manier integreert in de optimalisatie van Gaussian Splatting. Het framework bestaat uit drie kerncomponenten:

1. Depth-Inconsistency Mask (DIM):

   • Om te voorkomen dat fouten in de dieptepriors de goed gereconstrueerde geometrie beschadigen, wordt een masker gegenereerd dat multi-view inconsistente gebieden identificeert.
   • Dit wordt gedaan door een "virtuele stereo-setup" te emuleren tijdens het trainen. Een virtuele camera (het "rechteroog") wordt verschoven ten opzichte van de huidige trainingscamera (het "linkeroog").
   • De dieptekaart van de virtuele camera wordt teruggeprojecteerd naar het huidige beeld en vergeleken met de direct gerenderde dieptekaart.
   • Pixels met grote verschillen (of gaten door occlusie) worden gemarkeerd als inconsistent. Het dieptetoezicht wordt alleen toegepast op deze inconsistentie-gebieden, waar de multi-view supervisie vaak zwak is.

2. Gradient-Alignment Loss (GAL):

   • Om de schaalambiguïteit en schaalverschillen te omzeilen, wordt niet alleen gekeken naar absolute dieptewaarden, maar naar de relatieve diepteveranderingen.
   • In plaats van patch-gebaseerde correlatieloss (zoals NCC), die vaak leidt tot vervaging van details, introduceert de auteurs een loss die de eerste-orde ruimtelijke afgeleiden (gradiënten) van de gerenderde diepte en de monokulaire diepte vergelijkt in zowel horizontale als verticale richtingen.
   • Dit zorgt voor het behoud van fijnkorrelige geometrische details en voorkomt het "oversmoothing" van de scène.

3. Gecombineerde Supervisie:

   • De totale diepteverliesfunctie combineert een schaal-invariante loss ($L_{sid}$) die beperkt is tot de inconsistentie-gebieden (via het DIM), met de relatieve gradiënt-loss ($L_{rel}$ of GAL).
   • Formeel: $R = \alpha L_{abs} + \beta L_{rel}$, waarbij $L_{abs}$ de schaal-invariante loss is die alleen geldt op de gemaskerde gebieden.

Belangrijkste Bijdragen

• Betrouwbaar Framework: Een trainingsframework dat monokulaire dieptepriors effectief benut zonder de kwaliteit van de reconstructie te verstoren, zelfs bij onnauwkeurige of schaal-ambigue priors.
• Depth-Inconsistency Mask (DIM): Een mechanisme om multi-view inconsistente Gaussians te detecteren en selectief monokulaire regularisatie toe te passen, waardoor de verspreiding van fouten naar goed gereconstrueerde gebieden wordt geblokkeerd.
• Gradient-Alignment Loss (GAL): Een nieuwe loss-functie die fijnkorrelige geometrische cues uit relatieve diepteveranderingen haalt, superieur aan bestaande patch-gebaseerde methoden wat betreft scherpte en detailbehoud.
• Generalisatie: Het framework is onafhankelijk van het specifieke MDE-model (backbone) en werkt consistent over verschillende 3DGS-varianten (3DGS en 2DGS).

Resultaten

De methode is uitgebreid getest op drie real-world datasets: ScanNet++, MipNeRF 360 en TanksAndTemples, met verschillende trainingsdichtheden (van "low-data" tot "moderate-data").

• Kwaliteitsverbetering: In vergelijking met de baseline (3DGS zonder dieptepriors) en bestaande methoden (zoals DRGS, DNGaussian, FSGS), levert de voorgestelde methode consistente verbeteringen op in PSNR, SSIM en LPIPS.
• Robuustheid bij schaarse data: Zelfs bij zeer weinig trainingsviews (low-data setting), waar schaalalignatie moeilijk is, behaalt de methode de beste resultaten (bijv. +0.47 dB PSNR verbetering op TanksAndTemples).
• Prestatie bij diverse MDE-modellen: De methode werkt goed met verschillende foundation-modellen (DepthAnything V2, MoGe-2, UniDepth V2, Marigold). Zelfs bij een zwakker model (Marigold) met veel ruis, verbetert de methode de renderkwaliteit, terwijl directe supervisie (Lsid) de prestaties verslechtert.
• Ablatie-studies: Deze tonen aan dat zowel het DIM als de GAL essentieel zijn. Het DIM voorkomt corruptie van de geometrie, terwijl GAL de scherpte en detailnauwkeurigheid aanzienlijk verbetert ten opzichte van NCC-loss.
• Visuele resultaten: De gerenderde beelden tonen minder "floaters" (drijvende artefacten) en scherpere randen, en de gegenereerde dieptekaarten zijn structureel consistenter.

Betekenis

Dit paper biedt een oplossing voor een van de grootste uitdagingen in 3D-vision: het veilig gebruik van goedkope, maar imperfecte monokulaire dieptepriors. Door te leren waar en hoe deze priors te gebruiken (selectief op inconsistente gebieden en gericht op gradiënten in plaats van absolute waarden), maakt het framework 3DGS robuuster voor complexe, real-world scenario's met weinig data of textuur. Dit opent de deur voor hoogwaardige 3D-reconstructie zonder de noodzaak van dure RGB-D hardware of perfecte multi-view overdekking, en is toekomstbestendig voor verbeteringen in monokulaire dieptheschatting.