Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction

Technische Samenvatting: Betrouwbaarheidsbewuste Monoculaire Diepte-supervisie voor Sparse-View Neurale Reconstructie

Probleemstelling
Sparse-view neurale reconstructie is bijzonder uitdagend in buitenomgevingen voor autonome rij-scenario's. In tegen tegenstelling tot object-gecentreerde datasets waarbij camera's rond een doelwit draaien, bevatten sequenties voor autonoom rijden camera's die zich langs smalle, voorwaartse trajecten bewegen. Dit resulteert in beperkte multi-view overlap, zwakke parallax voor verre regio's, en problemen met dynamische objecten, reflecties en de lucht. Hoewel Neural Radiance Fields (NeRF) en 3D Gaussian Splatting (3DGS) hoge kwaliteit rendering bereiken met voldoende views, worden ze onder-geconstrueerd bij sparse inputs, wat vaak leidt tot incorrecte geometrie en "floaters".

Hoewel monoculaire diepteschatters zoals Depth Anything V2 (DA-V2) dichte geometrische priors bieden, zijn hun voorspellingen relatief, ruisgevoelig en niet uniform betrouwbaar over alle beeldregio's. Het uniform toepassen van deze priors kan leiden tot fouten in onbetrouwbare gebieden (bijv. occlusiegrenzen of reflecterende oppervlakken). De kernvraag die wordt geadresseerd is hoe monoculaire diepte-supervisie effectief kan worden benut in sparse-view settings zonder de reconstructiekwaliteit in gevaar te brengen door ruisgevoelige priors.

Methodologie
De auteurs stellen een betrouwbaarheidsbewuste monoculaire diepte-supervisie pipeline voor die selectief diepte-supervisie toepast op basis van de betrouwbaarheid van de RGB-reconstructie. De aanpak bestaat uit drie hoofdfasen:

1. Schaal-uitgelijnde Monoculaire Diepte Prior:

   • DA-V2 wordt gebruikt om dichte relatieve dieptekaarten te genereren.
   • Deze kaarten worden uitgelijnd naar metrieke diepte via een per-afbeelding schaal-shift fitting proces tegen geldige referentie-ankers (LiDAR-punten voor KITTI, COLMAP-punten voor de Bicycle-scène).
   • De uitgelijnde diepte wordt afgekapt tot een geldig bereik (bijv. 80m voor KITTI) om als een metrieke prior te dienen.

2. Fotometrische Betrouwbaarheidsmaskering:

   • Eerst wordt een RGB-only baseline model getraind om een referentie te vestigen voor de reconstructiekwaliteit.
   • Per-pixel fotometrische reconstructiefout ($e(u)$) wordt berekend door de gerenderde afbeelding van de baseline te vergelijken met de grondwaarheid (ground truth).
   • Een binaire masker wordt gegenereerd op basis van een drempelwaarde $\tau$. Pixels met een lage fotometrische fout ($e(u) < \tau$) worden als "betrouwbaar" beschouwd en behouden voor diepte-supervisie, terwijl regio's met een hoge fout (waarschijnlijk bevattende dynamische objecten, reflecties of de lucht) worden gemaskeerd.

3. Gemaskeerde Diepte-supervisie Objectief:

   • Het reconstructiemodel (ofwel Mip-NeRF-360 of Splatfacto) wordt opnieuw getraind met een gezamenlijke verliesfunctie: $L = L_{rgb} + \lambda_{depth} L_{depth}$.
   • De RGB-loss wordt toegepast op de volledige afbeelding.
   • De diepte-loss ($L_{depth}$) wordt alleen berekend op pixels waar het effectieve supervisiemasker ($M_{eff}$) actief is, gedefinieerd als de intersectie van het fotometrische betrouwbaarheidsmasker en het diepte-geldigheidsmasker.
   • Dit zorgt ervoor dat de ruisgevoelige monoculaire prior alleen regio's reguleert waar de RGB-reconstructie al consistent is.

Belangrijkste Bijdragen

• Selectieve Supervisiestrategie: Het artikel introduceert een methode om monoculaire diepte-priors selectief toe te passen op basis van de fotometrische reconstructiefout, in plaats van uniform over de gehele afbeelding.
• Vergelijkende Evaluatie: De strategie wordt geëvalueerd op twee verschillende scène-representaties: een impliciet dichtheidsveld (Mip-NeRF-360) en een expliciete Gaussian representatie (Splatfacto).
• Ablatie en Generalisatie: Door middel van matched-ratio mask ablaties en experimenten op meerdere KITTI-sequenties (02 en 05) en de Bicycle-scène, demonstreren de auteurs dat de winst voortkomt uit het selecteren van betrouwbare regio's in plaats van simpelweg het aantal gesuperviseerde pixels te verminderen.
• Backbone Sensitiviteitsanalyse: Het werk benadrukt dat de effectiviteit van diepte-supervisie sterk afhankelijk is van de onderliggende representatie (impliciet vs. expliciet) en de scène-configuratie (sparse forward-facing vs. object-gecentreerd).

Experimentele Resultaten
De evaluatie werd uitgevoerd op KITTISeq02 (elke 2e frame sparse setting), KITTISeq05, en de Mip-NeRF-360 Bicycle-scène.

• Mip-NeRF-360 (Impliciet):

  • Op KITKISeq02 leverde gemaskeerde monoculaire diepte-supervisie slechts marginale rendering-winsten op (bijv. PSNR steeg van 20.378 naar 20.607 in het beste geval) en verbeterde het de metrieke geometrie niet (AbsRel en RMSE verslechterden vergeleken met de RGB-only baseline).
  • Op KITTISeq05 degradeerde zowel globale als gemaskeerde diepte-supervisie zowel de renderingkwaliteit als de geometrie vergeleken met RGB-only training.
  • Conclusie: Het impliciete dichtheidsveld is gevoelig voor de ruis in de schaal-uitgelijnde monoculaire diepte, en de prior fungeert als een zwakke of destabiliserende regularisator.

• Splatfacto (Expliciet):

  • Op KITTISeq02 profiteerde Splatfacto aanzienlijk. PSNR verbeterde van 14.903 (RGB-only) naar 15.932, en RMSE daalde drastisch van 0.542 naar 0.100.
  • Matched-ratio ablaties bevestigden dat low-error masks beter presteerden dan high-error en random masks, wat bewijst dat de winst komt uit regio-selectie.
  • Op KITTISeq05 werden vergelijkbare verbeteringen in zowel rendering als geometrie waargenomen.
  • Conclusie: De expliciete Gaussian representatie staat toe dat diepte-supervisie direct de plaatsing van Gaussians stuurt, wat effectief floaters vermindert en de geometrie in sparse regio's verbetert.

• Bicycle Scène (Object-Gecentreerd):

  • In deze scène met sterke multi-view dekking verbeterde diepte-supervisie de geometrie (RMSE daalde van 1.479 naar 0.722) maar degradeerde het over het algemeen de RGB-renderingkwaliteit (PSNR, SSIM, LPIPS namen af).
  • Dit suggereert een trade-off waarbij diepte-priors de reconstructie kunnen over-regulariseren wanneer de RGB-constraints al sterk zijn.

Betekenis en Claims
Het artikel concludeert dat monoculaire diepte-priors een tweesnijdend zwaard zijn in sparse-view reconstructie. Hun nut is niet universeel maar hangt sterk af van de reconstructie-backbone en de scène-constraints:

1. Backbone Afhankelijkheid: Ze zijn zeer effectief voor expliciete Gaussian representaties (Splatfacto) in sparse, forward-facing scenario's, maar bieden weinig tot geen voordeel — en kunnen zelfs nadelig zijn — voor impliciete NeRF-stijl representaties (Mip-NeRF-360).
2. Betrouwbaarheid is Cruciaal: De winst komt niet louter voort uit het toevoegen van meer supervisiedata, maar uit het filteren van onbetrouwbare regio's waar de monoculaire prior conflicteert met de RGB-observaties.
3. Trade-offs: In scènes met sterke multi-view dekking kan diepte-supervisie de geometrische metrieken verbeteren ten koste van de fotometrische getrouwheid.

De auteurs pleiten voor de selectieve toepassing van monoculaire diepte-priors met een matige weging, met name voor expliciete scène-representaties in onder-geconstrueerde sparse-view scenario's. Ze suggereren dat toekomstig werk zich kan richten op betere schaal-uitlijning, onzekerheidsbewuste maskering en adaptieve loss-weging.