Technische Samenvatting: Vertrouwen is essentieel: Het benutten van multi-view geometrische priors voor GS-gebaseerde reconstructie

Probleemstelling

3D Gaussian Splatting (3DGS) heeft zichzelf gevestigd als een leidende methode voor novel view synthesis, waarbij real-time renderingmogelijkheden worden geboden door middel van ijle 3D Gaussian-representaties. Echter, de afhankelijkheid van deze methode van Structure-from-Motion (SfM) initialisatie en fotometrische optimalisatie leidt vaak tot suboptimale geometrische reconstructie. Dit probleem is bijzonder acuut bij objecten met een hoge speculariteit (reflecterende oppervlakken), waar de view-afhankelijke renderingvergelijking effecten van reflectie kan compenseren zonder geometrische consistentie af te dwingen, wat leidt tot artefacten en onnauwkeurige meshes.

Hoewel recente vooruitgang in monoculaire geometrische priors (bijv. StableNormal, Depth Anything) de 3DGS-reconstructie heeft verbeterd, introduceren zij significante risico's. Monoculaire modellen worstelen met reflecterende materialen en textuurloze gebieden, en hun fouten kunnen direct in het optimalisatieproces worden gepropageerd, wat de kwaliteit van de reconstructie potentieel verslechtert. Bovendien missen monoculaire modellen doorgaans een mechanisme om de betrouwbaarheid van hun voorspellingen te kwantificeren, wat het moeilijk maakt om foutieve sturing tijdens regularisatie te filteren.

Methodologie

De auteurs stellen een framework voor dat multi-view geometrische priors (specifiek normaal en dieptekaarten) integreert in de 3DGS-pipeline, waarbij gebruik wordt gemaakt van confidence maps om deze priors effectief te wegen. De kerncomponenten van de methode zijn:

1. Multi-View Geometrische Priors (VGGT)

In plaats van te vertrouwen op single-view estimators, gebruikt de methode de Visual Geometry Grounded Transformer (VGGT). VGGT voert volledige multi-view inferentie uit, genereert simultaan diepteschattingen voor alle views en koppelt een confidence map ($C$) aan elke view. Deze multi-view aanpak lost ambiguïteiten op die aanwezig zijn in individuele beelden (bijv. speculariteit) door correspondenties en epipolaire geometrie over de set beelden heen te benutten.

2. Uitlijning en Normaalberekening

Om de priors te integreren, moet de voorspelde dieptekaart ($D_{prior}$) worden uitgelijnd met de 3DGS geschatte diepte ($D_{gs}$). De auteurs gaan uit van een affiene relatie tussen de twee en berekenen de schaal ($l_i$) en verschuivingsparameters ($t_i$) voor elke view $i$. Cruciaal is dat deze uitlijning alleen wordt uitgevoerd op pixels waar de confidence hoog is ($C_i > 0.5$) om het gebruik van foutgevoelige schattingen te vermijden.
Vanuit de uitgelijnde dieptepriors en de grondwaarheid van de camerastandpunten wordt een puntkaart $P$ afgeleid, waaruit normaal-priors ($N_{prior}$) worden berekend met behulp van kruisproducten van naburige punten.

3. Confidence-gebaseerde Geometrische Regularisatie

De kerninnovatie ligt in de wijze waarop deze priors worden toegepast tijdens de optimalisatie. De auteurs introduceren een geometrische verliesterm ($L_{geo}$) die de 3DGS normalen ($N_{gs}$) en diepte ($D_{gs}$) reguleert tegen de priors.
$$L_{geo} = \lambda_{normal}(W_{conf} \odot \|N_{gs} - N_{prior}\| + W_{conf} \odot \|N_d - N_{prior}\|) + \lambda_{depth} W_{conf} \|D_{gs} - D_{prior}\|$$
Hierbij is $W_{conf}$ een gewicht afgeleid van de genormaliseerde confidence map $C_i$. Dit mechanisme zorgt ervoor dat:

• Hoge-confidence voorspellingen de optimalisatie sterk sturen.
• Lage-confidence voorspellingen (bijv. in complexe speculaire regio's waar de prior onzeker kan zijn) worden gedownweight, waardoor de fotometrische loss domineert en de propagatie van fouten wordt voorkomen.

De totale loss combineert deze nieuwe term met de standaard PGSR (een robuuste 3DGS baseline) losses: $L = L_{pgsr} + L_{geo}$.

Belangrijkste Bijdragen

1. Confidence-Gewogen Integratie: De auteurs stellen een eenvoudige maar effectieve methode voor om multi-view geometrische priors in 3DGS te integreren met behulp van confidence masks. Deze aanpak verzacht het risico op foutenpropagatie dat inherent is aan het gebruik van voorgetrainde modellen.
2. Superioriteit van Multi-View Priors: De studie toont aan dat multi-view priors (VGGT), wanneer gecombineerd met confidence weighting, monoculaire alternatieven (zoals StableNormal) overtreffen, met name voor speculaire objecten.
3. Systematische Analyse: Het paper biedt een uitgebreide evaluatie van het combineren van verschillende geometrische priors met 3DGS over meerdere datasets, met de focus op de specifieke uitdagingen van speculariteit en complexe materiaaleigenschappen.

Experimentele Resultaten

De methode werd geëvalueerd op drie datasets: DTU (alledaagse objecten), Shiny Blender (hoogreflecterende synthetische objecten) en Tanks and Temples (TnT) (grote binnen- en buitenlocaties).

• Geometrische Reconstructie:
  • Shiny Blender: De voorgestelde methode behaalde de beste prestaties onder de Gaussian-gebaseerde benaderingen en was competitief met meer tijdrovende SDF-gebaseerde methoden. Het verminderde artefacten op reflecterende oppervlakken (bijv. auto's, helmen) aanzienlijk, waar baseline methoden zoals PGSR en Ref-Gaussian faalden.
  • DTU & TnT: Verbeteringen werden waargenomen, maar waren minder dramatisch op DTU, waarschijnlijk omdat de objecten grotendeels Lambertiaans zijn en goed worden afgehandeld zonder priors. Op TnT presteerde de multi-view aanpak met confidence weighting beter dan monoculaire baselines, die vaak de prestaties verslechterden door schaalambiguïteit en een gebrek aan confidence filtering.
• Renderingkwaliteit: Kwantitatieve analyse (PSNR) op novel view synthesis toonde aan dat de geometrische regularisatie de renderingkwaliteit niet degradeerde, waarbij de prestaties op gelijke hoogte bleven met de baseline methoden.
• Ablatie-studies:
  • Het verwijderen van de confidence weighting veroorzaakte een daling in prestaties, wat de noodzaak ervan bevestigt voor het filteren van fouten.
  • Monoculaire priors (StableNormal, Depth Anything) zonder confidence weighting presteerden vaak slechter dan de baseline, wat het gevaar van ongegewogen foutenpropagatie onderstreept.

Betekenis en Claims

Het paper claimt dat confidence maps een kritieke component zijn voor het benutten van geometrische priors in 3DGS. Hoewel multi-view modellen stabielere voorspellingen bieden voor complexe scènes, zijn hun bijproduct-confidence scores essentieel om betrouwbare sturing te onderscheiden van ruis.

De auteurs concluderen dat multi-view geometrische priors belangrijke signalen leveren voor 3DGS-reconstructie, vooral in uitdagende gevallen met sterk reflecterende oppervlakken. Zij stellen dat deze aanpak kan dienen als een robuuste, plug-in regularisatiestrategie voor bestaande 3DGS-methoden, wat de geometrische getrouwheid verbetert zonder de rendering-snelheid of -kwaliteit in gevaar te brengen. Het werk benadrukt dat het simpelweg toevoegen van priors onvoldoende is; de wijze van integratie (specifiek wegen door confidence) bepaalt of de priors de reconstructie verbeteren of verslechteren.