Technische Samenvatting: Guiding Sparse-View 3D Gaussian Splatting met Fisher Informatie

Probleemstelling

3D Gaussian Splatting (3DGS) heeft zich gevestigd als een leidende techniek voor novel view synthesis (NVS), waarbij het real-time render-snelheden en een hoge getrouwheid biedt vergeleken met Neural Radiance Fields (NeRF). Echter, 3DGS leunt zwaar op dichte input-views om bevredigende resultaten te behalen. In sparse-view scenario's (bijv. 3 tot 9 invoerbeelden) lijdt het model aan ernstige overfitting door onvoldoende geometrische en verschijningsinformatie. Dit leidt tot merkbare artefacten, gedegradeerde renderingkwaliteit en een slechte generalisatie naar ongeziene gezichtspunten.

Bestaande benaderingen om dit probleem te verzachten, vallen over het algemeen uiteen in twee categorieën:

1. Prior-gebaseerde Augmentatie: Het gebruik van getrainde modellen (bijv. diepte-estimators) om pseudo ground truths te genereren. Deze methoden vertrouwen echter vaak op willekeurige sampling van gezichtspunten of het vervormen van enkele trainingsviews, wat faalt in het volledig exploiteren van stereo geometrische priors en "holle" gebieden introduceert in de geaugmenteerde data.
2. Regularisatietechnieken: Methoden zoals Dropout worden gebruikt om overfitting te voorkomen. Traditionele Dropout past echter een uniforme verwijderingskans toe op alle Gaussians. Dit gebrek aan selectiviteit kan onbedoeld onder-geoptimaliseerde Gaussians (bijv. die gebieden vertegenwoordigen die geoccludeerd zijn) verwijderen terwijl over-geoptimaliseerde Gaussians behouden blijven, wat leidt tot instabiliteit en visuele artefacten zoals overcompensatie.

Beide benaderingen lijden aan samengestelde willekeur, wat onzekerheid en instabiliteit introduceert die de getrouwheid van de uiteindelijke synthese beperken.

Methodologie

De auteurs stellen een nieuw framework voor dat Fisher Informatie gebruikt om zowel data-augmentatie als regularisatie kwantitatief te sturen, waardoor men overgaat van willekeurige heuristieken naar principiële selectie. De methode bestaat uit twee kerncomponenten:

1. Stereo Augmentation met Fisher Informatie (SAFI)

Om de problemen van "Hollow and Random Augmentation" aan te pakken, selecteert SAFI actief de meest informatieve trainingsviews om hoogwaardige pseudo ground truths te cureren.

• Viewpoint Sampling: Een nieuw gezichtspunt wordt gesampled door een bestaande camera-pose van een trainingscamera te verstoren (willekeurige ruis op positie en oriëntatie).
• Informative View Selection: In plaats van willekeurig support views te selecteren of eenvoudige Euclidische afstand te gebruiken, hanteert de methode Information Gain (IG) afgeleid van Fisher Informatie. Het berekent de reductie in modelonzekerheid wanneer een kandidaat-view wordt toegevoegd.
  • De IG wordt benaderd met de trace van de Hessiaanse matrix (afgeleid van Fisher Informatie) om views te identificeren die de visuele gelijkenis en geometrische restricties ten opzichte van het nieuwe gezichtspunt maximaliseren.
  • Een set support views wordt geselecteerd op basis van een drempelwaarde relatief aan de minimale IG, wat zorgt voor multi-view geometrische consistentie.
• Pseudo Ground Truth Curation: Met behulp van een getraind diepte-model (Depth-Anything-3), worden de geselecteerde views ongeprojecteerd naar een 3D-puntenwolk en gerasterd vanuit het nieuwe gezichtspunt om een hoogwaardige pseudo ground truth afbeelding te creëren. Deze dataset wordt vervolgens geïntegreerd in de trainingsset.

2. Uncertainty-aware Regularization (UAR)

Om "Regularization without Selectivity" aan te pakken, past UAR de dropout-kans adaptief aan voor elke 3D Gaussian op basis van de optimalisatiestatus.

• Uncertainty Quantification: De methode berekent een onzekerheidsscore ($U_i$) voor elke Gaussian $G_i$ met behulp van de Fisher Informatie-matrix. Een hogere score geeft aan dat de Gaussian onder-geoptimaliseerd is (het verstoren ervan heeft weinig impact op de rendering), terwijl een lagere score aangeeft dat deze over-geoptimaliseerd is.
• Ranking-based Selective Dropout: Gaussians worden gesorteerd op onzekerheid. De methode geeft prioriteit aan het verwijderen van over-geoptimaliseerde Gaussians (lage onzekerheid) terwijl onder-geoptimaliseerde Gaussians (hoge onzekerheid) worden behouden. Dit zorgt ervoor dat geoccludeerde of onder-getrainde regio's voldoende optimalisatie ontvangen.
• Soft-scale Dropout: In tegenstelling tot traditionele Dropout die de opacity van geselecteerde Gaussians volledig op nul zet (wat ertoe leidt dat stralen door geoccludeerde regio's dringen en overcompensatie forceren), gebruikt UAR een soft-scale strategie. Geselecteerde Gaussians hebben hun opacity geschaald met een decay factor $\lambda \in (0, 1)$ in plaats van volledig te worden verwijderd. Dit behoudt een zachte aanwezigheid in de rasterisatie, waardoor geoccludeerde Gaussians beschermd worden tegen foutieve updates.

Belangrijkste Bijdragen

1. SAFI Strategie: Een nieuwe augmentatiestrategie die Fisher Informatie gebruikt om de meest informatieve views te selecteren voor het cureren van pseudo ground truths, waardoor de bruikbaarheid van geometrische priors wordt gemaximaliseerd en de willekeur in data-augmentatie wordt verminderd.
2. UAR Strategie: Een onzekerheid-bewust regularisatiemechanisme dat de optimalisatiestatus van elke 3D Gaussian kwantitatief meet en de dropout-kansen adaptief aanpast, wat leidt tot een stabielere optimalisatie en hogere renderinggetrouwheid.
3. Soft-scale Dropout: De integratie van een soft-scale dropout mechanisme om de overcompensatie-artefacten te voorkomen die geassocieerd worden met harde verwijderingsstrategieën in sparse-view settings.

Experimentele Resultaten

De methode werd geëvalueerd op drie standaard benchmarks: LLFF, Mip-NeRF 360, en DTU, onder sparse-view settings (3, 6 en 9 views voor LLFF/DTU; 12 en 24 views voor Mip-NeRF 360).

• Kwantitatieve Prestaties: De voorgestelde methode bereikt state-of-the-art (SOTA) prestaties over bijna alle metrieken (PSNR, SSIM, LPIPS).
  • Op LLFF (3-view) overtreft het de vorige beste methode (DropGaussian) met 0.36 dB in PS PSNR.
  • Op DTU (3-view) bereikt het een PSNR van 22.44 dB, wat de baselines zoals 3DGS (10.99 dB) en DropGaussian (21.44 dB) aanzienlijk overtreft.
  • Op Mip-NeRF 360 (12-view) verbetert het de PSNR met 0.35 dB ten opzichte van de vorige SOTA.
• Stabiliteit: De methode vermindert de standaarddeviatie van de PSNR over meerdere runs aanzienlijk (bijv. van 0.084 naar 0.027 in augmentatievergelijkingen), wat duidt op een verbeterde optimalisatiestabiliteit.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat de methode novel views produceert met minder artefacten (bijv. holle gebieden, zwevende artefacten) en een betere structurele getrouwheid vergeleken met baselines zoals CoR-GS en DropGaussian.

Betekenis en Claims

Het artikel claimt een nieuwe state-of-the-art te hebben gevestigd voor sparse-view novel view synthesis door de fundamentele problemen van willekeur en gebrek aan selectiviteit in huidige augmentatie- en regularisatietechnieken aan te pakken. Door de selectie van pseudo ground truths en de toepassing van regularisatie te funderen in Fisher Informatie, biedt de auteur een principiële aanpak om:

• De onzekerheid en instabiliteit te verminderen die inherent zijn aan willekeurige sampling en uniforme dropout.
• Geometrische priors volledig te benutten via multi-view stereo constraints.
• Tussen over-geoptimaliseerde en onder-geoptimaliseerde Gaussians te differentiëren om visuele artefacten zoals overcompensatie te voorkomen.

De auteurs concluderen dat hun methode effectief overfitting in sparse-view 3DGS mitigeert, wat resulteert in superieure renderinggetrouwheid en stabiele optimalisatie zonder dat er aanvullende dichte inputdata nodig is.