UniqueSplat: View-conditioned 3D Gaussian Splatting for Generalizable 3D Reconstruction

Technische Samenvatting van UniqueSplat: View-conditioned 3D Gaussian Splatting voor Generaliseerbare 3D-reconstructie

Probleemstelling
Novel View Synthesis (NVS) is een fundamentele uitdaging in computer vision met toepassingen in virtuele realiteit, robotica en autonoom rijden. Hoewel 3D Gaussian Splatting (3DGS) is opgekomen als een zeer efficiënte methode voor real-time rendering door scènes te representeren met 3D Gaussian-primitieven, kampen bestaande benaderingen met significante beperkingen wat betreft generaliseerbaarheid. Traditionele 3DGS vereist het optimaliseren van miljoenen parameters voor elke specifieke scène, wat computationeel duur is en een gebrek aan overdraagbaarheid heeft.

Recente feed-forward methoden, zoals pixelSplat en MVSplat, pakken dit aan door Gaussian-parameters te voorspellen in een enkele forward pass vanuit schaarse input-views. Deze methoden genereren echter vaste Gaussians voor een gehele scène, ongeacht het doel-gezichtspunt (target viewpoint). Ze minimaliseren de fout tussen gerenderde views en de grondwaarheid over alle views, maar falen in het incorporeren van specifieke informatie over het doel-gezichtspunt tijdens het voorspellingsproces. Bijgevolg kunnen deze vaste representaties vaak moeite hebben met het aanpassen aan specifieke gezichtspunten, wat resulteert in artefacten zoals scheuren, vervaging en vervormingen, met name bij cross-dataset evaluaties of scenario's met een grote baseline.

Methodologie: UniqueSplat
De auteurs stellen UniqueSplat voor, een view-conditioned feed-forward 3D Gaussian Splatting-model dat is ontworpen om voor elk specifiek view-query een op maat gemaakte 3D radiance field te reconstrueren. In plaats van een statische set Gaussians voor een scène te voorspellen, past UniqueSplat de Gaussian-parameters dynamisch aan op basis van het doel-gezichtspunt.

De kerninnovatie is een dual-branch view-conditioned hypernetwork dat view-afhankelijke priors injecteert in de predictor-lagen van het primaire netwerk. De architectuur bestaat uit:

1. Primair Netwerk: Bestaande uit een encoder ($E_p$) en een predictor. De encoder verwerkt schaarse input-afbeeldingen om feature-volumes te genereren. De predictor schat de parameters van 3D Gaussian-primitieven in (centrum $\mu$, covariantie $\Sigma$, opaciteit $\alpha$ en kleur $c$).
2. View-Conditioned Hypernetwork: Deze component genereert dynamisch de gewichten voor de convolutionele lagen van de predictor. Het is verdeeld in twee complementaire takken:
   • View-Agnostic Branch: Maakt gebruik van leerbare embeddings ($e_a$) om deelbare, generaliseerbare scène-kenmerken vast te leggen over diverse views. Een hypernetwork ($H_a$) brengt deze embeddings in kaart naar gewichten ($W_a$), wat een stabiele basis biedt voor scène-begrip onafhankelijk van specifieke gezichtspunten.
   • View-Specific Branch: Ontworpen om informatie vast te leggen die uniek is voor het doel-gezichtspunt. Het extraheert kenmerken uit input-views via een backbone encoder ($E_H$), projecteert deze naar het doel-gezichtspunt met behulp van epipolaire geometrie en projectiematrices ($P_t$), en fuseert deze tot een view-specifieke embedding ($e_s$). Een tweede hypernetwork ($H_s$) genereert aanpassingsgewichten ($\Delta W$) op basis van deze embedding.
3. Gewichtsfusie: De uiteindelijke gewichten voor de predictor worden berekend door de view-agnostische gewichten ($W_a$) en de view-specifieke aanpassingen ($\Delta W$) te fuseren. Dit stelt het model in staat om gedeelde scène-kennis te benutten terwijl het zich dynamisch aanpast aan de specifieke geometrie en het uiterlijk die vereist zijn voor het doel-gezichtspunt.

Het model wordt getraind met een combinatie van Mean Squared Error (MSE) en Learned Perceptual Image Patch Similarity (LPIPS) losses om zowel pixel-niveau nauwkeurigheid als perceptuele kwaliteit te waarborgen.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. UniqueSplat Framework: De eerste feed-forward 3D Gaussian Splatting-methode die Gaussians dynamisch aanpast voor elk view-query, waarmee de beperking van vaste Gaussians die in eerdere state-of-the-art methoden worden gebruikt, wordt overstegen.
2. Dual-Branch Hypernetwork: Een innovatieve architectuur die scène-kennis ontkoppelt in view-agnostische (deelbare) en view-specifieke (adaptieve) componenten. In tegen tegenstelling tot eerdere hypernetwork-gebaseerde NVS-methoden die gewichten uitsluitend genereren vanuit input-signalen, modelleert deze aanpak het doel-gezichtspunt expliciet als een conditie.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat UniqueSplat superieure kwantitatieve en kwalitatieve resultaten behaalt op standaard benchmarks (RealEstate10K, ACID, DTU) en een opmerkelijke generalisatiekracht vertoont in cross-dataset evaluaties.

Experimentele Resultaten
De auteurs hebben UniqueSplat geëvalueerd op de RealEstate10K, ACID en DTU datasets, waarbij het is vergeleken met methoden zoals pixelNeRF, GPNR, pixelSplat, MVSplat en TranSplat.

• Intra-Dataset Prestaties: Op RealEstate10K behaalde UniqueSplat een PSNR van 27.28 dB, waarmee het MVSplat (26.39 dB) en TranSplat (26.69 dB) verslaat. Op ACID bereikte het 29.06 dB, waarmee het de vorige beste methode met een aanzienlijke marge overtreft.
• Cross-Dataset Generalisatie: In zero-shot settings (getraind op RealEstate10K, getest op ACID en DTU) demonstreerde UniqueSplat een robuuste generalisatie. Zo behaalde het op de DTU-dataset een PSNR van **16.01 dB, wat aanzienlijk beter is dan MVSplat (13.94 dB) en pixelSplat (12.89 dB).
• Efficiëntie: Hoewel het toevoegen van een hypernetwork de complexiteit verhoogt ten opzichte van MVSplat, blijft UniqueSplat efficiënt. Het vereist 38.1M parameters en een inferentietijd van 0.065s op een A6000 GPU, wat een betere afweging biedt tussen prestaties en computationele kosten vergeleken met zwaardere transformer-gebaseerde modellen zoals TransSplat.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen laten zien dat UniqueSplat afbeeldingen met hoge getrouwheid produceert met minder artefacten (scheuren, vervaging) en een betere structurele preservatie, vooral bij grote hoektransformaties en onbekende regio's, vergeleken met de baseline-methoden.

Betekenis en Beperkingen
Het artikel beweert dat UniqueSplat een belangrijke stap voorwaarts vertegenwoordigt in generaliseerbare 3D-reconstructie door de starheid van vaste Gaussian-representaties aan te pakken. Door view-conditioned informatie als een prior op te nemen, slaagt het model erin zich aan te passen aan specifieke gezichtspunten, wat leidt tot meer realistische en hoogwaardige novel view synthesis. Het dual-branch ontwerp balanceert effectief tussen de behoefte aan algemeen scène-begrip en de noodzaak van view-specifieke adaptatie.

De auteurs erkennen echter bescheiden de beperkingen. Omdat de methode pixel-aligned Gaussians voorspelt voor input-views, kan het nog steeds artefacten introduceren bij het renderen van onbekende regio's van een scène (bijv. geoccludeerde gebieden die niet zichtbaar zijn in de schaarse input-views). De auteurs suggereren dat toekomstig werk dit kan aanpakken door generatieve modellen, zoals diffusiemodellen, te integreren om deze uitdagende regio's beter te kunnen behandelen.