PointSplat: Efficient Geometry-Driven Pruning and Transformer Refinement for 3D Gaussian Splatting

Probleemstelling

3D Gaussian Splatting (3DGS) heeft recente doorbraken geboekt in het real-time renderen van nieuwe weergaven (Novel View Synthesis) met hoge visuele kwaliteit. Echter, traditionele methoden genereren vaak miljoenen Gaussians om complexe scènes te modelleren, wat leidt tot enorme geheugeneisen en opslagbehoeften.

Bestaande oplossingen voor compressie (zoals LightGaussians, PUP-3DGS) vertrouwen doorgaans op twee beperkende factoren:

1. Afbeeldingsgedreven pruning: Ze berekenen "important scores" op basis van 2D afbeeldingen en straal-pixel intersecties, wat computatief duur is.
2. Per-scene optimalisatie: Na het weghalen van Gaussians is vaak nog een specifieke fine-tuning per scène nodig om de kwaliteit te herstellen. Dit maakt de methode onpraktisch voor edge devices of scenario's waar test-afbeeldingen niet beschikbaar zijn.

Daarnaast lijden bestaande transformer-gebaseerde verfijningsmethoden (zoals SplatFormer) vaak aan feature-imbalance. Omdat de Sferische Harmonische (SH) coëfficiënten (die de kleur weergeven) veel dimensies hebben (tot 48) vergeleken met geometrische attributen (positie, schaal, rotatie), domineren de kleurfeatures het leerproces, wat leidt tot suboptimale structurele herstel.

Methodologie: PointSplat

PointSplat introduceert een unificerend framework dat bestaat uit twee hoofdstappen: een geometrie-gedreven pruning en een dual-branch transformer refinement.

1. Geometrie-gedreven Pruning (Geometry-Driven Pruning)

In plaats van 2D afbeeldingen te gebruiken, selecteert PointSplat een subset van Gaussians puur op basis van hun intrinsieke 3D-attributen.

• Scorefunctie: De score wordt berekend als een gewogen som van de opaciteit ($\alpha_i$) en het volume (afgeleid van de schaalfactoren $s_i$) van elke Gaussian.
  $$score_i = \lambda_\alpha \cdot \nu(\alpha_i) + (1 - \lambda_\alpha) \cdot \nu(\text{Volume}_i)$$
• Doel: Deze methode selecteert Gaussians die zowel ruimtelijke dekking bieden (kleine, dichtbevolkte volumes) als visueel significant zijn (hoge opaciteit). Hierdoor worden "floaters" (grote, transparante Gaussians die weinig bijdragen) verwijderd zonder dure ray-tracing berekeningen.

2. Dual-Branch Encoder & Transformer Refinement

De geselecteerde, schaarse set van Gaussians wordt vervolgens verrijkt door een Transformer-netwerk dat specifiek is ontworpen om de feature-imbalance op te lossen.

• Dual-Branch Architectuur: In plaats van alle parameters in één vector te plakken, worden de features gesplitst in twee takken:
  • Geometrische tak: Verwerkt positie ($\mu$), rotatie ($q$) en schaal ($s$).
  • Uiterlijke tak (Appearance): Verwerkt opaciteit ($\alpha$) en gereduceerde kleurfeatures (via een MLP toegepast op de SH-coëfficiënten).
• Positie-encoding: Een positie-encoding module ($\psi$) wordt toegevoegd om de fysieke 3D-locatie te benadrukken zonder verward te raken met intrinsieke attributen zoals schaal.
• Fusie: De uiterlijke features worden omgezet in attention-weights (via softmax) die worden toegepast op de geometrische features. Dit zorgt voor een gebalanceerde representatie waarbij de geometrie niet wordt overschaduwd door de hoge-dimensionaliteit van de kleurdata.
• Refinement: Een 3D Point Transformer (gebaseerd op PointTransformerV3) gebruikt lokale attention-mechanismen om de parameters van de Gaussians globaal te coördineren en te verfijnen, waardoor structurele details worden hersteld.

Belangrijkste Bijdragen

1. Efficiënte Pruning: Een nieuwe scoring-methode die puur op 3D-attributen (volume en opaciteit) is gebaseerd, waardoor dependency op 2D-afbeeldingen en ray-pixel intersecties tijdens de compressiefase wordt verwijderd.
2. Dual-Branch Encoder: Een innovatieve encoder die geometrische en uiterlijke features ontkoppelt en herwogen, waardoor feature-imbalance in transformer-netwerken wordt opgelost en stabiel leren mogelijk wordt.
3. Geen Per-Scene Optimalisatie: Het model kan direct worden toegepast op voorgeoptimaliseerde 3DGS-modellen voor nieuwe scènes zonder extra training of fine-tuning per scène, wat de inzetbaarheid voor real-time toepassingen vergroot.

Resultaten

De methode is geëvalueerd op de datasets ScanNet++ en Replica bij verschillende dichtheidsniveaus (10%, 30%, 50% van de oorspronkelijke Gaussians).

• Kwaliteit: PointSplat behaalt concurrerende PSNR, SSIM en LPIPS scores. Bij 50% sparsiteit op ScanNet++ bereikt PointSplat een PSNR van 29.52, wat dicht in de buurt komt van de oorspronkelijke dichte 3DGS (29.73) en aanzienlijk beter is dan andere geometry-driven methoden (SplatFormer: 21.27).
• Efficiëntie: PointSplat presteert aanzienlijk sneller in rendering (FPS). Bij 10% sparsiteit bereikt het 621 FPS (op een NVIDIA A100), vergeleken met 356 FPS voor LightGaussian en 579 FPS voor PUP-3DGS. Dit komt doordat PointSplat kleinere, hoog-opaque Gaussians selecteert, wat het aantal overdekte pixels (overdraw) tijdens rasterisatie vermindert.
• Ablatie Studies:
  • De balansparameter $\lambda_\alpha$ (0.3) bleek robuust over verschillende datasets.
  • De Dual-Branch Encoder (Model V in de ablatie) leverde de beste resultaten op, wat bevestigt dat het scheiden van features en het gebruik van positie-encoding essentieel is voor kwaliteitsbehoud.

Betekenis en Toepassing

PointSplat sluit de kloof tussen efficiënte compressie en hoge visuele kwaliteit in 3DGS. Door het elimineren van de noodzaak voor per-scene optimalisatie en het gebruik van een snelle, geometrie-gedreven aanpak, maakt het 3DGS veel praktischer voor real-time toepassingen op bronnenbeperkte apparaten, zoals:

• Augmented Reality (AR) en Virtual Reality (VR).
• Robotica en autonome voertuigen.
• Streaming van 3D-inhoud.

Het paper demonstreert dat het mogelijk is om compacte, expressieve 3D-representaties te creëren die zowel ruimtebesparend zijn als visueel trouw, zonder de rekenkosten van traditionele fine-tuning-procedures.