AdaGScale: Viewpoint-Adaptive Gaussian Scaling in 3D Gaussian Splatting to Reduce Gaussian-Tile Pairs

Probleemstelling

3D Gaussian Splatting (3D-GS) is een veelbelovende techniek voor het synthetiseren van nieuwe weergaven, maar kampt nog steeds met prestatieproblemen bij het bereiken van echt real-time rendering (bijv. 90-120 FPS) voor AR/VR-toepassingen, zelfs op krachtige GPU's. De huidige implementaties bereiken vaak slechts 10-15 FPS bij hoge resoluties.

Een belangrijke bottleneck in het renderingproces is de generatie en verwerking van Gaussian-tile paren (koppelingen tussen 3D Gaussians en 2D tiles op het beeldscherm). Hoewel eerdere methoden (zoals GSCore, AdR-Gaussian) het aantal paren hebben verminderd door nauwkeurigere geometrische snijtests (bijv. met OBB of ellipsen), hebben ze geen rekening gehouden met de verschillende belangrijkheid van deze paren.

• Kernobservatie: De auteurs ontdekten dat Gaussian-tile paren die corresponderen met de perifere gebieden (de randen) van een Gaussian, een verwaarloosbare bijdrage leveren aan de uiteindelijke pixelkleur.
• Huidige beperking: Bestaande methoden verwijderen alleen paren met exact nul bijdrage. Ze negeren echter dat paren met een zeer lage (maar niet-nul) bijdrage ook veilig kunnen worden genegeerd of verkleind zonder merkbare kwaliteitsverlies.

Methodologie: AdaGScale

De auteurs stellen AdaGScale voor, een nieuwe, viewpoint-adaptieve techniek voor het schalen van Gaussians om het aantal paren te reduceren. De methode werkt in drie fasen:

1. Definitie van de "Peripherale Score" (Peripheral Score):

   • De auteurs definiëren een score die de som is van de kleurbijdragen van pixels in het perifere gebied van een Gaussian (tussen een lage drempel $\tau$ en een hogere drempel $x$).
   • Een parameter $K$ (gebruikersgedefinieerd) bepaalt de maximaal acceptabele verlies in kwaliteit (peripheral loss).
   • Op basis van deze score wordt een dynamische $\alpha$-drempel ($Th_i$) berekend voor elke Gaussian. Als $Th_i$ hoger is dan de standaardwaarde (1/255), wordt het effectieve bereik van de Gaussian verkleind voor de snijtest.

2. Efficiënte Benadering tijdens Preprocessing:

   • Het direct berekenen van de exacte score is te duur omdat het de transmissiewaarde ($T_i$) vereist, die pas na het sorteren bekend is.
   • Oplossing: De auteurs gebruiken een drie-staps benadering:
     • Transmissie-benadering: Vervanging van de pixel-specifieke $T_i$ door een constante maximale waarde per Gaussian ($max(T_i)$).
     • Diepte-gebaseerde bovengrens: $max(T_i)$ wordt benaderd als een functie van de diepte ($T_{Upper}^i(depth)$), bepaald via een kalibratie-dataset.
     • Gesloten vorm berekening: De som van de bijdragen wordt benaderd met een Riemann-sum (integraal in poolcoördinaten), wat leidt tot een gesloten formule voor $Th_i$ die alleen afhankelijk is van diepte, covariantie en $K$.

3. Dual-Size Strategie (Twee maten):

   • Tijdens de snijtest (Intersection Test): De verkleinde Gaussian (met de aangepaste drempel $Th_i$) wordt gebruikt. Dit resulteert in minder intersecties met tiles en dus minder Gaussian-tile paren.
   • Tijdens de rasterisatie (Color Accumulation): De oorspronkelijke grootte en de standaard $\alpha$-drempel (1/255) worden gebruikt.
   • Doel: Dit zorgt ervoor dat de visuele kwaliteit behouden blijft voor de paren die wel worden verwerkt, terwijl de rekenlast van het sorteren en rasteren van onnodige paren wordt vermeden.

Belangrijkste Bijdragen

• Peripherale Score: Een nieuwe metriek om de belangrijkheid van Gaussian-tile paren te kwantificeren op basis van hun bijdrage aan de randen van de Gaussian.
• Efficiënte Benadering: Een methode om deze score te schatten tijdens de preprocessing zonder dure berekeningen, gebruikmakend van diepte-gebaseerde bovengrenzen en gesloten vorm formules.
• Viewpoint-Adaptive Scaling: Een dynamisch systeem dat de grootte van Gaussians aanpast per weergavepunt, specifiek gericht op het elimineren van lage-bijdrage paren.
• Dual-Size Strategie: Een innovatieve aanpak waarbij de schaling alleen geldt voor het genereren van paren, maar niet voor de uiteindelijke kleurberekening, wat kwaliteit behoudt.
• Integratie: De methode vereist geen hertraining van de 3D-GS modellen en kan naadloos worden geïntegreerd in bestaande pipelines.

Resultaten

De auteurs hebben AdaGScale getest op diverse datasets (Tanks&Temples, DeepBlending, Mip-NeRF360, etc.) en verschillende modellen (originele 3D-GS, GaussianSpa, CityGaussian, Scaffold-GS).

• Snelheidswinst:
  • Op city-scale scènes (hoge resolutie) wordt een geometrische gemiddelde snelheidswinst van 13.8x behaald ten opzichte van de originele 3D-GS.
  • Op de originele 3D-GS modellen wordt een gemiddelde snelheidswinst van 5.46x behaald bij een PSNR-daling van slechts 0.5 dB.
  • Zelfs op reeds gecomprimeerde modellen (zoals GaussianSpa) en MLP-gebaseerde pipelines (Scaffold-GS) worden significante snelheidswinsten geboekt.
• Kwaliteit:
  • De degradatie in beeldkwaliteit (PSNR) is minimaal. Bij een daling van 0.5 dB is de visuele impact voor het menselijk oog verwaarloosbaar.
  • Er is een directe correlatie tussen het aantal verwijderde paren en de snelheidswinst. AdaGScale reduceert het aantal Gaussian-tile paren met tot 43% ten opzichte van FlashGS.
• Efficiëntie: De preprocessing voor het berekenen van de parameters ($K$ en $T_{Upper}$) duurt slechts 10-30 seconden per scène.

Significantie

AdaGScale is een doorbraak in het optimaliseren van 3D Gaussian Splatting voor real-time toepassingen zoals AR/VR.

1. Paradigmaverschuiving: Het verschuift de focus van puur geometrische optimalisatie naar inhoudsgebaseerde optimalisatie (kleurbijdrage).
2. Toepasbaarheid: Omdat het geen hertraining vereist, is het direct inzetbaar voor bestaande 3D-GS-modellen en toekomstige varianten.
3. Real-time potentieel: De behaalde snelheidswinsten (tot 13.8x) brengen 3D-GS dichter bij de vereisten voor high-end AR/VR-brillen (zoals Apple Vision Pro), die 90-120 FPS vereisen bij hoge resoluties.

Kortom, AdaGScale lost het probleem van de "overhead" in 3D-GS op door slim te kiezen welke berekeningen echt nodig zijn voor de beeldkwaliteit, waardoor GPU-resources efficiënter worden benut.