Technische Samenvatting: GETA-3DGS

Probleemstelling

3D Gaussian Splatting (3DGS) heeft zich gevestigd als een state-of-the-art methode voor real-time, fotorealistische synthesese van nieuwe weergaven, en biedt weergavesnelheden die een orde van grootte sneller zijn dan Neural Radiance Fields (NeRFs). Echter vereisen 3DGS-scènes met hoge fideliteit doorgaans honderden megabytes tot meerdere gigabytes opslag, wat een implementatieknelpunt creëert voor mobiele, immersive en volumetrische videoplatforms die footprinten in de orde van tientallen megabytes vereisen.

Bestaande compressiestrategieën voor 3DGS lijden over het algemeen aan drie structurele beperkingen:

1. Isolatie van Technieken: Pruning, kwantisatie en entropiecodering worden vaak als aparte fasen behandeld, wat een gezamenlijke rate–distortion-trade-off verhindert.
2. Afhankelijkheid van Heuristieken: Methoden vertrouwen op handmatig afgestelde drempelwaarden (bijvoorbeeld voor dekking, schaal of de orde van sferische harmonischen) die per scène handmatig moeten worden aangepast, wat de generalisatie beperkt.
3. Gebrek aan Gebruikerscontrole: Gebruikers kunnen geen harde doelen specificeren voor opslaggrootte of gegarandeerde grenzen voor weergavekwaliteit.

Bovendien is het toepassen van bestaande frameworks voor gezamenlijke pruning–kwantisatie (zoals GETA voor diepe netwerken) op 3DGS niet triviaal, omdat 3DGS geen hiërarchisch computationeel grafiek heeft, bestaat uit ongeordende geometrische primitieven met heterogene attributen, en een differentieerbare rasterisatieverliesfunctie gebruikt in plaats van een standaard feed-forward doorloop.

Methodologie: GETA-3DGS

De auteurs stellen GETA-3DGS voor, het eerste end-to-end automatisch framework voor gezamenlijke gestructureerde pruning en gemengde precisie-kwantisatie, specifiek toegesneden op 3DGS. De methode herformuleert de 3DGS-scène als een geconstraineerd optimalisatieprobleem over een heterogene parameter ruimte, opgelost via een white-box optimizer.

1. 3DGS-bewuste Kwantisatie-bewuste Afhankelijkheidsgrafiek (QADG)

Om het GETA-framework aan te passen aan 3DGS, construeren de auteurs een afhankelijkheidsgrafiek op drie niveaus:

• Niveau 1 (Prunbare Groepen): Elke Gaussische primitief wordt behandeld als één enkele prunbare groep. Het prunen van een groep verwijdert de volledige rij attributen (positie, schaal, rotatie, dekking, SH-coëfficiënten) voor die primitief.
• Niveau 2 (Attribuut Sub-nodes): Elk van de vijf attribuutklassen ($\mu, s, q, \alpha, c$) krijgt een onafhankelijke kwantisator toegewezen. Dit erkent dat attributen verschillende sensitiviteiten hebben (bijvoorbeeld vereist positie hoge precisie om jitter te voorkomen, terwijl dekking begrensd is door een sigmoid).
• Niveau 3 (SH-Degree Sub-nodes): Sferische Harmonische (SH) coëfficiënten worden opgesplitst in een DC-term (diffuse albedo) en AC-termen (view-dependent residuals), waardoor verschillende bit-breedtes voor frequentiebanden mogelijk zijn.
• Rendering-volgorde Randen: De grafiek bevat randen gewogen naar verwachte transmissie om de data-afhankelijke $\alpha$-blending-volgorde vast te leggen, wat cruciaal is voor de berekening van salientie.

2. Rendering-bewuste Salientie

De standaard salientie op basis van eerste-orde Taylor, gebruikt in deep learning, is onbetrouwbaar voor 3DGS omdat het door "ghost gradients" van de rasterizer hoge importantie kan toekennen aan geoccludeerde of buiten het scherm liggende primitieven. GETA-3DGS vervangt dit door een rendering-bewuste salientie die drie signals in schermruimte fuseert:

• Transmissie-gewogen bijdrage: De feitelijke luminantie-bijdrage van de Gaussische aan de gerenderde afbeelding.
• Gradiënt in schermruimte: De grootte van de gradiënt met betrekking tot de gerenderde kleur, geprojecteerd via de rendering-operator.
• Pixeldekking: Het aantal pixels dat de Gaussische raakt, met een straf voor kleine, verre primitieven die een lage rate–distortion-baten bieden.
  Deze componenten worden convex gecombineerd om een robuuste importantiescore voor pruning-beslissingen te produceren.

3. Heterogene Per-Attribuut Gemengde-Precisie Kwantisatie

In plaats van een uniforme bit-breedte, wijst het framework onafhankelijke bit-bereiken toe aan elk attribuut en elke SH-degree. De bit-breedte wordt gecontroleerd door leerbare parameters ($q_m, t, d$) die worden geoptimaliseerd via een Projected Partial Saliency-Guided (PPSG) afdaling. Dit zorgt ervoor dat de optimalisatierichting een afdalingsrichting blijft, zelfs na projectie op de schaarse en gekwantiseerde haalbare verzameling.

• Information-theoretische Rechtvaardiging: De auteurs leiden een reverse-water-filling-analyse af die aantoont dat de optimale bit-toewijzing afhangt van het product van de variantie van het attribuut en zijn rendering-sensitiviteit. Empirische resultaten tonen aan dat de geleerde bit-toewijzingen sterk overeenkomen met dit theoretische optimum.

4. Vier-fase Trainingsschema

Om stabiliteit te waarborgen, volgt de training een vier-fase schema:

1. Warm-up: Standaard 3DGS-training om een high-fidelity overcomplete scène te vestigen.
2. Projectie: De heterogene kwantisator wordt ingeschakeld en de bovenste grenzen voor bit-breedte worden lineair gecontracteerd naar de doelen.
3. Gezamenlijk: Structurele pruning en fine-tuning van de bit-breedte vinden gelijktijdig plaats. Een harde PSNR-vloerbeperking wordt afgedwongen; als het prunen van een Gaussische de PSNR onder een door de gebruiker gespecificeerde drempel $\tau$ doet dalen, wordt de pruning versoepeld om de kwaliteit te behouden.
4. Cool-down: Structuur en bit-breedtes worden bevroren, en alleen de gekwantiseerde attributen worden gefine-tuned om resterende vervorming te herstellen.

Belangrijkste Bijdragen

1. Automatisch Framework: GETA-3DGS is de eerste end-to-end automatische pijplijn voor gezamenlijke pruning en kwantisatie in 3DGS, waardoor de noodzaak voor per-scène handmatige afstelling van drempelwaarden voor dekking, schaal of SH-degree wordt geëlimineerd.
2. 3DGS-bewuste Architectuur: De introductie van de QADG en rendering-bewuste salientie adresseert specifiek de geometrische en rendering-gedreven aard van 3DGS, en overwint de beperkingen van het direct toepassen van deep learning compressietechnieken.
3. Heterogene Kwantisatie: Het artikel demonstreert dat heterogene per-attribuut bit-toewijzing de dominante hefboom is voor rate–distortion-prestaties. Het forceren van een uniforme 6-bit cap resulteert in aanzienlijk kwaliteitsverlies (tot -6,74 dB op view-dependent scènes) in vergelijking met de voorgestelde heterogene toewijzing.
4. Complementariteit: De auteurs positioneren hun werk als een ruggengraat (assen van pruning en kwantisatie) die complementair is aan downstream entropie-coders (as van codering), in plaats van een concurrerende oplossing.

Experimentele Resultaten

Geëvalueerd op Mip-NeRF 360, Tanks and Temples, en Deep Blending:

• Opslagreductie: GETA-3DGS bereikt ongeveer 5$\times$ opslagreductie ten opzichte van Vanilla 3DGS (bijvoorbeeld het reduceren van Mip-NeRF 360 scènes van ~20 MB naar ~4,86 MB).
• Kwaliteit versus Baselines:
  • Het presteert beter dan een naïeve sequentiële "prune-then-quantize" baseline met +4,24 dB tot +8,35 dB bij overeenkomende opslaggroottes.
  • Hoewel de absolute PSNR van GETA-3DGS lager is dan die van entropie-gecodeerde codecs zoals HAC++ (die op een andere as opereren), betoogt het artikel dat GETA-3DGS de noodzakelijke automatische ruggengraat biedt waarop dergelijke codecs kunnen worden gelegd.
• Ablatie-studies: De studie bevestigt dat het bit-breedte-beleid (heterogeen versus uniform) het meest kritieke component is. Het verwijderen van heterogeniteit en het forceren van een uniforme 6-bit grid veroorzaakt een gemiddelde daling van -2,18 dB, met zware straffen op view-dependent scènes.

Betekenis en Claims

Het artikel claimt dat GETA-3DGS een nieuw paradigma voor 3DGS-compressie vestigt door over te schakelen van heuristische, handmatige afstelling naar een automatisch, door de gebruiker gecontroleerd optimalisatieproces.

• Gebruikerscontrole: Gebruikers kunnen een doel-opslagbudget of een minimale PSNR-vloer specificeren, en het systeem traceert automatisch de rate–distortion-curve om het optimale werkingspunt te vinden.
• Modulariteit: Het framework is ontworpen als een "complementaire as" voor bestaande codecs. Het behandelt de structurele schaarsheid en gemengde precisie-kwantisatie, en laat de entropie-codering over aan downstream modules.
• Engineering-waarde: Door het compressieprobleem te abstraheren naar een QADG-topologie, vermindert het framework de engineeringkosten voor het aanpassen van compressie aan nieuwe 3DGS-varianten (bijvoorbeeld dynamische of hiërarchische 3DGS) van weken aan hyperparameter-tuning tot minimale integratie-inspanning.

De auteurs erkennen bescheiden dat hun huidige prototype een generieke symmetrische kwantisator gebruikt zonder contextmodelling op basis van ankers, wat verantwoordelijk is voor de resterende PSNR-kloof in vergelijking met state-of-the-art entropie-gecodeerde methoden. Zij stellen voor dat toekomstig werk dat contextmodellen op basis van ankers en hash-grid entropie-codering integreert bovenop de GETA-3DGS-ruggengraat, deze kloof zou kunnen dichten.