MEGS$^{2}$: Memory-Efficient Gaussian Splatting via Spherical Gaussians and Unified Pruning

MEGS² is een nieuw, geheugenefficiënt framework voor 3D Gaussian Splatting dat door het vervangen van zware sferische harmonischen door lichtgewicht sferische Gaussische lobes en het toepassen van een unificatie-ontwikkelingsstrategie voor het snoeien van primitieven en lobes, de VRAM-gebruik met 50% verlaagt zonder in te leveren op weergavekwaliteit.

De kern

🎨 Het Grote Probleem: De "Zware" 3D-App

Stel je voor dat je een prachtige, fotorealistische 3D-wereld wilt bekijken op je telefoon, alsof je door een raam kijkt. De technologie die dit mogelijk maakt, heet 3D Gaussian Splatting (3DGS). Het is als een enorme verzameling van duizenden kleine, zwevende "verfdruppels" die samen een beeld vormen.

Het probleem? Deze verzameling is ontzettend zwaar.

• De analogie: Het is alsof je probeert een hele bibliotheek vol zware encyclopedieën (de 3D-bestanden) in je kleine rugzak (je telefoon) te proppen.
• Het gevolg: Je telefoon wordt heet, de batterij gaat snel leeg, en de beelden haperen of laden niet eens. De huidige technologie is te zwaar voor de "rand" (zoals telefoons en tablets).

Bestaande oplossingen probeerden de boeken in de bibliotheek kleiner te maken (compressie), maar zodra je ze opende om te lezen, waren ze weer even groot als voorheen. Ze losten het gewicht niet op.

---

💡 De Oplossing: MEGS2 (De Slimme Verlichting)

De onderzoekers hebben MEGS2 bedacht. Ze hebben twee slimme trucjes gebruikt om deze zware bibliotheek echt licht te maken.

1. De Kleuren: Van "Grote Kaart" naar "Slimme Spotlights"

In de oude methode (3DGS) werden de kleuren van de objecten beschreven met Sferische Harmonischen.

• De analogie: Stel je voor dat je een muur wilt verlichten. De oude methode gebruikt een gigantische, zware kaart die elk hoekje van de wereld beschrijft, zelfs de plekken waar niemand kijkt. Het is inefficiënt en zwaar.
• De MEGS2-methode: Ze gebruiken nu Sferische Gaussians (SG).
  • Dit is alsof je in plaats van die zware kaart, een setje slimme, draaibare spotlights gebruikt. Je richt ze precies op de plekken waar het licht nodig is (bijvoorbeeld op een glanzende reflectie op een auto).
  • Het voordeel: Je hebt veel minder "spotlights" nodig om hetzelfde effect te bereiken, en ze zijn veel lichter. Je kunt ze ook makkelijk "uitdoen" als ze niet nodig zijn.

2. De Schoonmaak: De "Unieke Scherpe Schaar"

De tweede truc is een slimme manier om onnodige dingen weg te halen.

• Het oude probleem: Meestal haal je eerst de hele bibliotheek in elkaar (verwijder je boeken), en pas daarna kijk je of je de kaarten kunt verkleinen. Of andersom. Dit is als twee aparte schoonmaakbeurten.
• De MEGS2-methode: Ze gebruiken een Unieke Scherpe Schaar (Unified Soft Pruning).
  • De analogie: In plaats van eerst te tellen hoeveel boeken je hebt en daarna te kijken welke kaarten je kunt verkleinen, doet MEGS2 dit tegelijkertijd.
  • Het kijkt naar de hele bibliotheek en zegt: "Oké, we hebben een gewichtslimiet van 5 kilo. Laten we tegelijkertijd beslissen welke boeken we weggooien EN welke kaarten we kleiner maken, zodat we precies op 5 kilo zitten zonder dat de kwaliteit lijdt."
  • Als ze een "spotlight" (lobe) weghalen die niet meer nodig is, vullen ze het gat netjes op met een kleine kleurcorrectie, zodat het beeld niet lelijk wordt.

---

🚀 Wat levert dit op?

De resultaten zijn indrukwekkend, vooral voor je telefoon:

1. Lichtgewicht: De bestanden zijn tot 8 keer lichter om op te slaan en 6 keer lichter om te renderen (tekenen) dan de originele methode.
2. Snelheid: Waar de oude methode op een laptop misschien 27 beelden per seconde haalde (traag), haalt MEGS2 117 beelden per seconde (super vloeiend).
3. Werkt overal: De oude methode crashte op veel telefoons. MEGS2 draait soepel op de nieuwste telefoons (zoals met de MediaTek Dimensity 9400+ chip) en zelfs op oudere modellen.

🏁 Conclusie

MEGS2 is als het vervangen van een zware, stalen kast door een lichte, opvouwbare tent.

• Je behoudt de prachtige uitzichten (de hoge kwaliteit).
• Je kunt hem makkelijk in je rugzak dragen (werkt op je telefoon).
• Je kunt er snel doorheen lopen zonder te struikelen (hoge snelheid).

Dit maakt het mogelijk om in de toekomst echt realistische 3D-werelden te bekijken in games, virtuele winkels of bij het bekijken van je vakantieherinneringen, direct op je mobiele apparaat, zonder dat je batterij het begeeft.

Technische samenvatting

Probleemstelling

3D Gaussian Splatting (3DGS) is uitgegroeid tot de dominante techniek voor nieuwe weergave-synthese (novel-view synthesis) vanwege zijn snelle reconstructie en real-time prestaties. Echter, de hoge geheugenvraag (VRAM) beperkt de toepasbaarheid op randapparaten (edge devices) zoals mobiele telefoons en laptops.

Bestaande compressiemethoden focussen voornamelijk op opslagcompressie (verkleinen van het bestandsgrootte). Ze missen echter de kritieke bottleneck: rendering-geheugen.

• Methoden die gebruikmaken van vectorquantisatie of neurale compressie moeten de volledige parameters decoderen voordat ze kunnen renderen, wat vaak leidt tot een hoger rendering-geheugengebruik dan ongecomprimeerde 3DGS.
• Bestaande pruning-methoden (het verwijderen van Gaussians) verminderen het aantal primitieven, maar behouden vaak nog steeds te veel parameters per primitief (vooral door het gebruik van Sferische Harmonischen, SH) om de kwaliteit te behouden.

Het doel van MEGS2 is om zowel het totale aantal primitieven als het aantal parameters per primitief te optimaliseren om het rendering-geheugen drastisch te verlagen zonder kwaliteitsverlies.

Methodologie

MEGS2 introduceert een framework dat twee kerncomponenten combineert: een nieuw kleurencodingsysteem en een geïntegreerde pruning-strategie.

1. Kleurencoding: Sferische Gaussians (SG) in plaats van Sferische Harmonischen (SH)

In plaats van de traditionele Sferische Harmonischen (SH) voor het modelleren van view-dependent kleuren, vervangt MEGS2 deze volledig door Sferische Gaussians (SG).

• Efficiëntie: SH vereist veel hoogwaardige coëfficiënten om scherpe highlights en lokale details weer te geven, wat inefficiënt is. SG's kunnen deze details modelleren met veel minder parameters (lobes).
• Flexibiliteit: De auteurs introduceren willekeurig georiënteerde SG-lobes (in tegenstelling tot eerdere hybride modellen met vaste orthogonale assen). Dit biedt meer vrijheidsgraden en betere expressiviteit.
• Prunability: Het aantal parameters per primitief kan dynamisch worden aangepast door het aantal lobes te variëren. Primitieven met weinig visuele impact kunnen worden gereduceerd tot één lobe of zelfs een diffuse kleur.

2. Unified Soft Pruning Framework

De auteurs formuleren het comprimeren van 3DGS als een geheugengedwongen optimalisatieprobleem. In plaats van primitieven en lobes apart te verwijderen (sequentiële pruning), worden ze gelijktijdig geoptimaliseerd.

• Doelfunctie: Minimaliseer de reconstructieverlies ($L$) onder de beperking van een totaal geheugenbudget ($\kappa$).
  $$\min_{o,s,\Theta} L(o, s, \Theta) \quad \text{zodat} \quad \rho_o \|o\|_0 + \rho_s \|s\|_0 \leq \kappa$$
  Hierbij staat $\|o\|_0$ voor het aantal actieve primitieven (opaciteit) en $\|s\|_0$ voor het aantal actieve lobes (scherpte).
• Oplossing: Omdat de $L_0$-norm niet differentieerbaar is, gebruiken de auteurs een ADMM-geïnspireerd algoritme (Alternating Direction Method of Multipliers). Dit splitst het probleem op in:
  1. Een gradiëntstap voor de parameters.
  2. Een proximaal-stap die de parameters projecteert op het geheugenbudget (door de minst belangrijke lobes/primitieven te verzwakken).
• Post-processing: Na de optimalisatie worden primitieven en lobes met verwaarloosbare waarden hard verwijderd. Om kwaliteitsverlies door het verwijderen van lobes te compenseren, wordt een kleurcompensatieterm ($\Delta c_0$) berekend en toegevoegd aan de diffuse kleur van de primitief.

Belangrijkste Bijdragen

1. Volledige vervanging van SH: MEGS2 introduceert een volledig zelfstandig kleurencodingsysteem gebaseerd op willekeurig georiënteerde en prunable Sferische Gaussians, wat de parameters per primitief drastisch verlaagt.
2. Unified Soft Pruning: Een nieuw framework dat het verwijderen van primitieven en het reduceren van lobes combineert tot één geoptimaliseerd probleem, in plaats van ze als aparte stappen te behandelen. Dit levert een betere afweging op tussen kwaliteit en geheugengebruik.
3. Ongeëvenaarde compressie: De methode bereikt een statische VRAM-compressie van meer dan 8x en een rendering-VRAM-compressie van bijna 6x ten opzichte van standaard 3DGS, terwijl de kwaliteit gelijk blijft of zelfs verbetert.

Resultaten

De experimenten zijn uitgevoerd op diverse datasets (Mip-NeRF 360, Tanks & Temples, Deep Blending) en vergeleken met state-of-the-art methoden zoals GaussianSpa, Mini-Splatting en CompactGaussian.

• Geheugenefficiëntie:
  • Statische VRAM: MEGS2 verbruikt slechts ~55 MB op Mip-NeRF 360 (tegenover ~115 MB voor GaussianSpa en ~648 MB voor standaard 3DGS).
  • Rendering VRAM: Een reductie van ongeveer 40% ten opzichte van de beste bestaande methoden (GaussianSpa).
• Kwaliteit:
  • MEGS2 behoudt of verbetert de PSNR, SSIM en LPIPS scores. Op de DeepBlending-dataset wordt zelfs een verbetering van 0.4 dB PSNR gezien ten opzichte van standaard 3DGS.
  • Visueel worden scherpe highlights en reflecties (bijv. op spiegels in de "Bicycle" en "Truck" scènes) beter vastgelegd dan bij andere methoden.
• Real-time Prestaties op Randapparaten:
  • Dankzij de lage geheugenvraag kan MEGS2 soepel renderen op mobiele apparaten (zoals MediaTek Dimensity 9400+ en Qualcomm Snapdragon 865) waar standaard 3DGS faalt of crasht.
  • FPS: Op een RTX 3060 Laptop haalt MEGS2 117.4 FPS (tegenover 27 FPS voor 3DGS met SH). Op een Dimensity 9400+ haalt het 91.0 FPS (tegenover 6.6 FPS voor 3DGS).

Betekenis en Impact

MEGS2 is een doorbraak voor de toepassing van 3DGS in de praktijk, specifiek op edge devices. Door de focus te verschuiven van alleen opslaggrootte naar rendering-geheugenefficiëntie, maakt deze methode het mogelijk om hoogwaardige 3D-scènes in real-time te bekijken op smartphones, tablets en laptops zonder dat de applicatie crasht door geheugentekort. Dit opent de deur voor nieuwe use-cases zoals mobiele 3D-scanning, virtuele pasproeven en real-time rendering in games op laagwaardige hardware. De combinatie van SG's en unified pruning biedt een nieuw paradigma voor het comprimeren van 3D-representaties.