Learning Hierarchical Sparse Transform Coding for 3DGS Compression

Deze paper introduceert een trainings-tijd transform-coderingsmethode met een hiërarchisch ontwerp voor 3DGS-compressie die de analyse-synthese-transformatie en het entropiemodel gezamenlijk optimaliseert om de rate-distortion-prestaties te verbeteren en de belasting van de entropiecoder te verminderen.

De kern

Stel je voor dat je een prachtige, driedimensionale wereld hebt gebouwd met duizenden kleine, zwevende ballonnen (de "Gaussians" in de techniek). Deze ballonnen zorgen ervoor dat je de wereld vanuit elk mogelijk hoekje kunt bekijken, alsof je er echt bent. Dit is geweldig voor virtual reality en games, maar er is een groot probleem: deze verzameling ballonnen is enorm zwaar. Het kost veel ruimte op je harde schijf en het duurt lang om het te downloaden, vooral als je internet niet super snel is.

Deze paper, getiteld "Learning Hierarchical Sparse Transform Coding for 3DGS Compression", komt met een slimme oplossing om die wereld veel lichter te maken, zonder dat het er minder mooi uitziet.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zware Koffer"

Huidige methoden om deze 3D-werelden te comprimeren (kleiner maken), doen alsof ze een zware koffer inpakken door alleen de inhoud te "knijpen" (kwantiseren) of onnodige ballonnen te verwijderen (pruning). Ze proberen de rest van de informatie zo slim mogelijk te verpakken met een ingewikkelde "verzegeling" (een entropie-coder).

De analogie: Stel je voor dat je een koffer vol met honderd identieke T-shirts moet verpakken. De oude methoden zeggen: "Oké, we vouwen ze heel strak en we hopen dat de postbode (de decoder) ze snel kan uitpakken." Maar ze vergeten dat ze eerst de T-shirts in één grote stapel kunnen vouwen voordat ze de koffer dichtdoen. Daardoor blijft er veel lucht (redundantie) in de koffer zitten, en moet de postbode heel hard werken om alles te ordenen.

2. De Oplossing: Een Slimme "Opvouwmachine" (TTC)

De auteurs van dit paper zeggen: "Wacht even, laten we eerst een slimme machine gebruiken om de ballonnen (de data) te herschikken voordat we ze inpakken."

Ze introduceren een nieuwe manier van werken, genaamd Training-time Transform Coding (TTC).

• Hoe het werkt: In plaats van de ballonnen pas na het trainen van de 3D-wereld te herschikken, leren ze de herschikking (de "transformatie") tijdens het trainen zelf.
• De vergelijking: Het is alsof je niet alleen de koffer inpakt, maar ook de koffer zelf ontwerpt terwijl je de kleding erin doet. De kleding en de koffer passen dan perfect op elkaar. Hierdoor verdwijnt er veel meer "lucht" (redundantie) en wordt de koffer veel lichter.

3. De Twee Trucs van de "Opvouwmachine" (SHTC)

Om dit te doen, hebben ze een speciaal systeem bedacht, genaamd SHTC. Dit systeem werkt in twee lagen, zoals een slimme verpakker:

Laag 1: De "Hoofdlijnen" (KLT)
Eerst kijken ze naar alle ballonnen en zeggen ze: "Welke ballonnen lijken het meest op elkaar?" Ze groeperen ze en vullen de koffer met alleen de belangrijkste ballonnen.

• Analogie: Stel je voor dat je een foto van een bos moet beschrijven. In plaats van elke boom apart te beschrijven, zeg je: "Hier is een groot bos met veel groene bomen." Dat is de basisinformatie. Dit neemt al 80% van de ruimte in beslag, maar het is nog niet perfect.

Laag 2: De "Details" (Neural Refinement)
Omdat je de basisinformatie hebt, zijn er nog een paar kleine details over (bijvoorbeeld: "die ene boom heeft een bruine vlek"). Deze details zijn vaak heel klein en "leeg" (ze hebben veel nulpunten).

• De truc: De auteurs gebruiken een slimme techniek (geïnspireerd op compressed sensing) om alleen die kleine details te coderen. Ze zeggen: "We hoeven niet alles te beschrijven, alleen de plekken waar er iets anders is dan de basis."
• Analogie: Het is alsof je een tekening maakt van een bos, en daarna alleen de kleine krabbeltjes toevoegt waar de vogels zitten. Omdat de meeste van het papier leeg is, kost het heel weinig inkt (data) om die details toe te voegen.

4. Waarom is dit zo goed?

• Snelheid: Omdat de data zo slim is opgevouwen, hoeft de computer die de 3D-wereld weer openmaakt (de decoder) niet meer te worstelen met ingewikkelde puzzels. Het is als het verschil tussen een sleutel die perfect past (snel openen) en een sleutel die je eerst moet bijvijlen (langzaam openen).
• Kwaliteit: De wereld ziet er nog steeds net zo scherp uit als voorheen, maar hij is veel kleiner.
• Efficiëntie: Ze hoeven geen enorme, zware software te sturen om de details te decoderen. De "opvouwmachine" is klein en licht, maar werkt perfect.

Samenvatting in één zin

Deze paper bedacht een manier om 3D-werelden te "leren" hoe ze zichzelf het beste kunnen vouwen voordat ze worden opgeslagen, waardoor ze veel kleiner worden, sneller te downloaden zijn, en er nog steeds prachtig uitzien, net als het verschil tussen een rommelige koffer en een perfect opgevouwen pak.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Learning Hierarchical Sparse Transform Coding for 3DGS Compression" in het Nederlands.

Probleemstelling

3D Gaussian Splatting (3DGS) staat bekend om zijn real-time, hoogwaardige weergave van nieuwe perspectieven, maar de enorme hoeveelheid Gaussische primitieven leidt tot aanzienlijke opslag- en bandbreedte-overhead. Bestaande compressiemethoden voor 3DGS vallen voornamelijk in twee categorieën:

1. Ongestructureerde benaderingen: Pruning (wegsnijden) en quantisatie, die vaak beperkte compressieverhoudingen bieden.
2. Gestructureerde, entropie-gecodeerde pijplijnen: Methoden zoals Anchor-based (bijv. HAC, HAC++) die contextmodellen gebruiken, of Post-training Transform Coding (PTC) die transformaties toepassen op een reeds getraind, vast 3DGS-model.

De kern van het probleem is dat bestaande methoden de neurale analyse-synthese transformatie (een cruciaal onderdeel van geleerde signaalcompressie) vaak negeren of deze loskoppelen van het leerproces.

• Bij Anchor-based methoden wordt redundantie alleen verwijderd door complexe entropiemodellen, wat de decoderingslatentie verhoogt en de rate-distortion (R-D) prestaties beperkt.
• Bij PTC methoden wordt een transformatie na het trainen toegepast op een vast model. Omdat de transformatie en het 3DGS-representatie niet gezamenlijk worden geoptimaliseerd, kunnen ze niet op elkaar inspelen, wat leidt tot suboptimale compressie.

Methodologie: Training-time Transform Coding (TTC)

De auteurs introduceren een nieuw paradigma: Training-time Transform Coding (TTC). Hierbij worden de analyse-synthese transformaties, het 3DGS-representatie en het entropiemodel gezamenlijk geoptimaliseerd onder één unified rate-distortion doelwit. Dit staat in contrast met PTC, waar deze componenten los van elkaar worden behandeld.

Om de uitdagingen van 3DGS (irreguliere data, beperkte parameterbudget voor scene-specifieke transformaties) aan te pakken, stellen de auteurs SHTC (Sparsity-guided Hierarchical Transform Coding) voor. SHTC is ontworpen om parameter- en rekenefficiënt te zijn.

De architectuur van SHTC bestaat uit twee lagen:

1. Laag 1: Basislaag met KLT (Karhunen-Loève Transform)

   • De KLT wordt toegepast op de kanaal-domein (zonder complexe ruimtelijke KNN-grafen, wat trainingstijd bespaart).
   • Doel: Decorrelatie van kanalen en energiecompactie. De energie van het signaal wordt geconcentreerd in een klein aantal "hoofdcoëfficiënten".
   • Alleen de belangrijkste $M$ coëfficiënten worden behouden, gekwantiseerd en gecodeerd. Dit verlaagt de bitrate, maar introduceert truncatiefouten.

2. Laag 2: Verfijningslaag (Neurale Residual Coding)

   • Om de informatieverlies door truncatie te compenseren zonder de bitrate te explodeer, wordt het residu (het verschil tussen het origineel en de basislaag) gecodeerd.
   • Het residu is doorgaans spaars (veel waarden dicht bij nul).
   • De auteurs gebruiken een Compressed Sensing (CS)-geïnspireerde aanpak:
     • Analyse: Het residu wordt geprojecteerd naar een compacte vector van geleerde lineaire metingen.
     • Synthese: Het residu wordt gereconstrueerd met een Deep Unfolding decoder (gebaseerd op ISTA, Iterative Shrinkage-Thresholding Algorithm). Dit is een interpreteerbare neurale architectuur die de iteraties van een optimalisatieprobleem mappet naar een klein aantal netwerklagen. Dit zorgt voor effectieve reconstructie met zeer weinig parameters.

Implementatie:
SHTC wordt geïntegreerd in het HAC (Hash-grid Assisted Context) framework. De transformatieparameters worden meegestuurd in de bitstream, maar dankzij het efficiënte ontwerp is de overhead minimaal.

Belangrijkste Bijdragen

1. Nieuw Paradigma (TTC): De eerste methode die analyse-synthese transformaties, het 3DGS-representatie en het entropiemodel gezamenlijk optimaliseert tijdens het trainen.
2. SHTC Architectuur: Een hiërarchisch, spaarsheid-gestuurd ontwerp dat de voordelen van lineaire transformaties (KLT) combineert met een lichte neurale verfijning. Dit vermijdt de hoge kosten van ruimtelijke grafen en zware MLP's.
3. Efficiëntie: De methode introduceert een zeer klein aantal extra parameters (slechts ~1.154 netto parameters bovenop HAC) terwijl het de R-D prestaties aanzienlijk verbetert.
4. Snelheid: Door de transformatie de complexiteit van het signaal te laten verwijderen, kunnen er eenvoudigere en snellere entropiemodellen worden gebruikt, wat de decoderingslatentie verlaagt.

Resultaten

De auteurs evalueren hun methode op diverse grote datasets (Mip-NeRF360, Tanks&Temples, DeepBlending, etc.) en vergelijken deze met state-of-the-art (SOTA) methoden zoals HAC++, ContextGS, CAT-3DGS en post-training methoden.

• Rate-Distortion (R-D) Prestaties: SHTC behaalt een aanzienlijke verbetering in PSNR bij gelijke bestandsgrootte, of een kleinere bestandsgrootte bij gelijke kwaliteit.
  • T.o.v. HAC++: Gemiddeld -20% tot -25% BD-rate verbetering (betere compressie).
  • T.o.v. ContextGS: Tot wel -49% BD-rate verbetering.
  • T.o.v. HAC: Tot wel -64% BD-rate verbetering.
• Decoderingstijd: De methode biedt een uitstekende afweging tussen BD-rate en decoderingstijd. Het is aanzienlijk sneller dan methoden zoals ContextGS en CAT-3DGS, terwijl het beter presteert dan HAC++.
• Parameter Overhead: In tegenstelling tot methoden die grote MLP's gebruiken, is de parameteroverhead van SHTC verwaarloosbaar.
• Visuele Kwaliteit: Visuele vergelijkingen tonen aan dat SHTC artefacten (zoals "floaters" en vlekken) beter onderdrukt en fijnere details behoudt dan concurrenten.

Betekenis en Impact

Dit paper markeert een verschuiving in de 3DGS-compressielandschap. Het bewijst dat het gezamenlijk leren van transformaties en representatie (TTC) superieur is aan het toepassen van vaste transformaties na het trainen (PTC) of het alleen maar complexer maken van entropiemodellen.

De voorgestelde SHTC-architectuur biedt een blauwdruk voor het ontwerpen van lage-complexiteit neurale codecs. Door gebruik te maken van inductieve bias (spaarsheid) en deep unfolding, kan men hoge compressieprestaties behalen zonder zware rekenlast of grote modelgroottes. Dit maakt 3DGS-compressie praktischer voor toepassingen met beperkte bandbreedte, zoals Virtual Reality (VR), augmented reality en het streamen van complexe 3D-scènes.