A 129FPS Full HD Real-Time Accelerator for 3D Gaussian Splatting

Deze paper presenteert een energiezuinige hardware-accelerator in TSMC 28-nm technologie die 3D Gaussian Splatting in real-time rendert met 129 FPS in Full HD, dankzij een geoptimaliseerde pijplijn en compressietechnieken die de modelgrootte met 51,6 keer verminderen en een aanzienlijk betere energie-efficiëntie en doorvoersnelheid bieden dan eerdere ontwerpen.

De kern

Stel je voor dat je een bril draagt die je laat zien hoe de wereld eruit zou zien als je door een magische lens keek. Dit is de droom van Augmented Reality (AR) en Virtual Reality (VR): een digitale wereld die perfect samensmelt met de echte wereld. Maar er is een groot probleem: de technologie om deze werelden te creëren is vaak te zwaar, te groot en te hongerig naar stroom om in zo'n kleine bril te passen.

Deze paper introduceert een oplossing die dit probleem oplost. Het is een combinatie van een slimme "verklein-methode" en een speciaal gebouwd "snijmes" in de vorm van computerchips. Laten we het uitleggen met een paar alledaagse vergelijkingen.

1. Het Probleem: De Zware Koffer

Stel je voor dat je een 3D-wereld (zoals een stad of een bos) wilt opslaan op je telefoon of in je VR-bril. De huidige technologie, genaamd 3D Gaussian Splatting (3DGS), werkt als een enorme verzameling van miljoenen kleine, zwevende verfdeppen (gaussianen). Elke verfdepp heeft informatie over kleur, vorm en positie.

• Het probleem: Om een heel landschap weer te geven, heb je miljoenen van deze deppen nodig. Het is alsof je probeert een heel bos te vervoeren door elke boom los in een gigantische koffer te doen. De koffer is zo zwaar (gigabytes aan data) en zo groot, dat hij niet in je zak past. Als je probeert dit op een kleine chip te draaien, wordt je apparaat heet en gaat de batterij in een minuut leeg.

2. De Oplossing Deel 1: De Slimme Verpakker (Compressie)

De auteurs hebben een nieuwe manier bedacht om deze "bos" in een veel kleinere koffer te proppen, zonder dat je de bomen mist. Ze noemen dit hun compressie-pijplijn.

• Het snoeien (Pruning): Stel je voor dat je een boomgaard hebt. Je kijkt naar de camera: welke bomen zie je eigenlijk niet? Die achter de heuvel of die volledig in de schaduw staan? Die verwijder je. De auteurs doen dit slim: ze verwijderen eerst de onzichtbare bomen, kijken hoe het eruitziet, en doen dit stap voor stap. Zo houden ze alleen de essentiële bomen over.
• Het vereenvoudigen (SH Degree Reduction): Elke boom heeft een heel gedetailleerd beschrijving van hoe het licht erop valt (van alle kanten). De auteurs zeggen: "We hoeven niet elke hoek te beschrijven." Ze maken de beschrijving simpeler, net zoals je een gedetailleerde tekening vervangt door een schets.
• Het samenvatten (Vector Quantization): In plaats van voor elke boom een unieke kleurcode te gebruiken, maken ze een "palet" met standaardkleuren. Als twee bomen bijna dezelfde kleur hebben, krijgen ze dezelfde code. Dit is alsof je in plaats van duizenden unieke verfpotjes, maar 100 standaardpotjes gebruikt.

Het resultaat: Ze hebben het model 51,6 keer kleiner gemaakt! Het is alsof je een zware koffer vol met losse blokken hebt omgebouwd tot een compacte, opvouwbare tas. De kwaliteit is nog steeds prachtig, maar het kost veel minder ruimte.

3. De Oplossing Deel 2: De Speciale Snijmachine (De Hardware)

Zelfs met een kleinere koffer is het nog steeds moeilijk om die miljoenen deppen in één oogopslag te tekenen op je scherm. Normale computers (zoals GPUs in je laptop) zijn te groot en verbruiken te veel stroom voor een VR-bril.

De auteurs hebben een speciale chip ontworpen die precies doet wat nodig is, en niets anders.

• De "Niet-Verkeerde-Weg"-Filter: Voordat de chip begint te rekenen, kijkt hij eerst: "Is dit punt zichtbaar?" Zo niet, dan gooit hij het direct weg. Dit bespaart enorm veel tijd, net als een tolpoort die alleen auto's laat passeren die echt naar de bestemming gaan.
• De "Nul-Rekenmachine": Bij het projecteren van 3D naar 2D zijn er veel berekeningen waarbij je met een "nul" vermenigvuldigt. In een normale computer doe je die berekening toch (en dat kost tijd). Deze chip is slim genoeg om te zeggen: "Wacht, dit is nul, ik spring er gewoon overheen." Dit bespaart 53% van de rekentijd.
• De "Geen-Vergelijking"-Sorteerder: Om de afbeelding scherp te krijgen, moeten de deppen in de juiste volgorde worden gesorteerd (wie ligt voor wie?). Normaal is dit een chaotisch proces waarbij de computer veel moet vergelijken. Deze chip gebruikt een slimme truc die geen vergelijkingen nodig heeft, maar gewoon in een vaste, snelle volgorde sorteert. Het is alsof je in plaats van elke persoon in een rij te laten vergelijken met de ander, gewoon een vaste, automatische loopband gebruikt.

4. Het Resultaat: Een Magische Bril

Door deze twee dingen te combineren (de super-slimme verpakking en de efficiënte snijmachine), hebben ze iets geweldigs bereikt:

• Snelheid: Ze kunnen een Full HD-beeld (zoals een hoogwaardige TV) tekenen met 129 beelden per seconde. Dat is razendsnel en zorgt voor een vloeiende ervaring zonder dat je duizelig wordt.
• Energie: De chip verbruikt heel weinig stroom (ongeveer 0,2 Watt). Dat is minder dan een klein LED-lampje.
• Grootte: De chip is zo klein dat hij in een VR-bril past (0,66 mm²).

Conclusie in het kort:
De auteurs hebben een manier gevonden om een gigantische, zware 3D-wereld te verkleinen tot een handzame koffer, en ze hebben een speciaal gereedschap gebouwd om die koffer razendsnel en met weinig stroom te openen. Hierdoor wordt het eindelijk mogelijk om realistische, virtuele werelden te dragen in een lichte bril, zonder dat je batterij direct leeg is of je hoofd heet wordt. Het is de sleutel tot de toekomst van AR en VR.

Technische samenvatting

Probleemstelling

3D Gaussian Splatting (3DGS) is een populaire methode voor het synthetiseren van nieuwe gezichtspunten en het realiseren van hoogwaardige real-time rendering. Echter, de toepassing van 3DGS op draagbare apparaten voor Augmented Reality (AR) en Virtual Reality (VR) wordt beperkt door drie hoofdfactoren:

1. Hoge rekenkosten en bandbreedte: Het renderen van grote, onbeperkte scènes vereist het verwerken van miljoenen Gaussische punten, wat zwaar is voor de beperkte rekenkracht van mobiele SoCs.
2. Groot geheugenverbruik: Originele 3DGS-modellen hebben een opslagruimte in de orde van gigabytes, wat onhaalbaar is voor apparaten met beperkt RAM.
3. Onvoldoende hardware-efficiëntie: Bestaande software-optimalisaties zijn gericht op GPU's en niet op hardwarevriendelijke implementaties. Bestaande hardware-accelerators zijn vaak te groot, verbruiken te veel stroom en kunnen geen Full HD-resolutie (1080p) bij hoge frame rates (120+ FPS) halen.

Het doel van dit onderzoek is het ontwikkelen van een laagvermogen, kostenefficiënte hardware-accelerator die Full HD-rendering in real-time (129 FPS) mogelijk maakt, gekoppeld aan een geavanceerde compressiestrategie.

Methodologie

De auteurs hanteren een co-design-aanpak waarbij modelcompressie en hardware-architectuur gezamenlijk worden geoptimaliseerd.

1. Modelcompressie (Software-niveau)

Om de werklast en het geheugenverbruik drastisch te verminderen, wordt een verbeterde versie van LightGaussian gebruikt. De pijplijn omvat:

• Iteratief Pruning met Fine-tuning: In plaats van één agressieve stap, wordt het model stapsgewijs gesneden (Gaussian pruning) met tussenliggende fine-tuning-fases om visuele kwaliteit te behouden.
• Progressieve SH-gradenreductie: De Sferische Harmonischen (SH) worden geleidelijk gereduceerd via distillatie, wat een soepelere afweging tussen kwaliteit en compressie biedt dan een eenmalige reductie.
• Vector Quantization (VQ): Alle SH-coëfficiënten en kleuren worden onderworpen aan vector quantization.
• Resultaat: Een 51,6x compressie van het modelgrootte (van gigabytes naar enkele megabytes) met slechts een minimale kwaliteitsverlies van 0,743 dB PSNR.

2. Hardware-architectuur

De accelerator is ontworpen in een TSMC 28-nm proces en gebruikt een frame-level pijplijn met gemengde granulariteit:

• Preprocessing (Punt-gebaseerd):
  • Near-plane Culling: Verwijdert 56% van de onzichtbare Gaussische punten voordat ze worden verwerkt, wat geheugentoegang en berekeningen bespaart.
  • Zero-Jacobian Skipping: Omdat de Jacobiaan-matrix bij projectie veel nullen bevat, worden deze vermenigvuldigingen overgeslagen. Dit reduceert het aantal Processing Elements (PE's) met 63% en de berekeningen met 53%.
  • Early Termination: Stop het α-blending-proces zodra de transmissie onder een drempelwaarde zakt, wat ongeveer 24% van de resterende berekeningen bespaart.
• Rendering (Tile-gebaseerd):
  • Vergelijkingsvrije Sortering: In plaats van een complexe globale sortering, wordt een tile-gebaseerde (16x16 pixels), vergelijkingloze sortering gebruikt. Dit sorteert punten binnen een tile op basis van <tile-id, depth> sleutels. Dit biedt deterministische latentie en elimineert de noodzaak voor dure vergelijkingen.
  • Pijplijn: De architectuur combineert puntverwerking in de eerste stadia met tile-verwerking in de renderingsstadia, wat de hardwarebenutting maximaliseert.

Belangrijkste Bijdragen

1. Nieuwe Compressie-techniek: Een geoptimaliseerde compressiepijplijn die een compressieverhouding van 51,6x bereikt (tegenover 15x bij LightGaussian) met minimale kwaliteitsverlies, specifiek afgestemd op hardware-beperkingen.
2. Efficiënte Hardware-ontwerp: Een accelerator die zero-Jacobian-multiplicaties overslaat en een vergelijkingloze sorteeralgoritme implementeert, wat leidt tot een aanzienlijke vermindering van het oppervlak en het stroomverbruik.
3. Recordprestaties: De eerste implementatie die Full HD (1080p) rendering haalt bij 129 FPS op een enkel oog (of 129 FPS per oog in een stereo-context), met een extreem laag stroomverbruik.

Resultaten

De accelerator is gesynthetiseerd in TSMC 28 nm bij 800 MHz:

• Oppervlak: 0,66 mm² (met 1,14 M gates en 120 kB SRAM).
• Stroomverbruik: 0,219 W.
• Doorvoer: 267,5 Mpixels/s.
• Energie-efficiëntie: 1219 Mpixels/J.
• Vergelijking met state-of-the-art:
  • 5,98x kleiner in oppervlak dan eerdere 3DGS-accelerators.
  • 5,94x hogere doorvoer.
  • 7,5x hogere energie-efficiëntie.
  • Bereikt 129 FPS bij 1080p, terwijl eerdere werken vaak beperkt waren tot lagere resoluties of FPS-waarden.

Betekenis

Dit werk is een doorbraak voor het deployen van 3DGS op edge-apparaten zoals AR/VR-headsets. Door de combinatie van extreme modelcompressie en een hardware-architectuur die specifiek is ontworpen om onnodige berekeningen en geheugentoegang te elimineren, maken de auteurs het mogelijk om complexe, onbeperkte 3D-scènes in real-time te renderen binnen de strenge vermogens- en oppervlaktebeperkingen van draagbare apparaten. Dit opent de deur voor hoogwaardige, real-time 3D-visualisaties in consumentenproducten zonder afhankelijkheid van zware cloud-computing of grote batterijen.