💻 computer science

VkSplat: High-Performance 3DGS Training in Vulkan Compute

Het artikel presenteert VkSplat, de eerste volledig op Vulkan gebaseerde trainingspijplijn voor 3D Gaussian Splatting die state-of-the-art prestaties bereikt met een 3,3× snelheidswinst en 33% minder VRAM-verbruik ten opzichte van CUDA+PyTorch-baselines, terwijl tegelijkertijd cross-vendor GPU-compatibiliteit wordt gewaarborgd.

Oorspronkelijke auteurs: Jingxiang Chen, Mohamed Ibrahim, Yang Liu

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingxiang Chen, Mohamed Ibrahim, Yang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een verbluffende, fotorealistische 3D-wereld te bouwen met miljoenen kleine, gloeiende, vlezige ballonnen (genaamd "Gaussians"). Dit is wat 3D Gaussian Splatting (3DGS) doet. Het is een populaire manier om 3D-scènes te creëren uit foto's, maar tot nu toe was het bouwen van deze werelden als het proberen een meesterwerk te schilderen met een traag, zwaar penseel dat alleen werkt op één specifiek computermerk (NVIDIA).

Het artikel introduceert VkSplat, een nieuw gereedschap dat fungeert als een supersnel, universeel penseel. Het bouwt deze 3D-werelden veel sneller, gebruikt minder geheugen en werkt op bijna elke grafische kaart, niet alleen die van NVIDIA.

Hier is hoe ze dit deden, uitgelegd met alledaagse analogieën:

1. Het Probleem: De "Verkeersopstopping" en de "Exclusieve Club"

De Verkeersopstopping: Op de oude manier van het bouwen van deze 3D-scènes moest de computer elke afzonderlijke pixel controleren tegen elke afzonderlijke ballon om te zien of ze elkaar raakten. Dit veroorzaakte een enorme verkeersopstopping waar duizenden werknemers (computerdraden) allemaal tegelijk probeerden op hetzelfde klembord te schrijven, waardoor ze op elkaar moesten wachten.
De Exclusieve Club: De beste gereedschappen voor deze taak waren geschreven in een taal (CUDA) die alleen werkt op NVIDIA-grafische kaarten. Als je een AMD- of Intel-kaart had, zat je buitengesloten of moest je een veel langzamere, onhandige versie gebruiken.

2. De Oplossing: VkSplat's "Universele Gereedschapskist"

De auteurs bouwden VkSplat met behulp van Vulkan, een universele taal die met bijna alle grafische kaarten (NVIDIA, AMD, Intel, enz.) even goed communiceert. Ze vertaalden niet alleen de oude code; ze herbouwden de motor van de grond af om uitzonderlijk efficiënt te zijn.

3. De Geheime Ingrediënten (De Optimalisaties)

A. De "Perfecte Kaart" (Tile Culling)

Oude Manier: Stel je een bezorger voor die elk huis op een straat controleert om te zien of ze een pakket hebben, zelfs als het huis duidelijk aan de andere kant van de stad ligt. Dit kost tijd.
VkSplat-manier: Ze gebruiken een "scan-line"-methode. Het is alsof je een perfecte, strakke doos om de ballon trekt en alleen de huizen controleert die de doos daadwerkelijk raakt. Ze berekenen dit wiskundig zodat er geen fouten zijn (geen controle van huizen die er niet zijn, en geen missen van huizen die er wel zijn). Dit stopt de verkeersopstopping voordat deze begint.

B. De "Slimme Teamleider" (Adaptive Scheduling)

Oude Manier: Stel je een fabriek voor waar elke werknemer een vast aantal taken krijgt toegewezen, ongeacht hoeveel taken er daadwerkelijk wachten. Sommige werknemers zitten nietsdoen terwijl anderen overbelast zijn.
VkSplat-manier: Ze gebruiken een "slimme teamleider" die de werklijn in de gaten houdt. Als een specifiek gebied veel ballonnen heeft, wijst de leider meer werknemers toe aan die plek. Als er weinig zijn, wijst hij er minder toe. Ze hebben zelfs een "gokkersstrategie" (Thompson sampling) die tijdens het trainen verschillende werkplannen probeert om de absoluut snelste manier te vinden om de klus te klaren voor die specifieke scène.

C. De "One-Stop Shop" (Fused Operations)

Oude Manier: Stel je een kok voor die groenten snijdt, ze in een kom doet, naar de koelkast loopt om kruiden te halen, terugloopt, ze mengt en dan naar het fornuis loopt. Dit houdt veel lopen in (het verplaatsen van data in en uit het geheugen).
VkSplat-manier: Ze bouwden een keuken waar snijden, mengen en koken in één enkele beweging plaatsvinden. Ze combineren de "wiskunde van de camera" (projectie) en de "leerstap" (optimizer) tot één enkele stap. Dit betekent dat de data nooit het "keukentafelblad" (geheugen) hoeft te verlaten, wat enorme hoeveelheden tijd en ruimte bespaart.

D. De "Slimme Sortering" (32-bit Sorting)

Oude Manier: Het sorteren van miljoenen items vereist meestal het opschrijven van zeer lange, gedetailleerde adressen (64-bit getallen) voor elk item.
VkSplat-manier: Ze realiseerden zich dat ze kortere, slimmere adressen (32-bit getallen) konden gebruiken die toch alles in de juiste volgorde houden. Het is alsof je een postcode gebruikt in plaats van een volledig straatadres om post te sorteren; het is sneller en neemt minder ruimte in beslag, zonder verlies aan nauwkeurigheid.

4. De Resultaten: Sneller, Slanker en Universeel

Het artikel testte dit nieuwe gereedschap tegen de huidige gouden standaard (GSplat) op een NVIDIA RTX 3090-kaart:

Snelheid: Het was 3,3 keer sneller. Als de oude manier 23 minuten duurde, duurde VkSplat ongeveer 7 minuten.
Geheugen: Het gebruikte 33% minder videogeheugen (VRAM). Dit is als het passen van een enorme verhuiswagen in een compacte auto.
Kwaliteit: De uiteindelijke 3D-afbeeldingen zagen er exact hetzelfde uit als de hoge-kwaliteitsstandaard.
Compatibiliteit: Ze testten het op een AMD-kaart (Radeon RX 7800 XT). Het werkte! Hoewel het langzamer was dan op NVIDIA (vanwege hardwareverschillen in hoe data wordt verplaatst), bewees het dat het gereedschap werkt over verschillende merken, waardoor de "alleen-NVIDIA"-barrière wordt doorbroken.

Samenvatting

VkSplat is een nieuwe, sterk geoptimaliseerde engine voor het creëren van 3D-werelden. Het vervangt de trage, exclusieve en geheugenhongerige methoden van het verleden door een snel, universeel en efficiënt systeem. Het is als het upgraden van een paard-en-wagen die alleen over kasseien rijdt naar een hogesnelheidstrein die op elk spoor rijdt, waardoor je drie keer sneller op je bestemming bent terwijl je minder bagage meeneemt.

1. Probleemstelling

Ondanks de snelle adoptie van 3D Gaussian Splatting (3DGS) voor hoogwaardige synthesese van nieuwe weergaven, wordt de praktische implementatie gehinderd door twee hoofdbeperkingen:

Prestatieknelpunten: Bestaande trainingspijplijnen zijn vaak suboptimaal in snelheid en geheugengebruik, met name voor grote scènes. Belangrijke knelpunten zijn vals-positieve tegelintersecties tijdens het sorteren, atomische concurrentie tijdens achterwaartse rasterisatie en inefficiënt geheugenbeheer in optimalisatoren (bijv. PyTorch's Adam).
Hardware-lock-in: De meeste state-of-the-art implementaties vertrouwen sterk op het CUDA-ecosysteem en PyTorch, waardoor training beperkt blijft tot NVIDIA-GPU's. Dit beperkt de toegankelijkheid voor gebruikers met AMD-, Intel- of mobiele GPU's.
Fragmentatie: Eerdere pogingen om cross-vendor API's (zoals Vulkan) te gebruiken, hebben ofwel alleen rasterisatie aangepakt (niet end-to-end training) of vertrouwen op PyTorch voor de trainingslus, waardoor CUDA-afhankelijkheden niet volledig worden geëlimineerd.

2. Methodologie

De auteurs presenteren VkSplat, een volledig end-to-end 3DGS-trainingspijplijn die volledig is geïmplementeerd in Vulkan Compute. Het systeem is gebouwd op de Slang-shadingtaal (gericht op Vulkan) om cross-vendor compatibiliteit te waarborgen terwijl hoge prestaties worden behouden.

De kernmethodologie omvat een volledige herschrijving van de 3DGS-pijplijn met specifieke architecturale wijzigingen:

Volledige Vulkan Compute: De gehele pijplijn, van initialisatie en verdichting tot optimalisatie, draait op de GPU zonder CPU-bijsturing of PyTorch-afhankelijkheden.
Slang-backend: Het gebruik van Slang stelt de code in staat om meerdere backends te targeten, hoewel de huidige implementatie zich richt op Vulkan.

3. Belangrijkste Technische Bijdragen

Het paper beschrijft vijf belangrijke technische optimalisaties die VkSplat in staat stellen om CUDA-gebaseerde baselines te overtreffen:

A. Volledige Tegels Culling via Scan-Line Intersection

Probleem: Bestaande methoden (bijv. [KKLD23], [RSP∗24]) genereren vals-positieve tegelintersecties (het controleren van tegels die de Gaussian niet daadwerkelijk overlappen), wat tijd verspillen bij sorteren en rasterisatie.
Oplossing: VkSplat gebruikt een scan-line-formulering om exacte intersecties te berekenen. Door de Gaussian te behandelen als een ellips en gesloten-vorm intervallen te berekenen voor intersecterende rijen/kolommen, genereert het systeem een nauwkeurige lijst van tegel-diepteparen.
Impact: Elimineert vals-positieven zonder een aparte culling-pass te vereisen, wat VRAM-gebruik en sorteer-overhead reduceert.

B. Adaptieve Rasterisatie Achterwaarts

Probleem: Standaard per-pixel achterwaartse passes veroorzaken hoge atomische concurrentie bij het updaten van Gaussian-gradiënten.
Oplossing: De auteurs implementeren twee strategieën en gebruiken een Thompson sampling-scheduler om dynamisch de snelste te selecteren op basis van de scène:
1. Per-Tegel Parallelisme: Eén thread-block per tegel met dynamisch aangepaste Gaussian-batchgroottes (geoptimaliseerd naar $S = \sqrt{NP}$ ) om latentie te minimaliseren.
2. Gedeeld Geheugen-optimalisatie: Een twee-passen aanpak (voorwaartse pass berekent transmissie in gedeeld geheugen; achterwaartse pass accumuleert gradiënten per Gaussian) om thread-divergentie te minimaliseren.
Impact: Vermindert atomische concurrentie aanzienlijk en verbetert thread-uitbating.

C. Gefuseerde Projectie Achterwaarts en Optimalisator

Probleem: Standaard implementaties slaan gradiënten apart op en gebruiken PyTorch's Adam, wat leidt tot onnodige geheugenvoetafdrukken en kernel-aanroepen.
Oplossing: De projectie-achterwaartse pass en de Adam-optimalisator zijn gefuseerd tot één enkele kernel.
- Waarden en gradiënten voor schalen en opaciteiten worden direct getransformeerd tussen log/logit-ruimte binnen de kernel.
- Sferische Harmonische (SH) coëfficiënten worden opgeslagen in een kolomgeoriënteerd formaat dat is uitgelijnd met subgroup-groottes (128-bit waarden) om geheugencoalescing te verbeteren.
Impact: Elimineert intermediaire geheugenslag voor gradiënten en reduceert de overhead van kernel-aanroepen.

D. 32-bit Tegel-Diepte Sorteren

Probleem: Vulkan's native sorteren is vaak trager dan CUDA's geoptimaliseerde ingebouwde functies.
Oplossing: In plaats van 64-bit sleutels te gebruiken (32-bit Tegel-ID + 32-bit Diepte), gebruiken de auteurs 32-bit sleutels. Ze mapping de diepte $z$ naar een bereik waar alleen de onderste 23 mantissen-bits van een FP32-vlotten variëren, en packen de Tegel-ID in de hogere bits.
Impact: Maakt efficiënt 32-bit sorteren op Vulkan-hardware mogelijk zonder in te leveren op dieptenauwkeurigheid of beeldkwaliteit.

E. Volledig Gefuseerde Verlies-Gradiënt Evaluatie

Oplossing: Een enkele kernel berekent de gewogen som van L1- en SSIM-verliezen en hun gradiënten direct.
Optimalisatie: Referentieafbeeldingen worden opgeslagen als UINT8 RGBA (vermijding van FP32-conversie), en alpha-masking wordt verwerkt met bijna geen overhead.
Impact: Verwijdert intermediaire reductiestappen en geheugenlay-out-conversies (channel-last naar channel-first).

4. Resultaten

De auteurs hebben VkSplat geëvalueerd op 7 scènes uit de Mip-NeRF 360-dataset tegen de GSplat-baseline (een toonaangevende CUDA+PyTorch implementatie) op een NVIDIA RTX 3090.

Prestaties:
- Snelheid: Bereikte een 3,3× snelheidswinst ten opzichte van de GSplat-baseline (bijv. 412s vs. 1384s voor standaard verdichting).
- VRAM: Verminderde het geheugengebruik met 33% (3,01 GiB vs. 4,56 GiB).
- Granulariteit: VkSplat was sneller in elke individuele pijplijnfase (Projectie, Tiling, Rasterisatie, Verlies, Optimalisator).
Kwaliteit:
- Beeldkwaliteitsmetrieken (PSNR, SSIM, LPIPS) waren identiek aan de baseline, wat bevestigt dat de optimalisaties de fideliteit niet in gevaar hebben gebracht.
Cross-Vendor Compatibiliteit:
- Succesvol getraind op een AMD Radeon RX 7800 XT.
- Hoewel AMD overall trager was (1201s vs. 575s op NVIDIA), leverde het consistente kwaliteitsmetrieken en VRAM-gebruik op. Het prestatieverschil werd voornamelijk toegeschreven aan langzamere host-naar-device geheugenoverdrachten op AMD, wat ruimte suggereert voor verdere hardware-specifieke tuning.

5. Betekenis

Eerste End-to-End Vulkan 3DGS: Dit is de eerste volledig-Vulkan-gebaseerde 3DGS-trainingspijplijn die state-of-the-art prestaties bereikt, waardoor het CUDA-monopolie wordt doorbroken.
Hardware-onafhankelijkheid: Door PyTorch- en CUDA-afhankelijkheden te verwijderen, stelt VkSplat 3DGS-training mogelijk op AMD-, Intel- en mobiele GPU's, waardoor toegang tot hoogwaardige 3D-reconstructie wordt gedemocratiseerd.
Prestatieleiderschap: Tegen-intuïtief presteert de Vulkan-implementatie beter dan de sterk geoptimaliseerde CUDA-baseline, wat bewijst dat zorgvuldige low-level GPU-optimalisatie (gefuseerde kernels, precieze culling, adaptieve planning) zelfs op niet-NVIDIA-hardware winst kan opleveren.
Uitbreidbaarheid: Het gebruik van Slang suggereert dat de pijplijn eenvoudig kan worden overgebracht naar andere backends zoals Metal, DirectX of WebGPU, waardoor het ecosysteem verder wordt verbreed.

Beperkingen: De huidige implementatie mist enkele "productieklare" functies die te vinden zijn in volwassen trainers, zoals correctie van blootstelling, dieptetoezicht, batching en multi-GPU-training. De kernarchitectuur is echter ontworpen om deze functies te accommoderen.