💻 computer science

3D Gaussian Accelerated Ray Tracing: Fast training through particle-based backward propagation

Dit artikel introduceert 3DGART, een praktisch trainingsframework dat 3D Gaussian ray tracing versnelt door de backward propagatie te reorganiseren van een pixel-centrische naar een primitief-centrische aanpak, waardoor atomische competitie wordt geëlimineerd en een versnelling van 3–4× wordt bereikt terwijl hoogwaardige, volledig via ray tracing gerenderde beelden mogelijk worden gemaakt.

Oorspronkelijke auteurs: Laurent Vit, Oliver Batchelor, Richard Green

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Laurent Vit, Oliver Batchelor, Richard Green

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je door een foto kunt lopen, om een hoekje kunt kijken of dichter bij een boom kunt stappen, en de scène met perfect realisme verandert, precies zoals in het echte leven. Jarenlang hebben computerwetenschappers gejaagd op deze droom van "novel view synthesis", waarbij ze probeerden computers te leren de driedimensionale structuur van een scène te begrijpen vanuit een plat pakket aan afbeeldingen. Een van de meest succesvolle recente benaderingen houdt in dat een scène niet wordt gerepresenteerd als een solide object of een complex neuraal netwerk, maar als een wolk van miljoenen piepkleine, vage vlekken. Deze vlekken, gevormd als ellipsen, dragen informatie over kleur en transparantie. Door deze vlekken op een scherm te projecteren en ze met elkaar te mengen, kunnen computers afbeeldingen creëren die zo scherp en snel zijn dat ze in realtime bekeken kunnen worden. Deze methode, bekend als Gaussian Splatting, heeft de manier waarop we 3D-omgevingen reconstrueren gerevolueerd, waardoor het mogelijk is om een eenvoudige video bijna onmiddellijk om te zetten in een navigeerbare 3D-ruimte.

Deze snelheid gaat echter gepaard met een compromis. De standaardmethode leunt op een techniek geleend uit videogames, waarbij de computer benadert hoe deze vlekken er vanuit het perspectief van de camera uitzien op een plat scherm. Hoewel dit ongelooflijk snel is, heeft deze schermgebaseerde aanpak moeite met de complexe fysica van licht. Het kan niet gemakkelijk omgaan met reflecties die van een glanzend oppervlak afketsen, licht dat door glas buigt, of de manier waarop schaduwen vallen wanneer een object een lichtstraal blokkeert. Om dit op te lossen, hebben onderzoekers een ander pad bewandeld: in plaats van de vlekken op een scherm te benaderen, lieten ze virtuele lichtstralen door de scène reizen en direct de vlekken raken. Deze "ray tracing"-methode is fysiek accuraat en behandelt reflecties en schaduwen prachtig, maar heeft een fatale zwakte: het is extreem traag om te trainen. Het op deze manier creëren van een scène kost uren of zelfs dagen, wat het onbruikbaar maakt voor veel praktische toepassingen. De vraag bleef: konden we de fysieke nauwkeurigheid van ray tracing behouden zonder het snelheid voordeel op te offeren dat de oorspronkelijke methode zo populair maakte?

Een team onderzoekers van de Universiteit van Canterbury in Nieuw-Zeeland heeft een manier gevonden om deze kloof te overbruggen. Ze ontwikkelden een nieuw systeem genaamd 3D Gaussian Accelerated Ray Tracing, of 3DGART, dat het trainen van deze nauwkeurige, ray-traced scènes snel genoeg maakt om praktisch bruikbaar te zijn. De doorbraak kwam niet voort uit het sneller laten reizen van de stralen of het vinden van een betere manier om ze van objecten te laten afketsen. In plaats daarvan ontdekte het team dat de flessenhals niet lag in hoe de computer naar de scène keek, maar in hoe de computer leerde van zijn fouten. In de standaardbenadering, wanneer de computer probeert de afbeelding te verbeteren, kijkt hij naar de uiteindelijke foto pixel voor pixel. Als één vage vlek bijdraagt aan de kleur van duizenden verschillende pixels, proberen duizenden computerprocessors diezelfde vlek op exact hetzelfde moment bij te werken. Dit veroorzaakt een enorme verkeersopstopping in het geheugen van de computer, waarbij de processors in de rij moeten wachten om hun wijzigingen door te voeren, wat alles tot een kruipend tempo vertraagt.

De onderzoekers realiseerden zich dat de oplossing lag in het omdraaien van het proces. In plaats van duizenden processors te laten vechten om dezelfde vlek, organiseerden ze het werk zo dat elke processor de volledige verantwoordelijkheid neemt voor één specifieke vlek en alle pixels die deze binnen een klein deel van de afbeelding raakt. Ze bouwden een tijdelijk opslagsysteem dat de noodzakelijke gegevens groepeert op basis van deze vlekken in plaats van door de pixels op het scherm. Deze verandering transformeert de chaotische verkeersopstopping in een soepele, georganiseerde lopende band. Elke processor verzamelt de informatie die hij nodig heeft voor zijn toegewezen vlek, berekent de noodzakelijke aanpassingen en werkt de instellingen bij zonder ooit op anderen te hoeven wachten. Het is een verschuiving van een verspreid, competitief proces naar een gestructureerd, coöperatief proces.

De resultaten van deze reorganisatie zijn opmerkelijk. Bij tests op complexe buitenlocaties, zoals een geparkeerde fiets in een tuin, trainde de nieuwe methode de scène ongeveer vier keer sneller dan de vorige beste ray-tracing benadering. Belangrijker nog, het werd niet alleen sneller; het produceerde ook kwalitatief betere afbeeldingen. Omdat het systeem niet langer gebruik hoefde te maken van shortcuts of compromissen om snelheid te winnen, kon het de volledige, accurate fysica van het licht behouden. De resulterende scènes vertoonden scherpere details en meer realistisch licht dan de oudere, snellere methoden die vertrouwden op schermbenaderingen. De onderzoekers ontdekten ook dat de nieuwe methode meer computergeheugen gebruikt tijdens het trainingsproces, maar dat deze geheugenkosten een tijdelijke afweging zijn die verdwijnt zodra de scène voltooid is. Aan het einde van de training is het uiteindelijke model net zo efficiënt om te draaien als de originele snelle methoden, maar het draagt de superieure visuele getrouwheid van een volledig ray-traced wereld met zich mee.

Dit werk suggereert dat de toekomst van 3D-reconstructie niet vereist dat men moet kiezen tussen snelheid en nauwkeurigheid. Door te heroverwegen hoe computers hun leerproces organiseren, heeft het team aangetoond dat we beide kunnen hebben. De methode opent de deur naar het creëren van zeer realistische, interactieve 3D-omgevingen die complexe effecten zoals reflecties en schaduwen bevatten, terwijl de training plaatsvindt binnen een tijdskader dat zinvol is voor echt gebruik. Het transformeert een proces dat ooit te traag was om praktisch te zijn naar een proces dat klaar is voor de volgende generatie virtuele realiteit, digitale tweelingen en meeslepende media, waarmee bewezen wordt dat de snelste weg vooruit soms niet is om harder te duwen, maar om beter te organiseren.

Technische Samenvatting: 3D Gaussian Accelerated Ray Tracing (3DGART)

1. Probleemstelling

Hoewel 3D Gaussian Splatting (3DGS) zichzelf heeft gevestigd als een dominante paradigma voor real-time novel view synthesis, introduceert de afhankelijkheid van screen-space rasterisatie fundamentele beperkingen. Deze omvatten projectiefoutjes, view-afhankelijke sorteerartefacten, aliasing en een beperkte ondersteuning voor secundaire straleffecten (reflecties, brekingen, schaduwen).

Gaussian Ray Tracing (bijv. 3DGRT) adresseert deze problemen door expliciete ray-primitive intersecties te evalueren, wat een conceptueel schonere formulering biedt die perspectief-correcte zichtbaarheid en complexe lichttransport ondersteunt. Echter, ray-traced Gaussian-methoden hebben rasterisatie in de praktijk niet kunnen vervangen vanwege de evenredig hoge trainingstijden.

De auteurs identificeren dat de primaire bottleneck niet de ray-traversal zelf is, maar de structuur van de backward propagation. Bestaande differentiabele ray-tracing pipelines maken gebruik van een pixel-centrische formulering:

Elke thread verwerkt een straal (ray) en accumuleert gradiënten naar de parameters van de geïntersecteerde primitives.
Omdat een enkele primitive vaak zichtbaar is over vele pixels, proberen duizenden threads gelijktijdig dezelfde geheugenlocaties bij te werken.
Dit resulteert in ernstige atomic contention (atomaire concurrentie) en thread-serialisatie, waardoor de backward pass de dominante computationele kosten wordt en alle winst die is behaald met efficiënte ray traversal absorbeert.

2. Methodologie

Het artikel presenteert 3DGART (3D Gaussian Accelerated Ray Tracing), een framework dat de backward pass reorganiseert van een pixel-centrische scatter-operatie naar een particle-centrische (primitive-centrische) gather-achtige berekening.

Kernconcept: Particle-Centric Backpropagation

In plaats van het eigendom van gradiënt-accumulatie toe te wijzen aan pixels (die updates naar gedeelde primitives verspreiden/scatteren), wijst 3DGART het eigendom toe aan primitives over lokale regio's van de afbeelding (tiles).

Forward Pass: Blijft een standaard hardware-versneld ray-traced proces.
Backward Pass: Elke thread is verantwoordelijk voor een enkele primitive binnen een specifieke screen-space tile. De thread iterereert over de pixels die door die primitive worden gedekt binnen de tile, verzamelt de noodzakelijke tussenliggende waarden (gather), accumuleert lokale gradiënten in registers en voert een enkele atomaire update uit naar de globale primitive parameters.

Belangrijke Technische Componenten

A. Perspectief-correcte Screen-Space Bounds

Om efficiënt te bepalen welke pixels worden beïnvloed door elke primitive zonder opnieuw rays te tracen, berekent het systeem conservatieve, perspectief-correcte screen-space Axis-Aligned Bounding Boxes (AABB) voor elke Gaussian.

Deze bounds worden afgeleid met behulp van de affine transformatie die de genormaliseerde Gaussian-ruimte naar de wereldruimte mapt en de camera-projectiematrix.
Dit definieert de set pixels die met de primitive kunnen interageren, wat consistentie garandeert met de affine transformatie van de ray tracer.

B. Compact Intermediate Buffer (LT Buffer)

Een compact intermediate buffer slaat de geaccumuleerde kleur ( $L \in \mathbb{R}^3$ ) en transmissie ( $T \in \mathbb{R}$ ) waarden op die vereist zijn voor backpropagation.

Geheugenindeling: De buffer gebruikt een primitive-major lay-out. Voor elke primitive zijn de entries gegroepeerd per tile en vervolgens per lokale pixel.
Access Pattern: Deze lay-out zorgt ervoor dat tijdens de backward pass, reads voor een specifieke primitive-tile pair contigu (opeenvolgend) in het geheugen zijn, terwijl de forward pass collision-vrije writes behoudt.
Adressering: Een globaal adres wordt berekend via een prefix sum over geprojecteerde footprints, waarbij het adres wordt gedecomposed in een primitive base offset, een tile-lokale offset en een pixel-lokale offset.

C. Tile-Primitive Mapping

Om de backward pass te faciliteren, wordt tijdens de preprocessing een mapping geconstrueerd:

Tile-Primitive Paren: Elke primitive emitteert een paar $(tileID, primitiveID)$ voor elke tile waar zijn AABB footprint overlap vertoont.
Radix Sort: Deze paren worden gesorteerd op $tileID$, waardoor alle bijdragende primitives voor elke tile worden gegroepeerd.
Tile Offset Table: Een prefix sum over het aantal primitives per tile stelt de backward pass in staat om snel de lijst van primitives voor een gegeven tile op te halen.

D. Executie Strategie

De backward pass lanceert één CUDA block per screen-space tile (bijv. $8 \times 8$ tiles).
Threads binnen een block itereren over de lijst van primitives voor die tile.
Elke thread verwerkt één primitive, accumuleert gradiënten over de door hem gedekte pixels, en voert een finale atomaire update uit.
Hybride Aanpak: Om VRAM-gebruik te verminderen, wordt een hybride schema voorgesteld waarbij kleurgradiënten (de primaire bron van atomaire concurrentie, vooral voor Spherical Harmonics) de particle-centrische formulering gebruiken, terwijl overige termen de pixel-centrische aanpak behouden. Dit vermindert het geheugengebruik met een factor 4 ten koste van een lichte prestatie-trade-off.

3. Belangrijkste Bijdragen

Identificatie van de Bottleneck: Het artikel identificeert de atomaire concurrentie in de pixel-centrische backward pass als de primaire hindernis die voorkomt dat ray-traced Gaussian-training praktisch bruikbaar is.
Intermediate Buffer Design: Een compacte intermediate buffer lay-out gebaseerd op perspectief-correcte geprojecteerde bounds, wat efficiënte opslag en ophalen van differentiatiewaarden mogelijk maakt.
Particle-Centric Backpropagation: Een nieuw backward propagation schema gebaseerd op tile-primitive mapping dat de gradiënt-accumulatie transformeert van een door concurrentie zware scatter-operatie naar een gestructureerd gather-achtig proces.
Prestatie Validatie: Demonstratie dat 3DGART significante versnellingen (tot $4\times$ ) bereikt ten opzichte van bestaande ray-traced baselines, terwijl de reconstructiekwaliteit wordt verbeterd en de trainingstijden van ray-traced methoden in de range van rasterisatie-gebaseerde methoden worden gebracht.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Mip-NeRF 360, Tanks&Temples en Deep Blending datasets met een NVIDIA RTX 4090.

Trainingssnelheid:
- Op Mip-NeRF 360 bereikt 3DGART een $3.51\times$ versnelling ten opzichte van een per-pixel baseline met $1.0$ miljoen primitives en $3.10\times$ met $2.0$ miljoen primitives.
- Vergeleken met 3DGRT (de state-of-the-art volledig ray-traced aanpak), is 3DGART ongeveer $4\times$ sneller (bijv. het reduceren van de trainingstijd van ~62 minuten naar ~12 minuten op de Bicycle scène).
- De backward pass, die voorheen 81–86% van de iteratietijd innam bij pixel-centrische benaderingen, is gereduceerd tot een duur die vergelijkbaar is met of sneller dan de forward pass.
Reconstructiekwaliteit:
- 3DGART bereikt een hogere PSNR, SSIM en lagere LPIPS scores vergeleken met 3DGRT.
- In tegen tegenstelling tot 3DGRT, dat vertrouwt op compromissen (kortere Gaussian kernels, striktere opacity cutoffs, beperkte ray intersecties) om concurrentie te mitigeren, behoudt 3DGART de volledige ray-traced Gaussian formulering zonder deze heuristieken.
Geheugen Schaalbaarheid:
- Het geheugengebruik van de LT buffer schaalt lineair met het aantal primitives en het totaal aantal pixels.
- Voor standaard resoluties (tot ~1.5 megapixel) past de extra geheugenoverhead binnen de capaciteiten van moderne GPU's.
- De hybride aanpak maakt training op hogere resoluties mogelijk (bijv. 4K) door het VRAM-verbruik met een factor 4 te verminderen, zij het met een lichte reductie in versnelling.

5. Betekenis en Claims

Het artikel claimt dat 3DGART volledig ray-traced Gaussian training praktisch maakt. Door de backward pass te herstructureren naar een primitive-centrisch model, elimineert de methode de ernstige atomaire concurrentie die ray-traced methoden voorheen dwong om te vertrou $n$ op de nauwkeurigheid verminderende heuristieken.

De betekenis ligt in:

Unificatie: Het maakt een verenigde representatie mogelijk voor primaire zichtbaarheid, reflecties, brekingen en schaduwen zonder de efficiëntie van de training op te offeren.
Kwaliteit-Snelheid Trade-off: Het bereikt trainingssnelheden die concurrerend zijn met rasterisatie-gebaseerde pipelines, terwijl de superieure visuele getrouwheid en fysieke correctheid van ray tracing behouden blijven.
Schaalbaarheid: Het demonstreert dat ray-traced Gaussian velden kunnen schalen naar grote scènes en hoge aantallen primitives zonder dat de backward pass een computationele bottleneck wordt.

De auteurs erkennen beperkingen met betrekking tot niet-perspectivische cameramodellen (bijv. fisheye) vanwege de afhankelijkheid van perspectief-correcte projectie en de geheugentrade-off die nodig is voor training op hoge resoluties, en stellen dit voor als gebieden voor toekomstig werk.