💻 computer science

FaCT-GS: Fast and Scalable CT Reconstruction with Gaussian Splatting

Dit paper introduceert FaCT-GS, een versneld en schaalbaar raamwerk voor CT-reconstructie met Gaussische splatting dat door geoptimaliseerde voxelisatie en rasterisatie aanzienlijk sneller is dan bestaande methoden en tevens efficiënte warm-starts of gecomprimeerde representaties van bestaande volumes mogelijk maakt.

Oorspronkelijke auteurs: Pawel Tomasz Pieta, Rasmus Juul Pedersen, Sina Borgi, Jakob Sauer Jørgensen, Jens Wenzel Andreasen, Vedrana Andersen Dahl

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pawel Tomasz Pieta, Rasmus Juul Pedersen, Sina Borgi, Jakob Sauer Jørgensen, Jens Wenzel Andreasen, Vedrana Andersen Dahl

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🏗️ De Grote Uitdaging: Het Bouwen van een 3D-Puzzel

Stel je voor dat je een complexe 3D-puzzel moet reconstrueren van een object (zoals een menselijk lichaam of een machine), maar je hebt slechts een handvol foto's van dat object vanuit verschillende hoeken. Dit is wat er gebeurt bij CT-scans (Computertomografie).

Normaal gesproken gebruiken artsen en ingenieurs oude, betrouwbare methoden om deze puzzel op te lossen. Deze methoden zijn snel, maar de kwaliteit is vaak niet perfect; het resultaat kan wazig zijn of "artefacten" bevatten (zoals vage strepen of ruis).

Aan de andere kant zijn er nieuwe, slimme methoden (zoals NeRF of R2-Gaussian) die een prachtig, haarscherp beeld kunnen maken. Maar deze methoden zijn als een snelle Ferrari die in de modder vastzit: ze zijn zo traag dat ze uren nodig hebben om één scan te maken. Dat is te lang voor een ziekenhuis of een productielijn.

✨ De Oplossing: FaCT-GS (De "Supersnelle" Versie)

De onderzoekers van de Technische Universiteit van Denemarken hebben FaCT-GS bedacht. Je kunt dit zien als het bouwen van een racefiets op basis van die langzame Ferrari. Ze hebben de techniek van "Gaussian Splatting" (een manier om een 3D-ruimte te vullen met duizenden kleine, zwevende ellipsen of "splatjes") volledig opnieuw uitgevonden om hem extreem snel te maken.

Hier zijn de drie belangrijkste innovaties, vertaald naar alledaagse beelden:

1. De "Splatjes" die sneller vliegen (Optimalisatie)

Stel je voor dat je een muur moet beschilderen met duizenden kleine verfdruppels. De oude methoden deden dit alsof ze met een kwastje werkten: ze berekenden elke druppel één voor één, wat veel tijd kostte.
FaCT-GS heeft de kwast vervangen door een luchtkussen. Ze hebben de software zo geoptimaliseerd dat de computer duizenden druppels tegelijk kan berekenen.

Het resultaat: Waar de vorige generatie (R2-Gaussian) nog 9 minuten nodig had voor een standaard scan, doet FaCT-GS dit in 1 minuut en 52 seconden. Bij hogere resoluties (zoals 2000x2000 pixels) is het zelfs 13 keer sneller.

2. De "Warm Start" (Geen koude start meer)

Stel je voor dat je een auto start. Bij een "koude start" moet je de motor eerst opwarmen voordat hij goed loopt. Bij CT-scans betekent dit dat de computer eerst een wazig beeld moet maken voordat hij het kan verbeteren.
FaCT-GS introduceert een "Warm Start".

De analogie: In plaats van te beginnen met een lege doos, geven we de computer een voorgemaakte schets (een "prior"). Stel je voor dat je een nieuwe foto van een bekend gebouw moet maken. In plaats van te beginnen met een leeg canvas, teken je eerst de contouren van het gebouw dat je al kent, en verf je alleen de details bij.
Dit zorgt ervoor dat de computer veel minder tijd hoeft te besteden aan het "zoeken" en direct kan beginnen met het verfijnen van de details.

3. De "Zip-bestand" voor 3D-beelden (Compressie)

Een van de coolste dingen die FaCT-GS doet, is dat het de 3D-gegevens niet opslaat als een gigantisch, zwaar bestand (zoals een stapel duizenden foto's), maar als een compacte verzameling van die zwevende "splatjes".

De analogie: Stel je voor dat je een hele kamer wilt opslaan. In plaats van elke muur, vloer en meubel te fotograferen en die foto's op te slaan, beschrijf je de kamer met een lijstje: "Er staat een rode kist op (x,y,z), een blauwe bal hier, en een groene lamp daar."
Dit lijstje is veel kleiner dan de foto's, maar je kunt er nog steeds een perfect beeld van maken. FaCT-GS kan 3D-scans dus opslaan in een bestand dat kleiner is dan een gecomprimeerde ZIP, zonder veel kwaliteit te verliezen.

🚀 Waarom is dit belangrijk?

Dit onderzoek maakt het mogelijk om CT-scans te gebruiken waar dat nu nog te langzaam of te duur is:

In ziekenhuizen: Artsen kunnen sneller diagnoses stellen, zelfs als er maar weinig straling gebruikt mag worden (omdat de nieuwe methode goed werkt met weinig foto's).
In de industrie: Machines kunnen producten in een fabriek in echt-tijd scannen om fouten te vinden, zonder dat de productielijn stopt.
Voor de toekomst: Het maakt het mogelijk om 3D-beelden te maken van objecten die te groot of te complex zijn voor huidige methoden.

Samenvattend

FaCT-GS is als het geven van een turbo-aandrijving aan een slimme, maar trage robot. Het combineert de snelheid van oude methoden met de kwaliteit van de nieuwste AI-technieken, en levert daarnaast nog een klein, handig bestand op dat makkelijk op te slaan is. Het is een grote stap naar het maken van 3D-scannen zo snel en makkelijk als het nemen van een gewone foto.

Probleemstelling

In X-ray Computertomografie (CT) wordt een 3D-volume gereconstrueerd uit een reeks 2D-projectiebeelden. Bij sparse-view tomografie (weinig projecties) zijn klassieke algebraïsche methoden (zoals FISTA of SIRT) vaak snel maar lijden onder artefacten en verminderde beeldkwaliteit. Moderne, op deep learning gebaseerde methoden (zoals NeRFs) bieden betere kwaliteit, maar zijn computationally zeer duur en traag (vaak 15-30 minuten per scan), wat ze onpraktisch maakt voor klinische of industriële toepassingen.

Recente methoden die Gaussian Splatting (GS) toepassen op CT (zoals R2-Gaussian) hebben een betere kwaliteit-durendheid trade-off bereikt, maar zijn nog steeds niet snel genoeg om een brede overgang van gevestigde algoritmes te motiveren, vooral bij hoge resoluties (1k-2k pixels). De belangrijkste beperkingen zijn de trille uitvoeringstijd en de schaalbaarheid bij toenemende projectie- en volumegrootte.

Methodologie: FaCT-GS

FaCT-GS is een framework voor snelle en schaalbare CT-reconstructie dat gebaseerd is op Gaussian Splatting, maar fundamenteel is geoptimaliseerd voor de specifieke eisen van CT-imaging.

1. Kernarchitectuur en Modellering:

Het volume wordt gemodelleerd als een collectie van leerbare 3D-Gaussians ( $G_i^3$ ), elk met parameters voor dichtheid ( $\rho$ ), middelpunt ( $\mathbf{p}$ ) en covariantie ( $\boldsymbol{\Sigma}$ ).
In tegenstelling tot NeRFs (die view-dependent zijn), is de X-ray attenuatie in CT view-independent. De attenuatie op een punt wordt berekend door de sommatie van de bijdragen van alle Gaussians langs de straal.

2. Initiatie strategieën:

Cold Start: Gaussians worden geïnitieerd op basis van de gradiënt van een lage-kwaliteit FDK-reconstructie (in plaats van puur op intensiteit), zodat Gaussians zich voornamelijk bij hoogfrequente kenmerken bevinden.
Warm Start (Prior): Een nieuwe methode waarbij Gaussians direct worden gefit op een bestaand "prior volume" (bijv. een eerdere reconstructie van hetzelfde object). Dit versnelt de convergentie aanzienlijk.

3. Versnelling van de Pijplijn (CUDA-geoptimaliseerd):
De auteurs hebben de twee grootste performance-bottlenecks van eerdere GS-implementaties aangepakt:

Rasterisatie (X-ray projectie):
- Vervanging van vierkante bounding boxes door rechthoekige, as-gealigneerde boxes die rekening houden met de dichtheid, wat de berekende regio voor anisotrope Gaussians nauwkeuriger maakt.
- Herformulering van de backward pass per Gaussian in plaats van per pixel, wat schrijfrace-voorwaarden (write conflicts) en warp-stalls elimineert.
- Verwijdering van onnodige logica voor view-dependent occlusion (niet relevant voor CT-integratie).
Voxelisatie (Volume reconstructie):
- Voxelisatie is computatievriendelijker gemaakt door de kubische groei van grid-elementen te managen via efficiëntere CUDA-kernels.
- Geïntroduceerde "fused kernels" voor loss-berekeningen (3D SSIM en 3D Total Variation) om geheugentraffic en launch-overhead te verminderen.

4. Optimisatie Lus:
De loss functie combineert L1-verlies, SSIM-verlies (voor structurele gelijkenis) en 3D Total Variation (voor homogeniteit). De Gaussians worden dynamisch aangepast (gepruned, gekloond of gesplitst) via adaptieve controle.

Belangrijkste Bijdragen

FaCT-GS Framework: Een volledig geoptimaliseerde GS-pijplijn specifiek voor CT, die aanzienlijk sneller is dan de State-of-the-Art (SotA) R2-Gaussian.
Schaalbaarheid: De methode schaalt uitstekend met de grootte van de projecties en het output-volume, wat essentieel is voor moderne scanners (1k-2k resolutie).
Warm-start Capability: Introduktie van een efficiënte methode om Gaussians te fiten op bestaande volumes, wat de optimalisatie fungeert als prior en de convergentie versnelt (vergelijkbaar met klassieke algebraïsche methoden).
Compressie: Demonstratie dat de Gaussians kunnen dienen als een compact opslagformaat voor volumetrische data, met een compressieverhouding die vergelijkbaar is met of beter is dan gecomprimeerde JPEG-stacks, maar met behoud van 3D-informatie.

Resultaten

De prestaties zijn getest op diverse datasets (synthetisch en real-world) met variërende projectie-aantallen (25, 50, 75 views) en resoluties (tot 2048x2048).

Snelheid:
- FaCT-GS is >4x sneller dan R2-Gaussian op standaard 512² projecties.
- Op 2k projecties is het >13x sneller.
- Een volledige reconstructie duurt ongeveer 2 minuten (op 75 views van 512²), met competitieve resultaten al na 45 seconden.
- Bij 2048² projecties duurt het slechts ongeveer 4 minuten, terwijl concurrenten veel langer nodig hebben.
Kwaliteit:
- FaCT-GS bereikt de hoogste SSIM-scores en de op één na hoogste PSNR-scores vergeleken met FDK, SIRT, FISTA, IntraTomo, NAF en R2-Gaussian.
- Het overtreft FISTA zowel in snelheid als in reconstructiekwaliteit, wat uniek is voor een leer-gebaseerde methode.
Schaalbaarheid:
- Terwijl de iteratiesnelheid van FISTA en R2-Gaussian sterk afneemt bij grotere volumes, blijft FaCT-GS extreem snel, met een snelheidswinst van 31x ten opzichte van FISTA en 13x ten opzichte van R2-Gaussian op de grootste geteste volumes.
Compressie:
- Gekwantiseerde Gaussians (float16) leveren een opslaggrootte van ~0.84 MB voor een volume, wat beter is dan gecomprimeerde uint8 volumes en vergelijkbaar met JPEG-stacks, maar met een SSIM van 0.976 (zeer hoog).

Significantie

FaCT-GS overbrugt de kloof tussen de hoge kwaliteit van moderne leer-gebaseerde methoden en de praktische snelheidseisen van de CT-gemeenschap.

Praktische Toepasbaarheid: Door reconstructies in minuten (in plaats van uren) mogelijk te maken, opent dit de deur voor time-sensitive toepassingen zoals industriële inspectie in de productielijn of tijdsopgeloste acquisitie.
Efficiëntie: Het vermogen om hoge-resolutie volumes (2k) in enkele minuten te reconstrueren, maakt het een krachtig alternatief voor klassieke algebraïsche methoden, vooral in scenario's met weinig projecties.
Veelzijdigheid: De methode biedt niet alleen snelle reconstructie, maar ook een compacte representatie voor data-opslag en de mogelijkheid om bestaande volumes als prior te gebruiken, wat de integratie in bestaande workflows vergemakkelijkt.

Kortom, FaCT-GS positioneert Gaussian Splatting als een praktische, efficiënte en veelzijdige oplossing voor moderne CT-reconstructie, klaar voor adoptie in real-world scenario's.