MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging

Probleemstelling

Multimodale 3D-medische beeldvorming (zoals echografie, MRI en CT) is essentieel voor niet-invasieve anatomische visualisatie en chirurgische planning. De huidige uitdagingen liggen in:

1. Ruwe reconstructie: Traditionele methoden (zoals marching cubes) lijden vaak onder connectiviteitsartefacten en zijn beperkt door resolutie en segmentatiefideliteit.
2. Interpolatie tussen frames: Bij sequentiële 2D-planaire doorsneden (in plaats van volumetrische tomografie) is het moeilijk om nauwkeurige interpolatie tussen de slices te realiseren, vooral bij ruwe data of grote afstanden tussen de frames (sparse sampling).
3. Beperkingen van bestaande AI-modellen:
   • Implicit Neural Representations (INRs) bieden hoge fideliteit maar zijn rekenintensief, moeilijk te interpreteren en lastig handmatig te bewerken.
   • Pure Gaussian Splatting (GS) is efficiënt en expliciet, maar was tot nu toe niet optimaal aangepast voor de specifieke eisen van medische sequentiële data (ruis, ontbrekende frames, noodzaak aan geometrische continuïteit).

Methodologie: MedGS

MedGS is een nieuw framework dat Gaussian Splatting (GS) combineert met een multi-task learning strategie om zowel frame-interpolatie als segmentatie (oppervlakte-reconstructie) tegelijkertijd op te lossen.

Kerncomponenten:

1. Unificatie van Geometrie:
   • Het model gebruikt een collectie van 3D Folded-Gaussians (gebaseerd op het VeGaS-model) die een gedeelde geometrie delen.
   • Elke Gaussische primitief heeft een positie ($m$), covariantie ($\Sigma$), en tijdsafhankelijke vervormingsfuncties ($a, f$) die niet-lineaire ruimtelijke en temporele veranderingen vastleggen.
2. Dual-Color Architectuur (Multi-task):
   • Hoewel de geometrie gedeeld wordt, heeft elke Gaussische primitief twee aparte kleur-kanalen:
     • $c_{img}$: Reconstructeert de grijswaarde-intensiteit van de medische scan (voor frame-interpolatie).
     • $c_{seg}$: Reconstructeert een binaire bezettingsmasker (voor segmentatie en mesh-extractie).
   • Deze koppeling zorgt ervoor dat de geometrische structuur die de organen begrenst in de segmentatietak, identiek is aan de structuur die de visuele textuur genereert in de interpolatietak.
3. In-Between Frame Regularization (IBFR):
   • Om overfitting op ruis te voorkomen en de geometrie te regulariseren, genereert het model synthetische tussenvoegsels ($I_{t\alpha}$) tussen consecutive frames.
   • Een verliesfunctie ($L^*_{interp}$) dwingt de Folded-Gaussians om soepele overgangen tussen slices te modelleren, wat essentieel is bij schaarse input.
4. Mesh Extractie:
   • Na training wordt een continue 3D-scalarveld gegenereerd via de $c_{seg}$-tak.
   • Een Marching Cubes-algoritme wordt toegepast op dit super-opgeloste masker om een hoogwaardig 3D-mesh te extraheren.

Varianten:

• MedGS: Volledig model (interpolatie + segmentatie).
• MedGSi: Alleen interpolatie (geen maskers beschikbaar).
• MedGSs: Alleen segmentatie (alleen maskers beschikbaar, minder robuust in gebieden met laag contrast).

Belangrijkste Bijdragen

1. Eerste GS-framework voor sequentiële medische data: MedGS past Gaussian Splatting succesvol toe op 3D-anatomische reconstructie vanuit 2D-planaire doorsneden.
2. Multi-task Regularisatie: Door interpolatie en segmentatie te koppelen via een gedeelde geometrie, verbetert het model de kwaliteit van de oppervlakte-extractie, zelfs bij zeer schaarse of ruwe inputdata.
3. Expliciete en Bewerkbare Representatie: In tegenstelling tot INRs, biedt MedGS een expliciete representatie die direct bewerkbaar is en efficiënt trainbaar is (ca. 20 minuten per object).
4. Robuustheid bij Sparse Sampling: Het model behoudt geometrische continuïteit waar decoupled methoden vaak falen.

Resultaten

De prestaties zijn getest op datasets met prostaat-echografie, MRI (hersenen, hart, longen, nieren) en CTA (aorta).

• Interpolatie (MRI):
  • MedGS overtreft lineaire interpolatie en optische flow-methoden aanzienlijk op PSNR en SSIM (bijv. 33.52 PSNR vs. 32.70 voor lineair bij elke 2e frame).
  • Visueel behoudt MedGS scherpe anatomische grenzen, terwijl baselines vervaging of vervorming vertonen.
• Mesh Reconstructie:
  • Op de prostaat-dataset behaalde MedGS de laagste Chamfer Distance (CD) en 95e percentiel Hausdorff Distance (HD95) vergeleken met baselines zoals Poisson-reconstructie, FUNSR en ISO-surface extractie.
  • De dual-task versie (MedGS) presteerde beter dan de single-task variant (MedGSs), wat de meerwaarde van de gezamenlijke optimalisatie bevestigt.
• Klinische Toepassingen:
  • Het model levert nauwkeurige 3D-locaties en morfologie voor niertumoren en abdominale aorta-aneurysma's, wat direct ondersteuning biedt bij chirurgische planning (bijv. keuze tussen partiële of radicale nefrectomie).

Significantie en Conclusie

MedGS introduceert een krachtige, efficiënte en interpreteerbare methode voor longitudinale ziektebeoordeling en anatomische visualisatie. Door de beperkingen van traditionele methoden en implicit neural representations te overwinnen, biedt het:

• Hoge fideliteit: Zelfs bij beperkte inputframes.
• Directe manipulatie: Expliciete Gaussische primitieven maken interactieve bewerkingen mogelijk.
• Klinische relevantie: Het ondersteunt nauwkeurige chirurgische planning en het monitoren van ziekteprogressie (bijv. tumorgroei of aneurysma-uitbreiding).

Het paper concludeert dat MedGS een waardevol hulpmiddel is voor klinisch onderzoek, hoewel de output als beslissingsondersteuning moet worden gezien en niet als vervanging voor expert klinische beoordeling. De broncode is openbaar beschikbaar gesteld.