Diff2DGS: Reliable Reconstruction of Occluded Surgical Scenes via 2D Gaussian Splatting

Diff2DGS is een tweestapsframework dat diffusiemodellen en 2D Gaussian Splatting combineert om betrouwbare, real-time 3D-reconstructies van verduisterde chirurgische scènes te genereren met verbeterde geometrische nauwkeurigheid en visuele kwaliteit.

De kern

Stel je voor dat je een chirurg bent die een operatie uitvoert met een robotarm. De camera van die robot kijkt naar binnen, maar vaak staat het instrument (zoals een tang of een schaar) precies in de weg. Het is alsof je door een raam kijkt, maar er een grote vlek op zit.

Vroeger probeerden computers om een 3D-kaart van die operatie te maken, maar op plekken waar het instrument zat, was het beeld wazig of miste het helemaal. Alsof je een puzzel probeert te maken, maar de stukjes voor de vlek ontbreken.

Diff2DGS is een nieuwe, slimme manier om dit probleem op te lossen. Het werkt in twee stappen, net als het restaureren van een oude, beschadigde foto:

Stap 1: De "Magische Verwijderaar" (Inpainting)

Eerst kijkt het systeem naar de video van de operatie. Het ziet waar het instrument zit en zegt: "Oké, dit stukje is bedekt."
In plaats van te proberen de 3D-kaart te maken terwijl het instrument er nog in staat, gebruikt het een soort AI-magie (een zogenaamd diffusiemodel).

• De analogie: Stel je voor dat je een schilderij hebt waarop iemand met een zwarte viltstift een deel heeft overgetekend. De AI kijkt naar de rest van het schilderij en naar de vorige en volgende frames (beelden) in de video. Dan "droomt" de AI wat er waarschijnlijk onder die zwarte vlek zit. Omdat het een video is, weet de AI ook hoe het weefsel beweegt, dus het tekent het niet zomaar op, maar maakt het levend en consistent.
• Het resultaat: De robot ziet nu alsof het instrument er nooit was. Het weefsel eronder is perfect zichtbaar.

Stap 2: De "Dynamische Klei" (2D Gaussian Splatting)

Nu het beeld schoon is, moet het systeem een 3D-kaart maken. Normale methodes gebruiken vaak zware, statische blokken (zoals LEGO-stenen) om een 3D-ruimte te bouwen. Maar weefsel is zacht en beweegt; het is meer als klei die je kneedt.

• De analogie: Stel je voor dat je een poppetje van klei maakt. Als je de camera verplaatst, moet het poppetje niet stug blijven staan, maar moet het meebewegen alsof het echt is.
• De truc: Diff2DGS gebruikt een techniek genaamd 2D Gaussian Splatting. Denk hierbij niet aan stevige blokken, maar aan duizenden kleine, zwevende drukkers (zoals regenbuien of deeltjes stof) die samen een beeld vormen.
• De LDM (Learnable Deformation Model): Dit is het slimme deel. Het systeem leert hoe de klei (het weefsel) zich vervormt. Als de chirurg duwt, leert de computer hoe die duw zich door het weefsel voortplant. Hierdoor blijft de 3D-kaart scherp en accuraat, zelfs als het weefsel beweegt.

Waarom is dit zo belangrijk?

Bij eerdere methodes kon het gebeuren dat de 3D-kaart er mooi uitzag als je vanuit één hoek keek, maar als je de camera een beetje draaide, zag je dat de diepte (hoe ver iets weg is) helemaal niet klopte. Het was alsof je een platte tekening van een berg zag die er 3D uitzag, maar als je eromheen liep, bleek het een muur te zijn.

Diff2DGS zorgt ervoor dat:

1. Geen gaten meer zijn: Instrumenten worden netjes "weggepoetst" en het weefsel eronder wordt logisch ingevuld.
2. De diepte klopt: Het systeem leert niet alleen hoe het eruitziet, maar ook hoe diep het zit. Dit is cruciaal voor robots die echt operaties moeten uitvoeren zonder per ongeluk te diep te snijden.
3. Het snel is: Het werkt bijna in real-time, wat essentieel is tijdens een operatie.

Kortom: Diff2DGS is als een super-slimme assistent die eerst de obstakels uit het beeld verwijdert en daarna een perfecte, beweeglijke 3D-kaart tekent van het binnenste van het lichaam, zodat de chirurg en de robot precies weten wat ze doen, zelfs als het weefsel beweegt of bedekt wordt.

Technische samenvatting

Probleemstelling

Real-time reconstructie van vervormbare chirurgische scènes is cruciaal voor robotchirurgie, chirurgische navigatie en automatisering. Bestaande methoden, zoals NeRF (Neural Radiance Fields) en recente 3D Gaussian Splatting (3DGS)-varianten, kampen echter met twee fundamentele beperkingen in chirurgische contexten:

1. Oclusie door instrumenten: Chirurgische instrumenten verbergen weefsel, wat leidt tot artefacten en onvolledige reconstructies in deze gebieden. Bestaande methoden maskeren deze gebieden vaak tijdens de training, wat resulteert in "gaten" of hallucinaties in het eindbeeld.
2. Gebrek aan dieptenauwkeurigheid: Veel methoden optimaliseren uitsluitend voor beeldkwaliteit (PSNR, SSIM). Dit betekent niet per se dat de 3D-geometrie of dieptekartografie accuraat is. Bestaande benchmarks (zoals EndoNeRF en StereoMIS) missen vaak een 3D-ground truth, waardoor dieptenauwkeurigheid moeilijk te valideren is.

Methodologie: Diff2DGS

De auteurs stellen Diff2DGS voor, een tweestapskader dat oclusies oplost en de geometrische nauwkeurigheid verbetert door 2D Gaussian Splatting (2DGS) te combineren met een leerbaar vervormingsmodel.

1. Stap 1: Diffusie-gebaseerde Inpainting van Chirurgische Instrumenten

• Doel: Het verwijderen van chirurgische instrumenten uit de video en het reconstrueren van het onderliggende weefsel met hoge ruimtelijk-temporele consistentie.
• Techniek: Er wordt een diffusiemodel gebruikt (gebaseerd op Stable Diffusion) dat werkt als een pre-processing stap. In plaats van oclusies te maskeren tijdens de 3D-reconstructie, worden deze gebieden eerst "ingepaint" (hersteld).
• Temporele Consistentie: Om hallucinaties te voorkomen en consistentie in lange video's te garanderen, wordt een temporele attentie-mechanisme (Temporal Attention) geïntegreerd. Dit zorgt ervoor dat informatie uit opeenvolgende frames wordt gebruikt om het weefsel onder de instrumenten realistisch te reconstrueren.
• Training: Het model wordt getraind met een door maskers gewogen L2-verlies in de latente ruimte, waarbij de nadruk ligt op het nauwkeurig herstellen van de verduisterde gebieden.

2. Stap 2: 2D Gaussian Splatting met Leerbaar Vervormingsmodel (LDM)

• Doel: Het reconstrueren van de dynamische, vervormende chirurgische scène.
• Techniek: In plaats van standaard 3D-Gaussians, gebruikt het framework 2D-Gaussians (2DGS). 2D-Gaussians zijn efficiënter voor het modelleren van oppervlakken en randen.
• Learnable Deformation Model (LDM): Omdat chirurgisch weefsel vervormt, wordt een LDM geïntroduceerd. Dit model gebruikt leerbare parameters (centrum, rotatie, schaal) die afhankelijk zijn van de tijd ($t$). Het model schat de vervorming van het weefsel tijdens instrumentinterventies door een lineaire combinatie van leerbare basisfuncties.
• Adaptieve Diepteverlies-Weighting: Om de geometrische nauwkeurigheid te verbeteren, wordt een adaptieve diepteverlies-strategie (Adaptive Depth Loss) toegepast. In plaats van een vaste weging tussen kleurverlies (RGB) en diepteverlies, past het systeem de weging dynamisch aan tijdens het trainingsproces. Dit voorkomt dat het model te vroeg convergeert op kleur ten koste van de diepte, en zorgt voor een betere balans tussen uiterlijk en geometrie.

Kernbijdragen

1. Diff2DGS Framework: Een tweestapskader dat eerst instrumenten inpaint via diffusiemodellen voordat 3D-reconstructie plaatsvindt, wat artefacten in oclusiegebieden drastisch reduceert.
2. 2DGS voor Vervorming: Uitbreiding van 2D Gaussian Splatting naar vervormbaar weefsel via een efficiënt Learnable Deformation Model (LDM), wat superieur is aan zwaardere 4D-varianten.
3. Adaptieve Diepte-Optimalisatie: Een nieuwe loss-functie die dynamisch de weging van diepteverlies aanpast, wat leidt tot nauwkeurigere 3D-geometrie.
4. Uitgebreide Evaluatie: Het paper introduceert een diepgaande evaluatie op het SCARED-dataset (met gestructureerde licht-scan ground truth), wat zeldzaam is in dit domein, en toont aan dat hoge beeldkwaliteit niet automatisch hoge dieptenauwkeurigheid betekent.

Resultaten

Diff2DGS werd getest op drie datasets: EndoNeRF, StereoMIS en SCARED.

• Beeldkwaliteit:
  • Op EndoNeRF bereikte Diff2DGS een PSNR van 38,02 dB (EndoNeRF-Cutting), wat hoger is dan state-of-the-art methoden zoals Deform3DGS (37,33 dB) en SurgicalGS (37,93 dB).
  • Op StereoMIS werd een PSNR van 34,40 dB bereikt, opnieuw een verbetering ten opzichte van concurrenten.
• Geometrische Nauwkeurigheid:
  • Op het SCARED-dataset (met echte 3D-ground truth) presteerde Diff2DGS aanzienlijk beter in oclusiegebieden met een PSNR van 30,53 dB en een RMSE van 8,21 mm, vergeleken met Deform3DGS (RMSE 27,19 mm) en EndoGaussian (RMSE 17,61 mm).
  • De methode toont minder artefacten bij veranderende cameraviewpoints, wat aantoont dat de dieptekartografie robuuster is.
• Snelheid:
  • De rendering-snelheid is real-time (honderden FPS), wat aanzienlijk sneller is dan NeRF-gebaseerde methoden en vergelijkbaar met andere Gaussian Splatting-methoden, maar dan met betere kwaliteit.

Betekenis en Conclusie

Diff2DGS biedt een robuuste oplossing voor de uitdagingen van intraoperatieve 3D-reconstructie. Door de combinatie van diffusiemodellen voor het wegnemen van oclusies en een geavanceerd 2D-Gaussian model voor vervorming, slaagt het framework erin om zowel visuele kwaliteit als geometrische nauwkeurigheid te maximaliseren.

De belangrijkste implicatie is dat optimalisatie voor beeldkwaliteit alleen onvoldoende is voor nauwkeurige 3D-reconstructie; expliciete aandacht voor diepteverlies en oclusie-inpainting is essentieel. Dit werk legt de basis voor betrouwbaardere robotchirurgie-systemen die in real-time kunnen navigeren in complexe, vervormende chirurgische omgevingen, zelfs wanneer het zicht wordt geblokkeerd door instrumenten.