Monocular Endoscopic Tissue 3D Reconstruction with Multi-Level Geometry Regularization

Deze paper introduceert een nieuwe methode voor monocular 3D-reconstructie van vervormbaar endoscopisch weefsel die, gebaseerd op 3D Gaussian Splatting met multi-niveau geometrische regularisatie, zowel real-time rendering als gladde, fysiek plausibele oppervlakken mogelijk maakt.

De kern

🏥 De 3D-kaart van een operatie: Een nieuwe manier om weefsel te zien

Stel je voor dat een chirurg een operatie uitvoert met een camera (een endoscoop) diep in het lichaam. Het weefsel dat ze zien, is zacht, beweegt, rekt uit en verandert van vorm, net als deeg dat wordt gekneed.

Het probleem? De camera ziet maar één kant. Het is alsof je probeert een 3D-beeld van een knuffel te maken terwijl je er maar één kant van kunt zien. Als je dat probeert met oude methoden, krijg je vaak een wazig, onnatuurlijk beeld, of duurt het uren om het te berekenen.

De onderzoekers van HKUST(GZ) hebben een nieuwe manier bedacht om dit op te lossen. Ze noemen het "Monocular Endoscopic Tissue 3D Reconstruction". Laten we het opsplitsen in drie simpele stappen.

---

1. Het probleem: De "Geest" in de machine

Vroeger gebruikten computers methoden die lijken op het maken van een foto uit duizenden kleine puntjes.

• Oude methode (NeRF): Dit is alsof je een prachtige 3D-sculptuur maakt uit klei. Het ziet er prachtig uit, maar het duurt uren om te drogen (rekenen) en je kunt er niet snel mee spelen. Voor een operatie is dat te traag; de chirurg wil het nu zien.
• Nieuwe methode (Gaussian Splatting): Dit is sneller, alsof je duizenden kleine, glimmende balletjes (Gaussians) in de lucht gooit die samen een beeld vormen. Het is supersnel, maar deze balletjes hebben een nadeel: ze zweven soms los van elkaar. Het resultaat lijkt dan op een wazige mist in plaats van een strakke huid.

2. De oplossing: Een "Gipsverband" en "Elastiekjes"

De onderzoekers hebben een slimme truc bedacht om de snelheid van de balletjes te combineren met de stevigheid van een sculptuur. Ze gebruiken twee hoofdideeën:

A. Het "Gipsverband" (Surface-Aware Reconstruction)

Stel je voor dat je eerst een papieren model (een mesh) maakt van het weefsel, net als een gipsverband om een gebroken been.

• In plaats van dat de duizenden balletjes vrij rondzweven, plakken ze vast aan dit papieren model.
• De analogie: Het is alsof je een muur van blokken bouwt, maar je zorgt ervoor dat elke blok perfect op de lijnen van je schets past. Zo krijg je een gladde, strakke oppervlakte zonder die rare "wazige" plekken.
• Ze gebruiken ook een slimme "inpainting"-truc (een soort Photoshop voor video) om de delen van het beeld die door het operatiemateriaal worden bedekt, automatisch in te vullen met wat er zou moeten zijn.

B. De "Elastiekjes" (Semi-Rigidity Deformation)

Nu het weefsel beweegt (zoals een hartslag of een chirurg die trekt aan een orgaan), moeten de balletjes meebewegen. Maar hoe weet je welke balletjes samen horen?

• Lokale stijfheid (Local Rigidity): Denk aan een groepje mensen die hand in hand lopen. Als één persoon stapt, bewegen de anderen in de buurt mee, maar ze houden hun vorm vast. De computer kijkt naar speciale "landmerken" (zoals bloedvaatjes) en zorgt dat de balletjes in de buurt daarvan stijf blijven, alsof ze aan elkaar gekleefd zijn.
• Globale soepelheid (Global Non-Rigidity): Maar het hele lichaam is niet stijf. Het kan buigen. Daarom gebruiken ze ook "elastiekjes" die zorgen dat de hele groep balletjes soepel meebeweegt zonder uit elkaar te vallen.
• Het resultaat: Het weefsel ziet eruit als echt levend weefsel: het beweegt soepel, maar breekt niet of verandert niet in een vreemde vorm.

3. Waarom is dit zo geweldig?

De onderzoekers hebben hun methode getest en het resultaat is indrukwekkend:

• Snelheid: Waar oude methoden uren nodig hadden om één beeld te maken, doet dit nieuwe systeem het in 2 minuten. En tijdens de operatie zelf kan het beeld in echt-tijd (meer dan 100 keer per seconde) worden getoond.
  • Vergelijking: Het is het verschil tussen het wachten op een brief per post (oude methode) en het sturen van een WhatsApp-bericht (nieuwe methode).
• Kwaliteit: De beelden zijn scherp, de textuur is realistisch en er zijn geen vreemde zwevende "geesten" (artefacten) meer.
• Kosten: Het heeft veel minder rekenkracht nodig, waardoor het makkelijker is om dit op de apparatuur in een ziekenhuis te installeren.

Conclusie

Kort samengevat: De onderzoekers hebben een manier gevonden om een snel, soepel en realistisch 3D-beeld te maken van zacht weefsel tijdens een operatie. Ze doen dit door de snelheid van moderne technologie te combineren met een slim "gipsmodel" en "elastiekjes" die het weefsel op zijn plaats houden.

Dit betekent dat robotchirurgen in de toekomst een veel beter en sneller beeld hebben van wat er in het lichaam gebeurt, wat leidt tot veiligere en betere operaties.

Technische samenvatting

Probleemstelling

De 3D-reconstructie van chirurgische scènes uit endoscopische video's is cruciaal voor robotondersteunde chirurgie, maar kent aanzienlijke uitdagingen:

1. Deformabiliteit: Chirurgisch weefsel is zacht en ondergaat significante topologische veranderingen (niet-rigide bewegingen), wat complexe dynamische reconstructie vereist.
2. Beperkte perspectieven: Endoscopische camera's bieden vaak slechts één zichtpunt (monoculair of beperkt stereo), wat de beschikbaarheid van 3D-cues beperkt.
3. Occlusies: Chirurgische instrumenten blokkeren regelmatig delen van het weefsel, wat leidt tot onvolledige reconstructies.
4. Bestaande methoden:
   • NeRF-gebaseerde methoden: Leveren vaak hoge kwaliteit, maar zijn te traag voor real-time rendering en vereisen lange trainingstijden.
   • 3D Gaussian Splatting (3DGS): Biedt real-time rendering, maar heeft moeite met het nauwkeurig weergeven van gladde oppervlakken en kan artefacten (zoals "floaters") vertonen bij dynamische, vervormbare scènes.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat gebaseerd is op 3D Gaussian Splatting, verrijkt met multi-level geometry regularization (regulering op meerdere niveaus). De aanpak bestaat uit drie hoofdfasen:

1. Voorbereidende Procedures

• Spatieel-temporele Inpainting: Om occlusies door instrumenten te verhelpen, wordt een op Transformer gebaseerd video-inpainting-model gebruikt. Dit model is fijngefineerd (fine-tuned) op een chirurgische dataset (StereoMIS) om gemaakte gebieden realistisch te reconstrueren op basis van optische stroming (optical flow).
• Sparse Key Point Matching: Met behulp van SIFT (Scale-Invariant Feature Transform) worden belangrijke kenmerken (zoals vaatintersekties) gedetecteerd en getrackt over de frames heen. Deze trajecten dienen als leidraad voor de vervormingsdynamiek.

2. Oppervlakte-bewuste Reconstructie (Surface-Aware Reconstruction)

Om de kwaliteit van het oppervlak te verbeteren en artefacten te voorkomen, wordt een mesh-gebaseerde beperking ingevoerd voor het eerste frame:

• Mesh Generatie: Een statisch NeuS2-model wordt gebruikt om een mesh te reconstrueren uit het eerste frame (gebruikmakend van RGB en dieptekaarten).
• Mesh-beperkte Gaussian Splatting: De 3D Gaussians worden niet willekeurig geplaatst, maar gebonden aan de centroiden van de mesh-driehoeken.
• Regularisatie: Er worden straffen (loss terms) toegevoegd om te voorkomen dat de Gaussians te groot worden of te ver van hun gebonden driehoek verschuiven. Dit zorgt voor een glad, continu oppervlak.

3. Semi-Rigiditeit Vervorming (Semi-Rigidity Deformation)

Voor de vervorming van de volgende frames wordt een hybride aanpak gebruikt om zowel lokale stabiliteit als globale flexibiliteit te waarborgen:

• Lokale Rigiditeit (Local Rigidity): Gebaseerd op de "As-Rigid-As-Possible" (ARAP) methode. In gebieden rond de gedetecteerde key points wordt de vervorming beperkt om lokale stijfheid te behouden (bijv. rond bloedvaten).
• Globale Niet-Rigiditeit (Global Non-Rigidity): Omdat key points niet alles dekken, wordt een "neighborhood similarity loss" gebruikt om aangrenzende Gaussians consistent te laten roteren.
• Isometrie Loss: Om te voorkomen dat elementen op de lange termijn uit elkaar drijven, wordt een loss-term toegevoegd die de onderlinge afstanden tussen Gaussians over de tijd constant houdt.

Belangrijkste Bijdragen

1. Oppervlakte-bewuste Endoscopische Reconstructie: Integratie van RGB, diepte en optische stroming data om consistente en gladde geometrie te bereiken door Gaussians te beperken tot een mesh-oppervlak.
2. Semi-Rigiditeit Vervormingsgids: Een nieuwe methode die lokale stijfheid en globale niet-rigiditeit combineert om fysiek plausibele vervormingen te modelleren en "3D floaters" te elimineren.
3. Multi-Level Regularisatie: Een nieuw raamwerk dat real-time rendering mogelijk maakt met hoge kwaliteit, specifiek ontworpen voor de unieke uitdagingen van zacht, vervormbaar endoscopisch weefsel.

Resultaten

De methode is getest op twee publieke datasets: EndoNeRF (in-vivo prostatectomie) en SCARED (porcine cadaver).

• Kwaliteit: De methode behaalt state-of-the-art resultaten op de belangrijkste metrics:
  • PSNR: ~38.05 (EndoNeRF) en ~28.31 (SCARED), wat hoger is dan concurrenten zoals EndoNeRF, EndoSurf en EndoGaussian.
  • SSIM & LPIPS: Superieure structurele gelijkenis en perceptuele kwaliteit.
• Snelheid:
  • Training: ~2 minuten per frame (vs. uren voor NeRF-methoden).
  • Rendering: Real-time rendering van >100 FPS (in de tabel wordt ~170 FPS vermeld voor EndoGaussian/Ours, terwijl NeRF-methoden vaak <1 FPS zijn).
• Efficiëntie: De methode vereist slechts ~3GB GPU-geheugen, ongeveer een tiende van wat eerdere NeRF-methoden nodig hebben.
• Ablatie Studies: Het verwijderen van de "surface-aware" module of de vervormingsregulering leidt tot een significante daling in kwaliteit (bijv. PSNR daalt van 38.16 naar 33.60 zonder surface-aware), wat de noodzaak van beide componenten bevestigt.

Betekenis en Impact

Dit paper biedt een doorbraak in het veld van robotondersteunde chirurgie door een oplossing te bieden die zowel hoge visuele kwaliteit als real-time prestaties combineert.

• Het overbrugt de kloof tussen de traagheid van NeRF en de oppervlakte-onzekerheid van standaard 3DGS.
• De mogelijkheid om vervormend weefsel realistisch en snel te reconstrueren, kan chirurgen betere 3D-visualisatie bieden tijdens operaties, wat de precisie en veiligheid van ingrepen kan verhogen.
• De lage hardware-eisen maken de technologie toegankelijker voor klinische toepassingen.