Towards Safer Robot-Assisted Surgery: A Markerless Augmented Reality Framework

Technische Samenvatting: Naar een veiligere robot-geassisteerde chirurgie: Een markerloze Augmented Reality Framework

Probleemstelling
Robot-geassisteerde chirurgie (RAS) biedt verbeterde patiëntuitkomsten, maar staat voor aanzienlijke veiligheidsuitdagingen, met name intra-operatieve bloedingen veroorzaakt door de accidentele botsing van chirurgische instrumenten met delicate bloedvaten. Hoewel Augmented Reality (AR) het potentieel heeft om de prestaties van de chirurg te verbeteren door pre-operatieve modellen (afgeleid van CT/MRI) over intra-operatieve beelden te projecteren, kampen huidige implementaties met kritieke beperkingen. Bestaande methoden vertrouwen vaak op handmatige uitlijning, vooraf geïnstalleerde markers of externe hardware (bijv. echografie, projectoren), wat real-time toepassing en generalisatie belemmert. Bovelijk blijft het nauwkeurig lokaliseren van zachte weefsels in de 3D-ruimte om pre-operatieve modellen te registreren zonder externe hulpmiddelen een complexe uitdaging.

Methodologie
De auteurs stellen een markerloos augmented reality framework voor dat is geïntegreerd in de da Vinci Research Kit (dVRK). Het systeem werkt zonder externe markers of apparaten en vertrouwt uitsluitend op stereoscopische endoscopische video en geavanceerde neurale netwerken. De methodologie bestaat uit vier primaire stadia:

1. Systeemkalibratie: Het framework maakt gebruik van de dVRK-kinematica en voert drie kalibratiestappen uit:

   • Camera-kalibratie: Gebruikmakend van de methode van Zhang om intrinsieke en extrinsieke parameters te bepalen voor beeldrectificatie.
   • Hand-Hand Kalibratie: Het vaststellen van de rigide transformatie tussen de linker en rechter end-effectoren met behulp van de methode van Horn.
   • Hand-Oog Kalibratie: Het bepalen van de transformatie tussen de linker end-effector en de linkercamera met behulp van RANSAC.

2. Intra-operatieve Reconstructie en Segmentatie:

   • Stereo Reconstructie: Het stereobeeldpaar wordt gerectificeerd en geresized (1920×1080 naar 640×360). Een stereo reconstructienetwerk schat een dispariteitskaart, die wordt omgezet in een 3D-puntenwolk met behulp van de camera-baseline en brandpuntsafstand.
   • Segmentatie: Een segmentatienetwerk verwerkt het linker gerectificeerde beeld om een binaire masker te genereren dat het bloedvat onderscheidt van de achtergrond.
   • 3D Generatie: De dispariteitspixels die overeenkomen met het gesegmenteerde bloedvat worden geprojecteerd in de 3D-ruimte om de intra-operatieve bloedvat-puntenwolk te reconstrueren.
   • Model Selectie: De auteurs evalueerden 14 stereo reconstructienetwerken en 8 segmentatienetwerken. HSM [14] werd gekozen voor diepteschatting vanwege de balans tussen nauwkeurigheid en inferentiesnelheid, terwijl UNet [23] werd gekozen voor segmentatie op basis van de betrouwbare prestaties in de specifieke fantoomomgeving.

3. Registratie:

   • Een pre-operatief 3D-model (gecreëerd in Blender voor deze studie) wordt geregistreerd op de gereconstrueerde intra-operatieve puntenwolk.
   • Het proces maakt gebruik van een globale registratie met RANSAC voor de initiële uitlijning, gevolgd door een lokale registratie met het Iterative Closest Point (ICP) algoritme voor fijne afstemming.

4. Afstandsdetectie en Visualisatie:

   • Het systeem berekent de minimale afstand tussen de chirurgische instrumenten (gemodelleerd als cilinders op basis van kinematica) en de gereconstrueerde bloedvaten met behulp van een snelle k-nearest-neighbor zoekopdracht.
   • AR Visualisatie: Het pre-operatieve model wordt over de endoscopische beelden geprojecteerd.
   • Veiligheidsfeedback: Twee meters tonen de minimale afstand voor de linker en rechter instrumenten. De kleur van het geprojecteerde model verandert dynamisch op basis van de kleinste afstand (bijv. rood worden bij een hoog risico op nabijheid) om de chirurg te waarschuwen.

Belangrijkste Bijdragen

1. Markerloos AR Framework: Een nieuw systeem dat pre-operatieve modellen visualiseert en minimale afstanden tussen instrumenten en bloedvaten detecteert zonder afhankelijk te zijn van handmatige uitlijning, vooraf geïnstalleerde markers of externe hardware.
2. Uitgebreide Netwerk Evaluatie: Een systematische vergelijking van state-of-the-art stereo reconstructie en segmentatie netwerken om de optimale combinatie te identificeren voor nauwkeurige en snelle 3D-bloedvatreconstructie in medische scènes.
3. Gebruikersstudie met Menselijke Proefpersonen: Een validatiestudie met tien menselijke proefpersonen die een gesimuleerde robot-geassisteerde lymfadenectomie uitvoerden op het dVRK-platform, waarbij standaard endoscopische beelden werden vergeleken met de voorgestelde AR-ondersteunde beelden.

Resultaten

• Framework Prestaties: De volledige pipeline verwerkt frames met ongeveer 6,91 FPS (0,1448s per frame), wat zorgt voor vloeiende visuele feedback. Kalibratiefouten waren minimaal (bijv. registratiefout $E_{regis} \approx 0,43$ cm).
• Bevindingen Gebruikersstudie:
  • Verbetering van Veiligheid: Met AR-ondersteuning nam de minimale afstand ($D_{min}$) tussen instrumenten en vaten aanzienlijk toe van 0,0472 cm naar 0,1864 cm ($p=0,0098$).
  • Reductie van Botsingen: Het aantal botsingen ($N_c$, gedefinieerd als afstand < 0,5 cm voor >1s) nam af van 23,8 naar 13,7 ($p=0,0077$).
  • Geen Extra Belasting: Er waren geen statistisch significante verschillen in het algehele bewegingspad ($Sp$) of de uitvoeringstijd ($T_{exe}$), wat aangeeft dat het framework geen extra fysieke of cognitieve belasting introduceert.
  • Gebruikerstevredenheid: De System Usability Scale (SUS) score verbeterde van 66 (Controle) naar 73 (Experiment), met een significant verschil ($p=0,0104$).

Betekenis en Claims
Het artikel claimt dat het voorgestelde framework de chirurgische veiligheid succesvol verhoogt door real-time visuele feedback te geven over de nabijheid van instrument tot vat, waardoor het risico op botsingen effectief wordt verminderd zonder de operationele efficiëntie in gevaar te brengen. De auteurs benadrukken dat de onafhankelijkheid van het systeem van specifieke apparaten of externe hardware het zeer generaliseerbaar maakt voor andere robotplatforms en chirurgische taken.

De studie erkent beperkingen, waaronder de vereenvoudigde cilindrische modellering van diverse chirurgische instrumenten en het gebruik van een fantoom (droge lab) omgeving in plaats van complexe, dynamische in vivo patiëntweefsels. De auteurs stellen echter dat het framework een flexibele basis biedt voor de integratie van AR in medische robotica om intra-operatieve bloedingen te voorkomen, een risicovolle complicatie. Toekomstig werk wordt gesuggereerd om virtuele restricties (force feedback) te verkennen om de huidige visuele feedbackmechanismen aan te vullen.