Point Cloud Segmentation for Autonomous Clip Positioning in Laparoscopic Cholecystectomy on a Phantom

Technische Samenvatting: Puntenwolksegmentatie voor Autonome Clip-positionering bij Laparoscopische Cholecystectomie

Probleemstelling
Het artikel behandelt de uitdaging van het inzetten van autonome robotische systemen in hoogrisicomgevingen zoals Robot-Assisted Surgery (RAS), specifdic tijdens de fase van het plaatsen van clips bij een laparoscopische cholecystectomie (LC). In deze procedure moeten chirurgische clips met sub-millimeterprecisie op de ductus cysticus en de arteria cystica worden geplaatst (de vaten hebben een diameter van 5 mm, terwijl de clips 6,5 mm breed zijn). De auteurs identificeren drie primaire hindernissen:

1. Precisie versus Interpreteerbaarheid: Generalistische end-to-end benaderingen (bijv. reinforcement learning of directe regressie) missen vaak de vereiste precisie en zijn niet interpreteerbaar, waardoor chirurgen terughoudend zijn om ze te vertrouwen.
2. Dataschaarste: Medische domeinen lijden aan een gebrek aan gelabelde data; het verkrijgen van handmatig gelabelde real-world chirurgische puntenwolken is moeilijk en kostbaar.
3. Sim-to-Real Gap: Traditionele RGB-gebaseerde methoden worstelen met de homogene en spiegelende aard van chirurgische omgevingen, terwijl diepteschatting vanuit standaardcamera's vaak ruisachtig is.

Methodologie
De auteurs stellen een hybride visie-planningsysteem voor dat de voorkeur geeft aan interpreteerbaarheid en precisie boven volledig autonome end-to-end controle. Het systeem werkt op een fysieke fantoom die een gedisseceerde galblaas, ductus cysticus en arteria representeert.

• Visie-pipeline: In plaats van direct 3D-coördinaten te regresseren, behandelt het systeem het probleem als een puntenwolksegmentatietaak.
  • Input: Een kleurloze puntenwolk vastgelegd door een hoogprecisie 3D-camera (Zivid One+ M).
  • Segmentatie: Een PointTransformer-gebaseerd netwerk segmenteert de puntenwolk in doelgebieden (ductus cysticus en arteria).
  • Doelextractie: De gesegmenteerde doelgebieden worden geskeletiseerd en gefit aan B-splines. Drie doelpunten worden uit deze splines afgeleid via interpolatie. Deze aanpak middelt over meerdere punten voor robuustheid en stelt het systeem in staat om een optimaal benaderingshoek te berekenen (tangent aan de spline).
  • Human-in-the-Loop: Een menselijke operator beoordeelt de gegenereerde spline en doelpunten via een UI. De operator kan de posities langs de spline aanpassen of de volgorde van uitvoering wijzigen voordat de robot handelt.
• Bewegingsplanning: Het systeem genereert trajecten in een taakruimte die gedefinieerd wordt door de Remote Center of Motion (RCM) beperking, inherent aan laparoscopische trocars (3 rotaties en 1 translatie). Het traject wordt door de menselijke operator geverifieerd voordat het wordt uitgevoerd.
• Leerstrategie (Adresseren van Dataschaarste):
  • Pre-training: Het model wordt voorgetraind op 128.000 synthetische puntenwolken gegenereerd in Blender. Cruciaal is dat de synthetische data extra semantische klassen bevat (bijv. lever, galblaas, vetweefsel) die niet aanwezig zijn in de uiteindelijke real-world fine-tuning taak, om het model te helpen de scène-structuur te leren.
  • Fine-tuning: Het model wordt gefinetuned op slechts 60 handmatig gelabelde real-world puntenwolken.
  • Logit-Merging: Om de mismatch tussen de 7 klassen in de pre-training en de 3 klassen in de fine-tuning te verwerken, introduceren de auteurs "Logit-Merging", waarbij de logits van niet-doelklassen worden opgeteld vóór de softmax-conversie. Dit bleek beter te presteren dan mergen in de waarschijnlijkheidsruimte.
  • Nieuwe Augmentatie: Twee specifieke augmentatietechnieken zijn ontwikkeld:
    • VariableJitter: Past dynamisch de ruisschaal per puntenwolk aan om de kloof te overbruggen tussen de ruisige synthetische data en de zeer precieze real-world Zivid camera data.
    • RandomPatches: Verwijdert willekeurig patches van punten om occlusies te simuleren (bijv. door de RCM-ring of grijper).

Belangrijkste Bijdragen

1. Eerste Autonome Clip-positioneringsysteem: Het artikel presenteert het eerste robotische systeem dat autonome clip-positionering op een fysieke fantoom in de laparoscopische chirurgie demonstreert.
2. Segmentatie-gebaseerde Targeting: De auteurs demonstreren dat het segmenteren van doelgebieden en het fitten van B-splines superieur is aan directe doelregressie, wat een hogere precisie en interpreteerbaarheid oplevert.
3. Data-efficiënte Technieken: De studie valideert dat pre-training op synthetische data met extra semantische klassen (gemerged via Logit-Merging) de prestaties op kleine real-world datasets aanzienlijk verbetert.
4. Augmentatie-innovaties: De introductie van VariableJitter en RandomPatches laat zien cruciaal te zijn voor het generaliseren over de sim-to-real gap en het omgaan met occlusies.
5. Validatie: Het systeem wordt gevalideerd op een disjoint real-world testset, waarbij ablatie-studies bevestigen dat elke component (pre-training, specifieke augmentaties en architectuurkeuzes) noodzakelijk is.

Resultaten
Het systeem werd geëvalueerd op zes nieuwe galblaas-fantooms met variërende morfologieën die niet tijdens de training gezien waren.

• Doellokalisatie: Het systeem behaalde een succespercentage van 95% in het lokaliseren van doelen binnen een tolerantie van 0,75 mm (de helft van de vrije ruimte tussen het vat en de clip).
• Uitvoering: In real-robot experimenten behaalde het systeem een succespercentage van 100% voor autonome clip-positionering (36/36 clips correct geplaatst).
• Ablatie-bevindingen:
  • Directe doelregressie faalde en behaalde slechts een succespercentage van 1% met een gemiddelde fout van ~5,7 mm.
  • Het verwijderen van pre-training resulteerde in een succespercentage van 7,6%.
  • Het gebruik van "Probability-Merging" in plaats van "Logit-Merging" verlaagde het succespercentage naar 41,4%.
  • Het verwijderen van VariableJitter of RandomPatches verminderde de succespercentages tot respectievelijk ~60% en ~58%.
  • De PointTransformer architectuur presteerde beter dan PointNet++ en Stratified Transformer in deze specifieke scenario's met weinig data.

Betekenis en Claims
De auteurs beweren dat dit werk een belangrijke stap is naar het vertalen van de beloften van machine learning naar de klinische realiteit in de chirurgische robotica. Door van een "black box" end-to-end beleid over te stappen naar een segmentatie-gebaseerde aanpak met menselijk toezicht, voldoet het systeem aan de dubbele eisen van hoge precisie (sub-millimeter nauwkeurigheid) en interpreteerbaarheid (verifieerbare plannen en aanpasbare doelen). Het artikel benadrukt dat hun methode toepasbaar is op andere chirurgische en niet-chirurgische taken die een precieze doelidentificatie en navigatie vereisen, met name in omgevingen met schaarse data.

Erkende Beperkingen
De auteurs merken op dat de hoogprecisie Zivid-camera die gebruikt is te groot is voor klinische inzetbaarheid. Experimenten met kleinere stereocamera's (ZED Mini) faalden door onvoldoende nauwkeurigheid. Daarnaast gaat de huidige bewegingsplanner niet om met dynamische botsingsvermijding, maar vertrouwt deze op de menselijke operator om de veiligheid te verifiëren en de planning aan te passen als de omgeving verandert.