Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments

Probleemstelling

Endoluminale chirurgie (chirurgie via natuurlijke openingen zoals de mond, anus of urethra) biedt een minimaal invasieve optie voor de behandeling van vroege kankerstadiën in het maag-darmstelsel en het urinestelsel. Echter, de huidige praktijk wordt beperkt door:

1. Gebrek aan dexteriteit: Standaard chirurgische instrumenten zijn vaak star en hebben beperkte mogelijkheden voor weefselretractie, wat leidt tot onvolledige tumorresecties.
2. Steile leercurve: De precisievereiste voor het hanteren van lange, flexibele endoscopen is groot, wat afhankelijkheid creëert van de ervaring van de chirurg.
3. Perceptie-uitdagingen bij continue robots: Hoewel continue robots (met oneindig elastische gewrichten) veelbelovend zijn voor flexibele beweging in krappe ruimtes, is het moeilijk om hun 3D-vorm en toestand in real-time te modelleren. Bestaande sensoren (zoals FBG of EM-sensoren) zijn duur, kwetsbaar en kunnen veiligheidsrisico's opleveren.
4. Beperkingen van visuele perceptie: Bestaande visuele systemen focussen vaak op één taak (bijv. segmentatie of 3D-reconstructie van weefsel) en missen een geïntegreerde aanpak die zowel de positie van het instrument als de 3D-geometrie van de omgeving in real-time begrijpt. Bovendien is het verkrijgen van gelabelde klinische data voor training extreem moeilijk.

Methodologie

De auteurs presenteren een geïntegreerd visueel perceptieplatform dat puur gebaseerd is op monoculaire endoscopische beelden (één camera). Het systeem bestaat uit drie kernmodules en een gesimuleerde omgeving voor training:

1. Geïntegreerd Perceptie Framework

Het systeem verwerkt live endoscopische video's om drie taken tegelijkertijd uit te voeren:

• 2D Segmentatie van Continue Robots:
  • Gebruikt een kennisdistillatie-aanpak. Een zwaar, vooraf getraind vision-foundation model (Segment Anything Model - SAM) fungeert als 'leraar' om een lichtgewicht U-Net ('student') te trainen.
  • In plaats van handmatige annotaties voor elk frame, worden simpele bounding boxes gebruikt als prompt voor SAM. De output van SAM dient als 'pseudo-ground truth' om de student te trainen.
  • Dit resulteert in een snelle, nauwkeurige segmentatie van flexibele instrumenten in complexe scènes.
• 3D Robot State Estimation (Toestandsschatting):
  • Schat de 3D-vorm van de flexibele instrumenten (gebaseerd op vier parameters: booghoeken en rotaties).
  • In plaats van directe regressie naar Euler-hoeken of quaternions (wat problemen kan geven met discontinuïteiten), wordt een probabilistisch model gebruikt: de Matrix Fisher-verdeling.
  • Dit model leert niet alleen de toestand, maar ook de onzekerheid (confidence) van de schatting, wat cruciaal is voor veilig robotbesturing.
• 3D Diepteschattting (Monoculaire Diepte):
  • Schat de diepte van zowel de instrumenten als het omringende weefsel.
  • Gebruikt een Teacher-Student transfer learning strategie. Een 'teacher' wordt getraind op synthetische data met ground-truth diepte. Een 'student' wordt vervolgens getraind op zowel synthetische als ongelabelde klinische data.
  • Voor de klinische data (zonder ground-truth) wordt een zelftoezichtsverlies (self-supervised loss) ontwikkeld dat gebaseerd is op verlichtingsmodellering. Het systeem modelleert hoe licht van de endoscoop wordt geabsorbeerd en gereflecteerd (Per-Pixel Rendering - PPR) om de diepte te infereren uit de helderheid en richting van het licht.

2. Fysisch Realistische Simulator

Om de grote hoeveelheden gelabelde data te genereren die nodig zijn voor training, hebben de auteurs een simulator ontwikkeld in Unity:

• Model: Simuleert continue robots met een stuksgewijs constante kromming (Piece-wise Constant Curvature) en drie segmenten (Schouder, Proximaal, Distaal).
• Data-generatie: Gebruikt 3D-textuurmapping van echte endoscopische video's (C3VD en Colon10K datasets) om realistische organen (colon) te creëren.
• Ground Truth: Genereert automatisch nauwkeurige ground-truth labels voor diepte, normaalvectoren en robottoestanden, wat in de echte wereld onmogelijk is.

Belangrijkste Bijdragen

1. Geïntegreerd Framework: Het eerste werk dat een complete monoculaire perceptieketen biedt voor continue robots, inclusief 2D-segmentatie, 3D-toestandsschatting met onzekerheid, en 3D-dieptewaarneming.
2. Efficiënte Segmentatie: Een annotatie-efficiënte methode die foundation models gebruikt om een lichtgewicht netwerk te trainen, waardoor hoge nauwkeurigheid wordt bereikt zonder duizenden handmatige labels.
3. Probabilistische State Estimation: Een nieuwe aanpak voor het schatten van robottoestanden die onzekerheid expliciet modelleert via de Matrix Fisher-verdeling, wat robuustheid biedt bij gedeeltelijke zichtbaarheid.
4. Zelftoezicht voor Diepte: Een innovatieve loss-functie gebaseerd op verlichtingsmodellering (PPR) die het mogelijk maakt om diepte te leren van ongelabelde klinische data.
5. Realistische Simulator: Een fysiek realistische simulatieomgeving die specifieke endoluminale scenario's en flexibele robotdynamiek nabootst voor het genereren van synthetische trainingsdata.

Resultaten

Het systeem is uitgebreid geëvalueerd op ex-vivo data (porcine darmen) en synthetische data:

• Segmentatie: Bereikte een Dice-score van 94,93% (links) en 95,59% (rechts), significant beter dan bestaande methoden (Syn: ~38%, Copy-Paste: ~60%). De inferentie-snelheid is 52 fps, wat real-time toepassing mogelijk maakt.
• Robot State Estimation: Bereikte een gemiddelde hoekfout van 2,60° voor de belangrijkste parameters, wat aanzienlijk beter is dan bestaande state-of-the-art methoden (Keypoint-based: ~22°, Quaternion: ~7°). Het model levert ook betrouwbare onzekerheidsmaten.
• Diepteschattting: Bereikte een RMSE van 4,020 mm op synthetische data. De Teacher-Student overdracht verbeterde de prestaties op echte klinische data aanzienlijk ten opzichte van modellen die alleen op synthetische data waren getraind.
• Systeemevaluatie (Real-World):
  • In een experiment met een continue robotsysteem werd de manipulatie-tijd voor een traject-volgende taak met >70% verkort (van ~233s naar ~66s voor professionals; van ~254s naar ~72s voor onervaren gebruikers) dankzij de perceptie-assistentie (calibratie, 3D-monitoring en afstandsinferentie).
  • Het systeem werkt met een totale latentie van 47,15 ms (~21 fps), wat voldoet aan real-time eisen.

Betekenis en Impact

Dit werk is een belangrijke stap vooruit in de robotische endoluminale chirurgie:

• Veiligheid en Nauwkeurigheid: Door de 3D-toestand en onzekerheid van flexibele instrumenten in real-time te kennen, kunnen robots veiliger en preciezer bewegen in krappe ruimtes, wat het risico op weefselschade verkleint.
• Cognitieve Assistentie: Het systeem fungeert als een "tweede paar ogen" voor de chirurg, door afstanden tot weefsel te meten en de robottoestand te kalibreren bij veranderingen in het gezichtsveld.
• Overbrugging van de Data-Kloof: De combinatie van een fysisch realistische simulator en transfer learning lost het probleem op van het gebrek aan gelabelde klinische data voor het trainen van geavanceerde AI-modellen.
• Toekomstperspectief: Hoewel de huidige validatie op ex-vivo modellen is uitgevoerd, legt dit werk de basis voor toekomstige klinische toepassingen die minder invasief, veiliger en toegankelijker zijn voor chirurgen met verschillende ervaringsniveaus.

Kortom, de auteurs hebben een robuust, real-time visueel systeem ontwikkeld dat de controle over flexibele chirurgische robots transformeert van een grotendeels handmatige, ervaring-afhankelijke taak naar een nauwkeurige, data-gedreven en veilige procedure.