EndoSERV: A Vision-based Endoluminal Robot Navigation System

Dit paper introduceert EndoSERV, een op visie gebaseerd robotsysteem voor endoluminale navigatie dat door middel van segment-naar-structuur en real-naar-virtueel mapping nauwkeurige lokalisatie bereikt in complexe anatomische structuren, zelfs zonder echte pose-labels.

De kern

EndoSERV: De Slimme Navigator voor Robotchirurgen

Stel je voor dat een robotchirurg een heel kleine camera (een endoscoop) door een zeer krappe, kronkelige en donkere tunnel in het lichaam moet sturen. Denk aan een labyrint van buizen, zoals de longen of de darmen. Het doel is om een klein kankertje te vinden en te verwijderen.

Het probleem? De wanden van deze tunnels zien er allemaal ongeveer hetzelfde uit. Ze zijn roze, glad en hebben geen duidelijke borden of landkaarten. Als je daar een gewone GPS zou gebruiken, zou die direct verdwalen. Bovendien is het er vaak modderig (bloed, slijm) en beweegt het weefsel mee met de ademhaling.

De onderzoekers van dit paper hebben EndoSERV bedacht: een slimme "navigatiesysteem" dat de robot helpt om zich te oriënteren zonder dat er iemand buiten de patiënt hoeft te kijken.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Grote Probleem: De "Spiegelende Gang"

Stel je voor dat je in een gang loopt die volledig bedekt is met spiegels. Als je omkijkt, zie je een eindeloze rij van jezelf. Je weet niet meer waar je bent of welke kant je op moet.

• In de geneeskunde: De camera ziet overal dezelfde roze wanden. Als de software probeert te raden waar hij is, kan hij verwarren: "Is dit punt A of punt B? Ze zien er precies hetzelfde uit!"
• De oplossing: EndoSERV deelt de lange, moeilijke reis op in kleine stukjes. In plaats van te proberen de hele tunnel in één keer te onthouden, kijkt het systeem naar één klein stukje tegelijk. Zodra dat stukje klaar is, begint het bij het volgende. Dit is als het oplossen van een puzzel stukje voor stukje in plaats van de hele doos tegelijk.

2. De Magische "Virtual Reality" Bril

Om te weten waar de robot is, heeft het systeem een virtuele kaart nodig. Deze kaart is gemaakt van een CT-scan van de patiënt voordat de operatie begint.

• Het probleem: De echte foto's (van de camera in het lichaam) zien er heel anders uit dan de virtuele kaart (die is gemaakt op een computer). De echte foto's hebben bloed, slijm en wazigheid; de virtuele kaart is perfect en schoon. Het is alsof je probeert een foto van een modderige auto te vergelijken met een glanzende showroom-foto. Ze passen niet bij elkaar.
• De oplossing (Real-to-Virtual): EndoSERV heeft een speciale "vertaler" of "filter". Deze filter neemt de modderige, echte foto en maakt er een virtuele versie van. Het is alsof je een foto van een modderige auto neemt en er digitaal de modder afkrabt, zodat hij eruitziet als de showroom-versie. Nu kan het systeem de echte foto vergelijken met de perfecte virtuele kaart en precies zien waar de robot zit.

3. De Twee-Fasen Trainingsmethode

Het systeem leert op twee manieren, net als een student die eerst theorie leert en dan praktijk doet.

• Fase 1: De Theorie (Offline Training)
  Voor de operatie leert het systeem op de computer. Het krijgt duizenden virtuele foto's te zien, maar dan met allerlei rare texturen (alsof het beeld eruitziet als een schets, of als een mozaïek). Dit leert het systeem om niet te kijken naar de kleur of de textuur (want die veranderen in het lichaam), maar alleen naar de vorm en structuur. Het leert: "Het maakt niet uit of de muur roze of geel is, het gaat erom dat de hoek er zo uitziet."
• Fase 2: De Praktijk (Online Training)
  Tijdens de operatie past het systeem zich direct aan. Als de robot in een nieuw stukje van de tunnel komt, kijkt het systeem snel of het daar al eerder iets soortgelijks heeft gezien in de virtuele kaart. Als het systeem twijfelt (bijvoorbeeld door veel bloed of wazigheid), schakelt het over naar een "herstelmodus". Het simuleert dan extra moeilijkheden (zoals extra bloed of vervorming) om zichzelf te trainen op die specifieke situatie, zodat het weer zekerheid krijgt.

4. De "Zekerheidsmeter"

Een van de slimste onderdelen is dat het systeem weet wanneer het het niet weet.

• Stel je voor dat je een kompas hebt dat soms heel zeker wijst en soms wild draait. EndoSERV heeft een interne "zekerheidsmeter".
• Als de meter hoog is, gaat de robot gewoon door.
• Als de meter zakt (bijvoorbeeld omdat er veel bloed is of de robot te snel beweegt), zegt het systeem: "Wacht even, ik ben niet zeker." Dan stopt het even met navigeren, past het systeem zich snel aan aan de nieuwe situatie, en gaat dan pas weer verder. Dit voorkomt dat de robot in de war raakt.

Waarom is dit zo belangrijk?

Vroeger moesten artsen vaak handmatig de positie van de robot raden of gebruikten ze dure, externe trackers die niet altijd werken. EndoSERV doet dit volledig automatisch, alleen met de beelden van de camera zelf.

Kort samengevat:
EndoSERV is als een slimme, ervaren gids die een robotchirurg door een donker, kronkelig labyrint leidt. Hij deelt de reis op in kleine stukjes, gebruikt een virtuele kaart die hij zelf aanpast aan de modderige realiteit, en weet precies wanneer hij even moet stoppen om zich te oriënteren. Hierdoor kunnen artsen kanker op een veel veiligere en nauwkeurigere manier behandelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "EndoSERV: A Vision-based Endoluminal Robot Navigation System", geschreven in het Nederlands.

Probleemstelling

Robot-ondersteunde endoluminale ingrepen worden steeds belangrijker voor de vroege detectie en behandeling van kanker in holle organen (zoals de darmen en longen). Een van de grootste uitdagingen is de nauwkeurige navigatie van de robot door de complexe, smalle en kronkelende anatomische structuren.
Bestaande visuele navigatiesystemen kampen met drie fundamentele problemen:

1. Schaalambiguïteit: Monoculaire SLAM-methoden (Structure-from-Motion) kunnen relatieve beweging schatten, maar missen absolute schaalinformatie. In klinische situaties is het onpraktisch om na afloop de trajecten af te stemmen op een "ground truth" (waarheid), omdat deze niet beschikbaar is tijdens de operatie.
2. Vergelijkbaarheid van uiterlijk: Endoscopische beelden hebben vaak weinig textuur, laag contrast en hoge visuele gelijkenis tussen verschillende takken van het orgaan. Dit leidt tot foutieve feature-matching en verwarring in de navigatie.
3. Gebrek aan gelabelde data: Er zijn geen echte pose-labels (positie-oriëntatie) beschikbaar voor klinische data, wat het trainen van supervisie-modellen bemoeilijkt.
4. Artifacts en vervorming: Bloed, slijm, bewegingsonscherpte en weefselvervorming verstoren de beeldkwaliteit en de prestaties van bestaande algoritmen.

Methodologie: EndoSERV

Het paper introduceert EndoSERV, een nieuw lokaal navigatiesysteem dat de uitdagingen aanpakt via twee hoofdcomponenten: SEgment-to-Structure en Real-to-Virtual mapping.

1. Segment-to-Structure (Deel-en-heers strategie)

Vanwege de complexe en lange structuur van endoluminale paden, verdeelt het systeem het pad in kleinere, beheersbare sub-segmenten.

• Sliding Windows: Het systeem gebruikt een schuifvenster-strategie die wisselt tussen een trainingsfase en een testfase.
• Adaptief proces: Als de betrouwbaarheid (confidence) van de pose-schatting daalt (bijvoorbeeld bij het betreden van een nieuw, onbekend segment), schakelt het systeem automatisch terug naar de trainingsfase om zich aan te passen aan de nieuwe data voordat het weer doorgaat met testen.

2. Real-to-Virtual Mapping

Om het gebrek aan echte labels op te lossen, gebruikt EndoSERV pre-operatieve 3D-modellen (uit CT- of MRI-scans) als "virtuele ground truth".

• Offline Pretraining:
  • Textuur-agnostische features: Een encoder wordt vooraf getraind met behulp van een diffusion-model om beelden te genereren met dezelfde structuur maar diverse texturen. Dit zorgt ervoor dat het systeem leert op basis van vorm en niet op basis van specifieke textuurkleuren.
  • Style Transfer: Een model wordt getraind om de domeinkloof tussen echte en virtuele beelden te overbruggen.
• Online Training (Tijdens de operatie):
  • Virtual Buffer Retrieval: In plaats van het hele virtuele database te gebruiken, selecteert het systeem een subset (buffer) van virtuele beelden die het meest lijken op de huidige realiteit.
  • DDAug (Distortion, Deformation & Augmentation): Om realistische klinische artefacten (bloedingen, bubbels) en vervormingen na te bootsen, wordt een unieke "augmentatie-then-recovery" strategie gebruikt. Echte beelden worden verstoord en vervolgens proberen het systeem deze te reconstrueren naar de virtuele vorm. Dit verhoogt de robuustheid.
  • Scene Coordinate Estimation: Een netwerk schat de 3D-coördinaten van pixels op basis van de virtuele labels, waarna een PnP-algoritme (Perspective-n-Point) de camera-pose berekent.

3. Confidence-Aware Navigatie

Het systeem gebruikt het aantal "inliers" (betrouwbare punten) uit het PnP-proces om de betrouwbaarheid van de schatting te bepalen. Als de betrouwbaarheid te laag wordt, schakelt het systeem automatisch over naar de online trainingsfase om zich aan te passen, zonder dat de chirurg handmatig hoeft in te grijpen.

Belangrijkste Bijdragen

1. EndoSERV Architectuur: Een uniek systeem dat endoluminale navigatie mogelijk maakt zonder enige echte pose-labels, door gebruik te maken van pre-operatieve virtuele ground truth.
2. Textuur-agnostische Feature Extractie: Een methode om features te leren die robuust zijn tegen variaties in textuur en belichting, wat cruciaal is voor endoscopische beelden.
3. DDAug Strategie: Een innovatieve data-augmentatiemethode die specifieke klinische vervormingen simuleert en deze via een gepaarde training herstelt, waardoor het systeem beter presteert onder realistische omstandigheden.
4. Adaptieve Segmentatie: Een dynamische aanpak die lange trajecten opsplitst en het systeem laat leren tijdens de operatie, wat drift (accumulatie van fouten) voorkomt.

Resultaten

De methode is getest op zowel een publieke dataset (C3VD) als op klinische data van in-vivo dierproeven (varkens).

• Positievastheid (ATE - Absolute Trajectory Error):
  • Op de C3VD dataset behaalde EndoSERV een ATE van 1.90 ± 0.51 mm, wat significant beter is dan de beste concurrenten (bijv. EndoDAC: 3.89 mm, UNSB: 3.06 mm).
  • Op de klinische dataset (veel complexer) behaalde EndoSERV een ATE van 6.22 ± 2.83 mm. Dit is aanzienlijk beter dan SfM-methoden (rond 12 mm) en andere Real-Virtual alignment methoden (rond 11-14 mm).
• Rotatiefout (rRP E): EndoSERV behaalde een rotatiefout van 1.05 ± 0.44 graden, wat de beste prestatie is vergeleken met alle baselines.
• Efficiëntie: Het systeem werkt in real-time (ongeveer 27 fps) en de totale verwerkingstijd per frame is ongeveer 37.73 ms.
• Visuele Validatie: De getrajecteerde paden van EndoSERV zijn continu en kruisen minder vaak de wanden van het luchtwegmodel dan andere methoden, wat wijst op hogere nauwkeurigheid.

Betekenis en Impact

EndoSERV vertegenwoordigt een doorbraak in robotische endoscopie door de afhankelijkheid van externe trackers (zoals elektromagnetische sensoren) of handmatige kalibratie te elimineren.

• Klinische Toepasbaarheid: Het systeem kan worden ingezet in echte operaties zonder dat er vooraf gelabelde data nodig is, wat de implementatie in ziekenhuizen vergemakkelijkt.
• Veiligheid: Door de hoge nauwkeurigheid en het vermogen om drift te voorkomen, kan het chirurgen helpen om kleine laesies preciezer te bereiken en te verwijderen, wat de veiligheid van minimaal invasieve ingrepen verhoogt.
• Algemene Toepasbaarheid: De gebruikte principes (textuur-agnostisch leren, domain adaptation via virtuele ground truth) zijn potentieel toepasbaar op andere medische navigatieproblemen waar gelabelde data schaars is.

Kortom, EndoSERV lost het probleem van schaalambiguïteit en gebrek aan labels op door slimme combinatie van pre-operatieve modellen, deep learning en adaptieve online training, wat leidt tot superieure navigatieprestaties in complexe endoluminale omgevingen.