Sample-Efficient Learning with Online Expert Correction for Autonomous Catheter Steering in Endovascular Bifurcation Navigation

Probleemstelling

Robot-assisterende endovasculaire interventies bieden een veilige en effectieve oplossing voor het manipuleren van katheters op afstand, wat blootstelling aan straling vermindert en de precisie van de navigatie verbetert. Hoewel Versterkingsleren (Reinforcement Learning - RL) veelbelovend is voor autonoom sturen van katheters, kampen bestaande methoden met ernstige beperkingen:

1. Schaalbaarheid en Sample-efficiëntie: Traditionele RL-methoden vereisen vaak duizenden trainingsepisodes vanwege het ontbreken van een goed ontworpen beloningssysteem (sparse rewards).
2. Statische modellen: Veel systemen vertrouwen op statische vasculaire modellen, wat hun generalisatievermogen beperkt tot intraoperatieve variaties en dynamische beeldvorming.
3. Navigatie bij vertakkingen: Het autonoom navigeren door vasculaire vertakkingen (bifurcaties) is extreem uitdagend vanwege 2D-beeldambiguïteit, de vervormbare interactie tussen instrument en vat, en patiëntspecifieke anatomische variaties. Bestaande methoden missen vaak de integratie van live beeldvorming, online expertfeedback en robuuste besturing op fysieke platformen.

Methodologie

De auteurs presenteren een nieuw raamwerk genaamd SAC-EIL-GAIL, dat een hybride aanpak combineert van Versterkingsleren, imitatie-leren en fuzzy-logic besturing. Het systeem bestaat uit de volgende kerncomponenten:

1. Systeemarchitectuur:

   • Een robotplatform met twee gekoppelde armen: één voor axiale insertie en rotatie, en één voor stabilisatie.
   • Visie-module: Een YOLOv5-model detecteert de kathetertip en vasculaire structuren in real-time (10 fps).
   • Een U-Net model segmenteert de katheter en extrahert het skelet (centerline) met sub-pixel nauwkeurigheid.

2. Hybride Leringsframework (SAC-EIL-GAIL):

   • Soft Actor-Critic (SAC): Een maximum-entropy RL-algoritme dat zorgt voor exploratie en stabiliteit.
   • Generative Adversarial Imitation Learning (GAIL): Een discriminator traint om het verschil te vinden tussen expert-trajecten en agent-trajecten, waardoor een imitatie-beloning ($r_{GAIL}$) wordt gegenereerd.
   • Dynamische Beloningsplanning: Een sigmoid-functie schakelt tijdens de training geleidelijk over van een focus op RL-exploratie naar imitatie-leren. De totale beloning is een gewogen som: $R_t = w_{SAC}(t) \cdot r_{SAC} + w_{GAIL}(t) \cdot r_{GAIL} + \epsilon_t$.

3. Online Expert Correctie (EIL) en Fuzzy Control:

   • Wanneer de katheter een vertakking nadert, activeert het systeem een "Expert-in-the-Loop" module.
   • Een expert (of een vooraf gedefinieerde strategie) selecteert een doel-pose (positie en oriëntatie).
   • Het systeem berekent de translatie- en rotatiefouten tussen de huidige pose en de doel-pose.
   • Een Fuzzy Logic Controller compenseert voor modelfouten en beeldruis door deze fouten om te zetten in robotcommando's (translatie en rotatie) om de doel-pose te bereiken. Dit zorgt voor robuustheid in complexe omgevingen.

4. Kinematische Modellering:

   • De katheter wordt gemodelleerd met een constante-kromming benadering (constant-curvature), wat de kinematica van het distale gedeelte nauwkeurig beschrijft en wordt afgestemd op de uit het beeld afgeleide centerline.

Belangrijkste Bijdragen

1. Unificatie van RL en Expertkennis: Een uniek framework dat maximum-entropy RL, adversariele imitatie en online expertcorrectie combineert. Dit verhoogt de sample-efficiëntie en vermindert de afhankelijkheid van handmatig ontworpen beloningssignalen.
2. Sub-pixel Trajectfitting: Een kinematisch model gekoppeld aan skelet-gebaseerde centerline-extractie, wat zeer nauwkeurige lokalisatie en sturing mogelijk maakt in uitdagende vertakkingen.
3. Robuuste Navigatie via Fuzzy Control: Een fuzzy-controller die real-time compensatie biedt voor beeldgebaseerde modelfouten, wat de succesratio bij het kiezen van de juiste tak in een vertakking aanzienlijk verbetert.

Resultaten

De methode werd getest op een robuust platform met een transparant siliconen nierarterie-fantoom. De resultaten tonen een duidelijke superioriteit ten opzichte van baselines zoals TD3, standaard SAC, en varianten zonder volledige integratie (SAC-GAIL, SAC-EIL):

• Convergentie: Het voorgestelde SAC-EIL-GAIL model convergeert in slechts 123 trainingsepisodes. Dit is een reductie van 25,9% ten opzichte van de standaard SAC-algoritme (166 episodes) en een nog grotere verbetering ten opzichte van TD3 (175 episodes).
• Succesratio: De succesratio voor het bereiken van het doel is 59,00%, wat significant hoger is dan TD3 (41,67%) en SAC (44,67%).
• Nauwkeurigheid: De gemiddelde positie- en rotatiefout werd teruggebracht tot 82,58 pixels, wat een verbetering is tot 83,8% van de fout van de baselines.
• Efficiëntie: De gemiddelde tijd per episode tot convergentie was 59,41 seconden, wat sneller is dan de meeste vergelijkingen.

Betekenis en Toekomstperspectief

Dit onderzoek bewijst dat het combineren van sample-efficiënt versterkingsleren met online expertcorrectie een betrouwbare en nauwkeurige oplossing biedt voor autonoom sturen van katheters, vooral in anatomisch uitdagende vertakkingen.

• Klinische Impact: Het systeem kan de cognitieve last op artsen verminderen, de blootstelling aan straling verlagen en de consistentie van ingrepen verbeteren.
• Toekomstige Werkzaamheden: De auteurs plannen uitbreiding naar multi-instrument samenwerking (gidsdraden en katheters), adaptieve feedbackmechanismen die volledig online werken, en verbeterde generalisatie via simulatie-naar-real transfer voor patiëntspecifieke anatomieën.

Samenvattend biedt dit paper een solide stap richting klinisch toepasbare, autonome robotische endovasculaire interventies door de kloof tussen data-efficiëntie en de noodzaak van hoge precisie in dynamische medische omgevingen te overbruggen.