Learning Expert Strategy for Autonomous Robotic Endovascular Intervention via Decoupled Procedural Execution

Technische Samenvatting: Learning Expert Strategie voor Autonome Robotische Endovasculaire Interventie via Ontkoppelde Procedurele Executie

Probleemstelling
Endovasculaire interventies zijn risicovolle, minimaal invasieve procedures die een precieze manipulatie van flexibele gidsdraden en katheters vereisen door complexe, grillige vasculaire anatomieën onder 2D-fluoroscopische begeleiding. Deze procedures vereisen een steile leercurve, resulteren in verlengde operatietijden en stellen operators bloot aan aanhoudende straling. Een kritieke uitdaging bij het automatiseren van deze taken is de variabiliteit in operatorvaardigheid, wat leidt tot inconsistente procedurele uitkomsten. Hoewel Reinforcement Learning (RL) veelbelovend is gebleken voor het leren van navigatiebeleid vanuit gesimuleerde omgevingen, worstelen bestaande op leren gebaseerde benaderingen vaak met expliciete naleving van beperkingen (constraint satisfaction) en veiligheidsgaranties. Zuivere RL-beleidstypen neigen naar het produceren van lokaal optimale beslissingen die zich manifesteren als redundante manoeuvres, excessieve navigatiestappen en een gebrek aan robuustheid tegen onzekere contactcondities, wat potentieel kan leiden tot risicovolle uitkomsten zoals botsingen met de vaatwand. Daartegenover staan puur op modellen gebaseerde optimalisatiemethoden (bijv. Model Predictive Control) die vaak niet in staat zijn om de hoogst niet-lineaire, anatomie-afhankelijke dynamiek van flexibele gidsdraden te vatten, met name onder onvolledige waarneming.

Methodologie
Het artikel stelt een learning expert strategie voor die hoogwaardige strategische besluitvorming ontkoppelt van laagwaardige procedurele executie. Deze architectuur weerspiegelt de klinische workflow van interventieartsen, die de globale procedurele planning scheiden van de precieze manipulatie van apparatuur. Het framework bestaat uit drie primaire modules:

1. Visuele Perceptie en Toestandschatting: Het systeem verwerkt real-time fluoroscopische beelden met behulp van een YOLOv5-model om de punt van de gidsdraad te detecteren en een ResNet50-backbone om hoogdimensionale visuele kenmerken te extraheren die de vasculaire anatomie representeren. Deze worden gecombineerd met geometrische toestandsgegevens (positie, snelheid en oriëntatie van de punt) en voorgaande controleacties om een samengestelde observatievector te vormen.
2. Strategisch Navigatiebeleid (RL): Een Soft Actor-Critic (SAC) agent wordt getraind in een hoogwaardige 3D vasculaire simulatie (met de Sim4EndoR-omgeving). Dit beleid leert globale navigatie-intenties om langetermijnsucces en efficiëntie te maximaliseren. Cruciaal is dat de beloningsfunctie voor de RL-agent gericht is op taakvoltooiing en pad-efficiëntie, maar niet expliciet harde grenzen voor de vaatwand afdwingt tijdens de training. Dit stelt het beleid in staat om hoogwaardige tactieken te leren zonder beperkt te worden door onmiddellijke veiligheidslimieten.
3. Predictieve Bewegingsverfijning (MPC): De referentiecontroleacties ($u_{RL}$) gegenereerd door het RL-beleid worden doorgegeven aan een downstream Nonlinear Model Predictive Control (NMPC) module. Deze module lost in real-time een optimalisatieprobleem met een eindige horizon op. Het maakt gebruik van een vereenvoudigd kinematisch model van de gidsdraad en dwingt expliciet het volgende af:
   • Kinematische limieten: Curvatuur-drempelwaarden ($\kappa_{max}$) om vervorming van het apparaat te voorkomen.
   • Veiligheidsbeperkingen: Minimale afstand tot de vaatwanden ($d_{min}$).
   • Actuatorlimieten: Snelheids- en rotatiegrenzen.
     De NMPC filtert de RL-output, waardoor wordt gegarandeerd dat de uiteindelijke uitgevoerde actie ($u^*_0$) voldoet aan de expert-operationele normen en veiligheidsbeperkingen, terwijl de strategische intentie van het RL-beleid behouden blijft.

Belangrijkste Bijdragen

• Constraint-Ontkoppeld RL-Framework: De auteurs introduceren een nieuwe architectuur die de verwerving van strategische intentie (via RL) scheidt van de handhaving van operationele beperkingen (via optimalisatie). Deze formulering sluit aan bij klinische workflows en adresseert de beperkingen van end-to-end leren in veiligheidskritische domeinen.
• Online Predictieve Verfijningsmodule: Er is een gespecialiseerde NMPC-laag ontwikkeld die expliciet de kinematica van de gidsdraad, curvatuurbeperkingen en het volgen van de vasculaire centerline incorporeert. Dit zorgt voor real-time naleving van veiligheidsbeperkingen en de vloeiendheid van het traject zonder dat de RL-agent deze harde beperkingen direct hoeft te leren.
• Uitgebreide Validatie: Het framework wordt gevalideerd via uitgebreide experimenten in zowel een hoogwaardige 3D-simulatieomgeving als op een fysiek robotplatform (het ALL-VAS™ systeem) met gebruik van vasculaire fantoommodellen.

Experimentele Resultaten
Het voorgestelde framework werd geëvalueerd tegenover baseline RL-beleid (SAC en DDPG) over meerdere anatomische geometrieën (arteria brachiocephalica, carotis en subclavia) en in fysieke fantoomproeven.

• Simulatieprestaties:

  • Succespercentage: Het geïntegreerde framework behaalde een succespercentage van >96% (specifiek 98% in de arteria brachiocephalica en subclavia, 96% in de carotis), waarmee het baseline SAC (90-94%) en DDPG (84-92%) overtrof.
  • Efficiëntie: Er was een reductie van 29,3% in operationele stappen vergeleken met baseline RL-beleid, wat wijst op een verbeterde procedurele efficiëntie.
  • Trajectconsistentie: Het framework vertoonde een superieure standaardisatie, met een reductie van 13% in trajectvariantie (specifiek een reductie van 13,0% in de ruimtelijke spreiding langs de primaire navigatieas en een reductie van 11,4% in de laterale breedte).
  • Ablatieonderzoek: Een optimale verfijningswegingsfactor ($\lambda_{MPC} = 0,1$) werd geïdentificeerd, die de autonomie van het beleid en de handhaving van beperkingen in evenwicht brengt. Te hoge waarden onderdrukten de geleerde strategie, terwijl te lage waarden faalden in het corrigeren van oscillerend gedrag.

• Fysieke (In Vitro) Validatie:

  • Geïmplementeerd op een robotplatform met een siliconen vasculair fantoom, behaalde het systeem een succespercentage van 90,0% (18/20 proeven).
  • De gemiddelde navigatietijd was 4,2 minuten met 156 controle-stappen per proef.
  • Veiligheid: Opvallend genoeg werden er nul schendingen van de vaatgrenzen geregistreerd in de fysieke experimenten, wat de effectiviteit van de MPC-laag aantoont bij het voorkomen van onveilige gedragingen, ondanks de sim-to-real gap.

Betekenis en Claims
Het artikel claimt dat deze ontkoppelde aanpak erin slaagt de kloof te overbruggen tussen de aanpasbaarheid van lerende methoden en de veiligheidsgaranties van optimalisatiegestuurde controle. Door het klinische expert-besluitvormingsproces te repliceren — waarbij de hoogwaardige intentie onderscheidend is van de laagwaardige executie — verbetert het framework de voorspelbaarheid, veiligheid en consistentie van robotische endovasculaire interventies. De resultaten suggereren dat dit paradigma de procedurele kwaliteit kan standaardiseren, de werklast van de operator kan verminderen en de risico's op interactie tussen het apparaat en het vat kunnen minimaliseren. De auteurs merken op dat hoewel de overgang van simulatie naar de realiteit resulteerde in een bescheiden prestatiedaling (toegeschreven aan niet-gemodelleerde wrijving en visuele obstructies), het systeem strikte naleving van de veiligheid behield. Toekomstig werk wordt voorgesteld om hoogwaardigere biomechanische modellen te integreren en in vivo dierproeven uit te voeren om de klinische effectiviteit verder te valideren.