Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

Technische Samenvatting: Vision-Language Procedural Reasoning voor Context-bewuste Beloningsmodellering van Robotgestuurde Endovasculaire Guidewire-navigatie

Probleemstelling
Robotgestuurde endovasculaire interventies vereisen nauwkeurige, stabiele navigatie van guidewires door complexe, patiëntspecifieke vasculaire anatomieën. Hoewel reinforcement learning (RL) een raamwerk heeft opgeleverd voor het mappen van sensorische feedback naar actuatie, kampen huidige autonome navigatiemethoden met aanzienlijke beperkingen. De meeste bestaande benaderingen vertrouwen op statische beloningsfuncties die geoptimaliseerd zijn over de gehele procedurele continuïteit. Deze statische formulering slaagt er niet in om de heterogene, fase-afhankelijke eisen van real-world navigatie aan te pakken, waarbij operationele modi dynamisch moeten verschuiven (bijv. snelle progressie in rechte segmenten versus strategisch sturen bij bifurcaties). Bovendien ontbreken bestaande kaders een mechanisme om hoogwaardige contextuele redenering te integreren om fase-bewuste feedback te bieden, wat leidt tot suboptimale afwegingen tussen efficiëntie, veiligheid en precisie bij taken met een lange horizon.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een Vision-Language Procedural Reasoning (VL-PR) raamwerk voor. Deze benadering integreert een Multimodal Large Language Model (MLLM) als een procedureel redeneermodule binnen een verenigde RL-pipeline. De kerninnovatie ligt niet in het direct genereren van laag-niveau besturingscommando's, maar in het gebruik van de MLLM om hoogwaardige navigatiecontexten af te leiden die de beloningsfunctie dynamisch aanpassen.

1. Procedural Reasoning Module (MLLM):

   • De MLLM (specifiek een Qwen2.5-VL-3B-Instruct backbone, gefinetuned via 4-bit QLoRA) verwerkt real-time multimodale observaties, inclusche lokale vasculaire beelden, configuraties van de guidewire-tip en geometrische aanwijzingen (centerline richting, kromming, bifurcaties).
   • Het leidt een discrete procedurele staat $g_t$ af uit een gedefinieerde ruimte: $\{cruise, bifurcation, retraction, final\ align\}$.
   • De module wordt getraind met door experts afgeleide semantische labels met een verliesfunctie die categorische cross-entropie, temporele consistentie regularisatie en entropie-regularisatie combineert om overconfidente voorspellingen in ambigue regio's te voorkomen.

2. Context-bewuste Beloningsadaptatie:

   • In plaats van policies te wisselen of de policy te augmenteren met semantische variabelen, behoudt het raamwerk een enkele verenigde besturingspolicy (geïmplementeerd via Soft Actor-Critic, SAC).
   • De beloningsfunctie $r_t$ wordt gedecomposeerd in vier interpreteerbare componenten: progressie ($\phi_{prog}$), veiligheid ($\phi_{safe}$), afwijking van de centerline ($\phi_{dev}$) en buigstabiliteit ($\phi_{bend}$).
   • De door de MLLM afgeleide procedurele distributie $p_\psi(g_t | o_t)$ moduleert een staat-afhankelijke gewichtsmatrix $W_g(\xi_t)$. Deze matrix past de belangrijkheid van beloningscomponenten dynamisch aan op basis van de huidige fase en een risico-indicator $\xi_t$.
     • Cruise: Legt de nadruk op efficiëntie; veiligheidsstraffen nemen toe bij verhoogd risico.
     • Bifurcation: Prioriteert geometrische uitlijning en stuurbaarheid.
     • Retraction: Onderdrukt progressie-beloningen om terugtrekking te stimuleren wanneer contact met de wand of risico op falen hoog is.
     • Final Align: Verschuift de prioriteit naar geometrische precisie.

3. Training en Implementatie:

   • Training vindt plaats in een hoogwaardige physics-gebaseerde simulatie (SOFA framework) die fungeert als een digitale tweeling van een fysieke vasculaire fantoom.
   • De geleerde policy wordt ingezet op een fysiek robotplatform (ALLVAS™ systeem) zonder extra fine-tuning (zero-shot deployment).
   • Een visuele perceptie-pipeline (YOLOv5 voor detectie, U-Net voor segmentatie) schat de status van de guidewire in vanuit monoculaire camerabeelden om real-time staatsobservaties te leveren.

Belangrijkste Bijdragen

• VL-PR Framework: Vestiging van een raamwerk dat hoogwaardige multimodale redenering overbrugt met RL om intelligente besluitvorming over complexe vasculaire anatomieën te faciliteren.
• Context-bewuste Beloningsadaptatie: Introductie van een strategie om concurrerende doelstellingen (bijv. het balanceren van traversale efficiëntie met veiligheidskritische precisie) dynamisch te prioriteren op basis van geïnformeerde procedurele staten.
• Fysieke Validatie: Demonstratie op een fysiek robotisch systeem dat procedurele redenering de taakbetrouwbaarheid en navigatie-efficiëntie in realistische vasculaire fantooms en uitdagende anatomische structuren verbetert.

Experimentele Resultaten
Het raamwerk werd geëvalueerd over drie verschillende vasculaire scenario's: coronariële, carotide en renale interventies.

• Succespercentage: De voorgestelde VL-PR methode behaalde een succespercentage van 100% in coronariële en renale interventies en 97% in carotide interventies. Dit presteerde significant beter dan standaard RL-baselines (SAC, PPO, TD3, DDPG), die succespercentages varieerden tussen 60% en 73%. De prestaties kwamen overeen met die van expert handmatige operatie (93–100%).
• Efficiëntie: De methode verminderde het gemiddelde aantal navigatiestappen aanzienlijk. Voor coronariële navigatie vereiste de voorgestelde methode 41,6 stappen vergeleken met 80,6 stappen voor standaard SAC (een reductie van 48,4%).
• Ablatie: Het verwijderen van de MLLM-redeneermodule (gebruikmakend van een regelgebaseerde baseline) resulteerde in een prestatiedaling, waarbij de succespercentages daalden naar 73–77% en het aantal stappen aanzienlijk toenam, wat de cruciale rol van context-bewuste beloningsadaptatie bevestigt.
• Redeneernauwkeurigheid: De MLLM bereikte procedurele staat-classificatienauwkeurigheden tussen de 91,2% en 94,0%, wat de regelgebaseerde baselines (22–27%) ver overtrof.

Betekenis en Claims
Het artikel claimt dat het VL-PR framework een schaalbare oplossing biedt voor complexe, multi-task robotische endovasculaire procedures door één enkele policy in staat te stellen concurrerende doelstellingen op te lossen terwijl een consistente globale taakdoelstelling behouden blijft. Door hoogwaardige procedurele redenering te ontkoppelen van laag-niveau bewegingsbesturing, zorgt de benadering voor consistentie tussen training en implementatie terwijl de robuustheid over diverse anatomieën wordt verbeteren. De auteurs stellen dat deze methode de taakbetrouwbaarheid verhoogt en de navigatie-efficiëntie stroomlijnt vergeleken met statische beloningsmethoden, wat een pad biedt naar meer autonome en intelligente robotische interventies die kunnen adapteren aan de variërende uitdagingen van real-world vasculaire navigatie. Toekomstig werk wordt geïdentificeerd als het uitbreiden van redenering naar rijkere gestructureerde representaties, het verbeteren van sim-to-real generalisatie en het integreren van formele veiligheidsrestricties.