Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

Résumé Technique : Raisonnement Procédural Vision-Langage pour la Modélisation de Récompense Sensible au Contexte de la Navigation de Guides Endovasculaires Robotisés

Énoncé du Problème
Les interventions endovasculaires assistées par robot nécessitent une navigation précise et stable des guides à travers des anatomies vasculaires complexes et spécifiques aux patients. Bien que l'apprentissage par renforcement (RL) soit apparu comme un cadre permettant de mapper le retour sensoriel vers l'actionnement, les méthodes actuelles de navigation autonome font face à des limitations significatives. La plupart des approches existantes reposent sur des fonctions de récompense statiques optimisées sur l'ensemble du continuum procédural. Cette formulation statique ne parvient pas à traiter les demandes hétérogènes et dépendantes des phases de la navigation réelle, où les modes opérationnels doivent changer dynamiquement (par exemple, une progression rapide dans les segments rectilignes par rapport à un pilotage stratégique aux bifurcations). De plus, les cadres existants manquent d'un mécanisme pour intégrer un raisonnement contextuel de haut niveau afin de fournir un retour sensible aux étapes, ce qui conduit à des compromis sous-optimaux entre efficacité, sécurité et précision dans les tâches à long horizon.

Méthodologie
Pour répondre à ces défis, les auteurs proposent un cadre de Raisonnement Procédural Vision-Langage (VL-PR). Cette approche intègre un Grand Modèle de Langage Multimodal (MLLM) en tant que module de raisonnement procédural au sein d'un pipeline de RL unifié. L'innovation centrale ne réside pas dans la génération directe de commandes de contrôle de bas niveau, mais dans l'utilisation du MLLM pour inférer des contextes de navigation de haut niveau qui adaptent dynamiquement la fonction de récompense.

1. Module de Raisonnement Procédural (MLLM) :

   • Le MLLM (spécifiquement un backbone Qwen2.5-VL-3B-Instruct, affiné via 4-bit QLoRA) traite les observations multimodales en temps réel, incluant les images vasculaires locales, les configurations de la pointe du guide, et les indices géométriques (direction de la ligne médiane, courbure, bifurcations).
   • Il infère un état procédural discret $g_t$ à partir d'un espace défini : $\{cruise, bifurcation, retraction, final\ align\}$.
   • Le module est entraîné à l'aide d'étiquettes sémantiques dérivées d'experts avec une fonction de perte combinant l'entropie croisée catégorielle, la régularisation de la cohérence temporelle et la régularisation de l'entropie pour éviter les prédictions trop confiantes dans les régions ambiguës.

2. Adaptation de la Récompense Sensible au Contexte :

   • Au lieu de changer de politique ou d'augmenter les entrées de la politique avec des variables sémantiques, le cadre maintient une politique de contrôle unique et unifiée (implémentée via Soft Actor-Critic, SAC).
   • La fonction de récompense $r_t$ est décomposée en quatre composantes interprétables : progression ($\phi_{prog}$), sécurité ($\phi_{safe}$), déviation de la ligne médiane ($\phi_{dev}$), et stabilité de la flexion ($\phi_{bend}$).
   • La distribution procédurale inférée par le MLLM $p_\psi(g_t | o_t)$ module une matrice de poids dépendante de l'état $W_g(\xi_t)$. Cette matrice ajuste dynamiquement l'importance des composantes de récompense en fonction de la phase actuelle et d'un indicateur de risque $\xi_t$.
     • Cruise (Croisière) : Met l'accent sur l'efficacité ; les pénalités de sécurité augmentent avec le risque.
     • Bifurcation : Priorise l'alignement géométrique et la capacité de pilotage.
     • Retraction (Retrait) : Supprime les récompenses de progression pour encourager le retrait lorsque les risques de contact avec la paroi ou d'échec sont élevés.
     • Final Align (Alignement Final) : Déplace la priorité vers la précision géométrique.

3. Entraînement et Déploiement :

   • L'entraînement se déroule dans une simulation haute fidélité basée sur la physique (cadre SOFA) agissant comme un jumeau numérique d'un fantôme vasculaire physique.
   • La politique apprise est déployée sur une plateforme robotique physique (système ALLVAS™) sans ajustement supplémentaire (déploiement zero-shot).
   • Un pipeline de perception visuelle (YOLOv5 pour la détection, U-Net pour la segmentation) estime les états du guide à partir de cadres de caméra monoculaire pour fournir des observations d'état en temps réel.

Contributions Clés

• Cadre VL-PR : Établissement d'un cadre reliant le raisonnement multimodal de haut niveau au RL pour faciliter la prise de décision intelligente à travers des anatomies vasculaires complexes.
• Adaptation de la Récompense Sensible au Contexte : Introduction d'une stratégie pour prioriser dynamiquement des objectifs concurrents (par exemple, équilibrer l'efficacité de la traversée avec la précision critique pour la sécurité) en fonction des états procéduraux inférés.
• Validation Physique : Démonstration sur un système robotique physique que le raisonnement procédural améliore la fiabilité des tâches et l'efficacité de la navigation dans des fantômes vasculaires réalistes et des structures anatomiques exigeantes.

Résultats Expérimentaux
Le cadre a été évalué à travers trois scénarios vasculaires distincts : coronariens, carotidiens et rénaux.

• Taux de Succès : La méthode VL-PR proposée a atteint un taux de succès de 100 % dans les interventions coronariennes et rénales, et de 97 % dans les interventions carotidiennes. Elle a nettement surpassé les bases de référence RL standard (SAC, PPO, TD3, DDPG), qui affichaient des taux de succès compris entre 60 % et 73 %. La performance correspond à celle d'une opération manuelle experte (93–100 %).
• Efficacité : La méthode a réduit de manière significative le nombre moyen d'étapes de navigation. Pour la navigation coronarienne, la méthode proposée a nécessité 41,6 étapes contre 80,6 étapes pour le SAC standard (une réduction de 48,4 %).
• Ablation : Le retrait du module de raisonnement MLLM (en utilisant une base basée sur des règles) a entraîné une chute de performance, avec des taux de succès tombant à 73–77 % et des comptes d'étapes augmentant significativement, confirmant le rôle critique de l'adaptation de la récompense sensible au contexte.
• Précision du Raisonnement : Le MLLM a atteint des précisions de classification d'état procédural comprises entre 91,2 % et 94,0 %, surpassant largement les bases de référence basées sur des règles (22–27 %).

Signification et Revendications
L'article affirme que le cadre VL-PR offre une solution évolutive pour les procédures endovasculaires robotisées complexes et multi-tâches en permettant à une politique unique de résoudre des objectifs concurrents tout en maintenant un objectif global constant. En découplant le raisonnement procédural de haut niveau du contrôle de mouvement de bas niveau, l'approche garantit la cohérence entre l'entraînement et le déploiement tout en améliant la robustesse à travers diverses anatomies. Les auteurs soutiennent que cette méthode améliore la fiabilité des tâches et rationalise l'efficacité de la navigation par rapport aux méthodes à récompense statique, offrant une voie vers des interventions robotiques plus autonomes et intelligentes capables de s'adapter aux défis variés de la navigation vasculaire réelle. Les travaux futurs identifiés consistent à étendre le raisonnement à des représentations structurées plus riches, à améliorer la généralisation sim-to-real et à incorporer des contraintes de sécurité formelles.