Learning Expert Strategy for Autonomous Robotic Endovascular Intervention via Decoupled Procedural Execution

Résumé Technique : Stratégie d'Expertise par Apprentissage pour l'Intervention Endovasculaire Robotisée Autonome via une Exécution Procédurale Découplée

Énoncé du Problème
Les interventions endovasculaires sont des procédures hautement critiques et peu invasives qui nécessitent la manipulation précise de guides et de cathéters flexibles à travers des anatomies vasculaires complexes et tortueuses sous guidage fluoroscopique 2D. Ces procédures exigent une courbe d'apprentissage abrupte, entraînent des temps opératoires prolongés et exposent les opérateurs à une exposition prolongée aux radiations. Un défi critique de l'automatisation de ces tâches est la variabilité de la compétence de l'opérateur, ce qui conduit à des résultats procéduraux incohérents. Bien que l'apprentissage par renforcement (RL) ait montré des promesses pour l'apprentissage de politiques de navigation à partir d'environnements simulés, les approches basées sur l'apprentissage existantes peinent souvent à satisfaire explicitement les contraintes et à garantir la sécurité. Les politiques de RL pur ont tendance à produire des décisions localement optimales qui se manifestent par des manœuvres redondantes, des étapes de navigation excessives et un manque de robustesse face aux conditions de contact incertaines, ce qui peut potentiellement mener à des résultats risqués tels que des collisions avec la paroi vasculaire. Inversement, les méthodes d'optimisation purement basées sur des modèles (par exemple, le contrôle prédictif basé sur le modèle ou MPC) échouent souvent à capturer la dynamique hautement non linéaire et dépendante de l'anatomie des guides flexibles, particulièrement en cas de détection incomplète.

Méthodologie
Le document propose une stratégie d'expertise par apprentissage qui découple la prise de décision stratégique de haut niveau de l'exécution procédurale de bas niveau. Cette architecture reflète le flux de travail clinique des interventionnistes, qui séparent la planification procédurale globale de la manipulation précise des dispositifs. Le cadre se compose de trois modules principaux :

1. Perception Visuelle et Estimation d'État : Le système traite les images fluoroscopiques en temps réel à l'aide d'un modèle YOLOv5 pour détecter l'extrémité du guide et d'un squelette ResNet50 pour extraire des caractéristiques visuelles de haute dimension représentant l'anatomie vasculaire. Ceux-ci sont combinés avec des données d'état géométriques (position de l'extrémité, vitesse, orientation) et les actions de contrôle précédentes pour former un vecteur d'observation composite.
2. Politique de Navigation Stratégique (RL) : Un agent Soft Actor-Critic (SAC) est entraîné dans un environnement de simulation vasculaire haute fidélité (utilisant l'environnement Sim4EndoR). Cette politique apprend des intentions de navigation globales pour maximiser le succès de la tâche et l'efficacité à long terme. Crucialement, la fonction de récompense pour l'agent RL se concentre sur l'achèvement de la tâche et l'efficacité du chemin, mais ne force pas explicitement les contraintes de limites de paroi vasculaire lors de l'entraînement. Cela permet à la politique d'apprendre des tactiques de haut niveau sans être contrainte par des limites de sécurité immédiates.
3. Raffinement de Mouvement Prédictif (MPC) : Les actions de contrôle de référence ($u_{RL}$) générées par la politique RL sont transmises à un module de contrôle prédictif non linéaire (NMPC) en aval. Ce module résout un problème d'optimisation contraint à horizon fini en temps réel. Il utilise un modèle cinématique simplifié du guide pour prédire les trajectoires futures et impose explicitement :
   • Les limites cinématiques : Seuils de courbure ($\kappa_{max}$) pour prévenir la déformation du dispositif.
   • Les contraintes de sécurité : Distance minimale par rapport aux parois vasculaires ($d_{min}$).
   • Les limites d'actionneur : Bornes de vitesse et de rotation.
     Le NMPC filtre la sortie du RL, garantissant que l'action exécutée finale ($u^*_0$) respecte les normes opérationnelles de l'expert et les contraintes de sécurité tout en préservant l'intention stratégique de la politique RL.

Contributions Clés

• Cadre de RL à Contraintes Découplées : Les auteurs introduisent une architecture novatrice qui sépare l'acquisition de l'intention stratégique (via le RL) de l'application des contraintes opérationnelles (via l'optimisation). Cette formulation s'aligne sur les flux de travail cliniques et répond aux limites de l'apprentissage de bout en bout dans les domaines critiques pour la sécurité.
• Module de Raffinement Prédictif en Ligne : Une couche NMPC spécialisée est développée, intégrant explicitement la cinématique du guide, les contraintes de courbure et l'adhérence au centre de la veine. Cela assure la conformité en temps réel aux contraintes de sécurité et la lissité de la trajectoire sans exiger que l'agent RL apprenne directement ces contraintes strictes.
• Validation Complète : Le cadre est validé par des expériences approfondies dans un environnement de simulation 3D haute fidélité et sur une plateforme robotique physique (système ALL-VAS™) utilisant des fantômes vasculaires.

Résultats Expérimentaux
Le cadre proposé a été évalué par rapport à des politiques RL de base (SAC et DDPG) à travers plusieurs géométries anatomiques (artères brachio-céphalique, carotide et sous-clavière) et lors d'essais sur fantôme physique.

• Performance de Simulation :

  • Taux de Succès : Le cadre intégré a atteint un taux de réussite de >96 % (spécifiquement 98 % pour la brachio-céphalique et la sous-clavière, 96 % pour la carotide), surpassant les politiques de base SAC (90-94 %) et DDPG (84-92 %).
  • Efficacité : Il y a eu une réduction de 29,3 % des étapes opérationnelles par rapport aux politiques RL de base, indiquant une meilleure efficacité procédurale.
  • Cohérence de Trajectoire : Le cadre a démontré une standardisation supérieure, avec une réduction de 13 % de la variance de la trajectoire (spécifiquement une réduction de 13,0 % de l'étalement spatial le long de l'axe de navigation primaire et une réduction de 11,4 % de la largeur latérale).
  • Étude d'Ablation : Un facteur de pondération de raffinement optimal ($\lambda_{MPC} = 0,1$) a été identifié, équilibrant l'autonomie de la politique et l'application des contraintes. Des valeurs trop élevées ont supprimé la stratégie apprise, tandis que des valeurs trop faibles n'ont pas réussi à corriger les comportements oscillatoires.

• Validation Physique (In Vitro) :

  • Déployé sur une plateforme robotique avec un fantôme vasculaire en silicone, le système a atteint un taux de réussite de 90,0 % (18/20 essais).
  • Le temps de navigation moyen était de 4,2 minutes avec 156 étapes de contrôle par essai.
  • Sécurité : Notamment, aucune violation de la paroi vasculaire n'a été enregistrée lors des expériences physiques, démontrant l'efficacité de la couche MPC pour prévenir les comportements dangereux malgré le fossé sim-to-real.

Signification et Revendications
L'article affirme que cette approche découplée réussit à combler le fossé entre l'adaptabilité des méthodes basées sur l'apprentissage et les garanties de sécurité du contrôle basé sur l'optimisation. En reproduisant le processus de décision clinique de l'expert — où l'intention de haut niveau est distincte de l'exécution de bas niveau — le cadre améliore la prévisibilité, la sécurité et la cohérence des interventions endovasculaires robotisées. Les résultats suggèrent que ce paradigme peut standardiser la qualité procédurale, réduire la charge de travail de l'opérateur et minimiser les risques d'interaction dispositif-vaisseau. Les auteurs notent que, bien que la transition de la simulation à la réalité ait entraîné une baisse de performance modeste (attribuée à la friction non modélisée et aux occlusions visuelles), le système a maintenu une stricte conformité de sécurité. Des travaux futurs sont proposés pour intégrer des modèles biomécaniques de plus haute fidélité et mener des essais animaux in vivo pour valider davantage l'efficacité clinique.