Learning Expert Strategy for Autonomous Robotic Endovascular Intervention via Decoupled Procedural Execution

Resumen Técnico: Estrategia de Aprendizaje de Experto para la Intervención Endovascular Robótica Autónoma mediante la Ejecución Procedimental Desacoplada

Planteamiento del Problema
Las intervenciones endovasculares son procedimientos de alto riesgo y mínimamente invasivos que requieren la manipulación precisa de guías y catéteres flexibles a través de anatomías vasculares complejas y tortuosas bajo guía fluoroscópica 2D. Estos procedimientos exigen una curva de aprendizaje pronunciada, resultan en tiempos de operación prolongados y exponen a los operadores a radiación sostenida. Un desafío crítico para automatizar estas tareas es la variabilidad en la habilidad del operador, lo que conduce a resultados procedimentales inconsistentes. Si bien el Aprendizaje por Refuerzo (RL) ha mostrado potencial para aprender políticas de navegación a partir de entornos simulados, los enfoques de aprendizaje existentes suelen tener dificultades con la satisfacción explícita de restricciones y las garantías de seguridad. Las políticas de RL puro tienden a producir decisiones localmente óptimas que se manifiestan como maniobras redundantes, pasos de navegación excesivos y una falta de robustez frente a condiciones de contacto inciertas, lo que potencialmente puede derivar en resultados riesgosos como colisiones con la pared del vaso. Por el contrario, los métodos de optimización puramente basados en modelos (por ejemplo, el Control Predictivo Basado en Modelo o MPC) a menudo no logran capturar la dinámica altamente no lineal y dependiente de la anatomía de los guías flexibles, particularmente bajo una detección incompleta.

Metodología
El artículo propone una estrategia de aprendizaje de experto que desacopla la toma de decisiones estratégicas de alto nivel de la ejecución procedimental de bajo nivel. Esta arquitectura imita el flujo de trabajo clínico de los intervencionistas, quienes separan la planificación global del procedimiento de la manipulación precisa del dispositivo. El marco consta de tres módulos primarios:

1. Percepción Visual y Estimación de Estado: El sistema procesa imágenes fluoroscópicas en tiempo real utilizando un modelo YOLOv5 para detectar la punta del guía y un backbone ResNet50 para extraer características visuales de alta dimensión que representan la anatomía vascular. Estas se combinan con datos de estado geométrico (posición de la punta, velocidad, orientación) y acciones de control previas para formar un vector de observación compuesto.
2. Política de Navegación Estratégica (RL): Un agente Soft Actor-Critic (SAC) es entrenado en un entorno de simulación vascular de alta fidelidad (usando el entorno Sim4EndoR). Esta política aprende intenciones de navegación global para maximizar el éxito de la tarea y la eficiencia a largo plazo. Crucialmente, la función de recompensa para el agente de RL se centra en la finalización de la tarea y la eficiencia de la trayectoria, pero no impone explícitamente restricciones duras de límites de la pared del vaso durante el entrenamiento. Esto permite que la política aprenda tácticas de alto nivel sin estar limitada por los límites de seguridad inmediatos.
3. Refinamiento de Movimiento Predictivo (MPC): Las acciones de control de referencia ($u_{RL}$) generadas por la política de RL se pasan a un módulo de Control Predictivo No Lineal (NMPC) descendente. Este módulo resuelve un problema de optimización con restricciones de horizonte finito en tiempo real. Utiliza un modelo cinemático simplificado del guía para predecir trayectorias futuras e impone explícitamente:
   • Límites cinemáticos: Umbrales de curvatura ($\kappa_{max}$) para prevenir la deformación del dispositivo.
   • Restricciones de seguridad: Distancia mínima de las paredes del vaso ($d_{min}$).
   • Límites de actuadores: Límites de velocidad y rotación.
     El NMPC filtra la salida del RL, asegurando que la acción ejecutada final ($u^*_0$) cumpla con las normas operativas expertas y las restricciones de seguridad, preservando al mismo tiempo la intención estratégica de la política de RL.

Contribuciones Clave

• Marco de RL con Restricciones Desacopladas: Los autores introducen una arquitectura novedosa que separa la adquisición de la intención estratégica (vía RL) de la imposición de restricciones operativas (vía optimización). Esta formulación se alinea con los flujos de trabajo clínicos y aborda las limitaciones del aprendizaje de extremo a extremo en dominios de seguridad crítica.
• Módulo de Refinamiento Predictivo en Línea: Se desarrolla una capa de NMPC especializada que incorpora explícitamente la cinemática del guía, las restricciones de curvatura y la adherencia a la línea central del vaso. Esto asegura el cumplimiento en tiempo real de las restricciones de seguridad y la suavidad de la trayectoria sin requerir que el agente de RL aprenda estas restricciones duras directamente.
• Validación Exhaustiva: El marco se valida mediante experimentos extensos tanto en un entorno de simulación 3D de alta fidelidad como en una plataforma robótica física (sistema ALL-VAS™) utilizando fantomas vasculares.

Resultados Experimentales
El marco propuesto fue evaluado contra políticas de RL base (SAC y DDPG) a través de múltiples geometrías anatómicas (arterias braquiocefálica, carótida y subclavia) y en ensayos con fantomas físicos.

• Desempeño en Simulación:

  • Tasa de Éxito: El marco integrado logró una tasa de éxito de >96% (específicamente 98% en la braquiocefálica y subclavia, 96% en la carótida), superando a las políticas base SAC (90-94%) y DDPG (84-92%).
  • Eficiencia: Hubo una reducción del 29.3% en los pasos operativos en comparación con las políticas de RL base, lo que indica una mejora en la eficiencia procedimental.
  • Consistencia de la Trayectoria: El marco demostró una estandarización superior, con una reducción del 13% en la varianza de la trayectoria (específicamente una reducción del 13.0% en la dispersión espacial a lo largo del eje de navegación primario y una reducción del 11.4% en el ancho lateral).
  • Estudio de Ablación: Se identificó un factor de ponderación de refinamiento óptimo ($\lambda_{MPC} = 0.1$), que equilibra la autonomía de la política con la imposición de restricciones. Los valores demasiado altos suprimían la estrategia aprendida, mientras que los valores demasiado bajos no lograban corregir los comportamientos oscilatorios.

• Validación Física (In Vitro):

  • Desplegado en una plataforma robótica con un fantoma vascular de silicona, el sistema logró una tasa de éxito del 90.0% (18/20 ensayos).
  • El tiempo de navegación promedio fue de 4.2 minutos con 156 pasos de control por ensayo.
  • Seguridad: Notablemente, se registraron cero violaciones de los límites del vaso en los experimentos físicos, demostrando la efectividad de la capa MPC para prevenir comportamientos inseguros a pesar de la brecha entre simulación y realidad (sim-to-real gap).

Significancia y Reivindicaciones
El artículo sostiene que este enfoque desacoplado logra cerrar la brecha entre la adaptabilidad de los métodos basados en el aprendizaje y las garantías de seguridad del control basado en la optimización. Al replicar el proceso de toma de decisiones clínicas expertas —donde la intención de alto nivel es distinta de la ejecución de bajo nivel— el marco mejora la predictibilidad, la seguridad y la consistencia de las intervenciones endovasculares robóticas. Los resultados sugieren que este paradigma puede estandarizar la calidad procedimental, reducir la carga de trabajo del operador y minimizar los riesgos de interacción entre el dispositivo y el vaso. Los autores señalan que, si bien la transición de la simulación a la realidad resultó en una modesta caída en el desempeño (atribuida a la fricción no modelada y las oclusiones visuales), el sistema mantuvo un estricto cumplimiento de la seguridad. Se propone como trabajo futuro integrar modelos biomecánicos de mayor fidelidad y realizar ensayos animales in vivo para validar aún más la eficacia clínica.