Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

Resumen Técnico: Razonamiento Procedural de Visión-Lenguaje para el Modelado de Recompensas Consciente del Contexto en la Navegación de Guías Endovasculares Robóticas

Planteamiento del Problema
Las intervenciones endovasculares asistidas por robot requieren una navegación precisa y estable de guías a través de anatomías vasculares complejas y específicas de cada paciente. Si bien el aprendizaje por refuerzo (RL) ha emergido como un marco para mapear la retroalimentación sensorial hacia la actuación, los métodos actuales de navegación autónoma enfrentan limitaciones significativas. La mayoría de los enfoques existentes dependen de funciones de recompensa estáticas optimizadas para todo el continuo procedimental. Esta formulación estática no logra abordar las demandas heterogéneas y dependientes de la fase de la navegación en el mundo real, donde los modos operativos deben cambiar dinámicamente (por ejemplo, progresión rápida en segmentos rectos frente a dirección estratégica en bifurcaciones). Además, los marcos existentes carecen de un mecanismo para integrar el razonamiento contextual de alto nivel para proporcionar retroalimentación consciente de la etapa, lo que conduce a compensaciones subóptimas entre eficiencia, seguridad y precisión en tareas de largo horizonte.

Metodología
Para abordar estos desafíos, los autores proponen un marco de Razonamiento Procedural de Visión-Lenguaje (VL-PR). Este enfoque integra un Modelo de Lenguaje Grande Multimodal (MLLM) como un módulo de razonamiento procedimental dentro de un flujo de trabajo de RL unificado. La innovación central no reside en generar comandos de control de bajo nivel directamente, sino en utilizar el MLLM para inferir contextos de navegación de alto nivel que adapten dinámicamente la función de recompensa.

1. Módulo de Razonamiento Procedural (MLLM):

   • El MLLM (específicamente un núcleo Qwen2.5-VL-3B-Instruct, ajustado mediante 4-bit QLoRA) procesa observaciones multimodales en tiempo real, incluyendo imágenes vasculares locales, configuraciones de la punta de la guía y pistas geométricas (dirección de la línea central, curvatura, bifurcaciones).
   • Infiere un estado procedimental discreto $g_t$ de un espacio definido: $\{cruise, bifurcation, retraction, final\ align\}$ (crucero, bifurcación, retracción, alineación final).
   • El módulo se entrena utilizando etiquetas semánticas derivadas de expertos con una función de pérdida que combina entropía cruzada categórica, regularización de consistencia temporal y regularización de entropía para evitar predicciones excesivamente confiadas en regiones ambiguas.

2. Adaptación de Recompensa Consciente del Contexto:

   • En lugar de cambiar las políticas o aumentar las entradas de la política con variables semánticas, el marco mantiene una única política de control unificada (implementada mediante Soft Actor-Critic, SAC).
   • La función de recompensa $r_t$ se descompone en cuatro componentes interpretables: progreso ($\phi_{prog}$), seguridad ($\phi_{safe}$), desviación de la línea central ($\phi_{dev}$) y estabilidad de flexión ($\phi_{bend}$).
   • La distribución procedimental inferida por el MLLM $p_\psi(g_t | o_t)$ modula una matriz de pesos dependiente del estado $W_g(\xi_t)$. Esta matriz ajusta dinámicamente la importancia de los componentes de recompensa basándose en la fase actual y un indicador de riesgo $\xi_t$.
     • Cruise (Crucero): Enfatiza la eficiencia; las penalizaciones de seguridad aumentan con el riesgo.
     • Bifurcation (Bifurcación): Prioriza la alineación geométrica y la capacidad de dirección.
     • Retraction (Retracción): Suprime las recompensas de progreso para fomentar la retirada cuando los riesgos de contacto con la pared o de fallo son altos.
     • Final Align (Alineación Final): Cambia la prioridad hacia la precisión geométrica.

3. Entrenamiento y Despliegue:

   • El entrenamiento ocurre en una simulación de alta fidelidad basada en física (framework SOFA) que actúa como un gemelo digital de un fantoma vascular físico.
   • La política aprendida se despliega en una plataforma robótica física (sistema ALLVAS™) sin ajuste adicional (despliegue zero-shot).
   • Un flujo de percepción visual (YOLOv5 para detección, U-Net para segmentación) estima los estados de la guía a partir de fotogramas de cámara monocromática para proporcionar observaciones de estado en tiempo real.

Contribuciones Clave

• Marco VL-PR: Establecimiento de un marco que une el razonamiento multimodal de alto nivel con el RL para facilitar la toma de decisiones inteligente a través de anatomías vasculares complejas.
• Adaptación de Recompensa Consciente del Contexto: Introducción de una estrategia para priorizar dinámicamente objetivos contrapuestos (por ejemplo, equilibrar la eficiencia de trayectoria con la precisión crítica de seguridad) basándose en los estados procedimentales inferidos.
• Validación Física: Demostración en un sistema robótico físico de que el razonamiento procedimental mejora la fiabilidad de la tarea y la eficiencia de la navegación en fantomas vasculares realistas y estructuras anatómicas desafiantes.

Resultados Experimentales
El marco fue evaluado en tres escenarios vasculares distintos: coronario, carotídeo y renal.

• Tasa de Éxito: El método propuesto VL-PR logró una tasa de éxito del 100% en las intervenciones coronarias y renales y del 97% en la intervención carotídea. Esto superó significativamente a los modelos base de RL estándar (SAC, PPO, TD3, DDPG), que oscilaron entre el 60% y el 73% de tasa de éxito. El rendimiento igualó al de la operación manual experta (93–100%).
• Eficiencia: El método redujo significativamente el número promedio de pasos de navegación. Para la navegación coronaria, el método propuesto requirió 41.6 pasos en comparación con los 80.6 pasos del SAC estándar (una reducción del 48.4%).
• Ablación: Eliminar el módulo de razonamiento MLLM (usando un modelo base basado en reglas) resultó en una caída del rendimiento, con tasas de éxito que cayeron al 73–77% y un aumento significativo en el conteo de pasos, confirmando el papel crítico de la adaptación de recompensa consciente del contexto.
• Precisión del Razonamiento: El MLLM alcanzó precisiones de clasificación de estado procedimental entre el 91.2% y el 94.0%, superando ampliamente a los modelos base basados en reglas (22–27%).

Significancia y Reivindicaciones
El artículo afirma que el marco VL-PR ofrece una solución escalable para procedimientos endovasculares robóticos complejos y multitarea al permitir que una única política resuelva objetivos contrapuestos mientras mantiene un objetivo global de tarea consistente. Al desacoplar el razonamiento procedimental de alto nivel del control de movimiento de bajo nivel, el enfoque asegura la consistencia entre el entrenamiento y el despliegue, mejorando al mismo tiempo la robustez a través de diversas anatomías. Los autores sostienen que este método mejora la fiabilidad de la tarea y agiliza la eficiencia de la navegación en comparación con los métodos de recompensa estática, proporcionando un camino hacia intervenciones robóticas más autónomas e inteligentes que pueden adaptarse a los diversos desafíos de la navegación vascular del mundo real. Se identifica como trabajo futuro la extensión del razonamiento a representaciones estructuradas más ricas, la mejora de la generalización sim-to-real y la incorporación de restricciones de seguridad formales.