Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

技术摘要：面向机器人血管内导丝导航中上下文感知奖励建模的视觉-语言程序化推理

问题陈述
机器人辅助的血管内介入手术需要在复杂且具有患者特异性的血管解剖结构中实现精确、稳定的导丝导航。虽然强化学习（RL）已成为将感觉反馈映射到执行动作的有效框架，但目前的自主导航方法仍面临显著局限。大多数现有方法依赖于在整个程序过程中优化的静态奖励函数。这种静态表述无法应对现实世界导航中异质且依赖阶段的需求，例如在直线段进行快速推进与在分叉处进行策略性转向之间的模式切换。此外，现有框架缺乏集成高层上下文推理机制来提供阶段感知反馈的能力，导致在长程任务中难以在效率、安全性与精准度之间取得最优权衡。

方法论
为了解决这些挑战，作者提出了一个**视觉-语言程序化推理（VL-PR）**框架。该方法将多模态大语言模型（MLLM）作为程序化推理模块集成到统一的强化学习流水线中。其核心创新不在于直接生成低层控制指令，而在于利用 MLLM 推断高层导航上下文，从而动态调整奖励函数。

1. 程序化推理模块 (MLLM)：

   • MLLM（具体采用经过 4-bit QLoRA 微调的 Qwen2.5-VL-3B-Instruct 主干网络）处理实时多模态观测数据，包括局部血管图像、导丝尖端构型以及几何线索（中心线方向、曲率、分叉）。
   • 它从定义的空间 $\{cruise, bifurcation, retraction, final\ align\}$ 中推断出一个离散的程序状态 $g_t$。
   • 该模块使用专家衍生的语义标签进行训练，其损失函数结合了分类交叉熵、时间一致性正则化以及熵正则化，以防止在模糊区域产生过度自信的预测。

2. 上下文感知奖励自适应：

   • 该框架并非通过切换策略或在策略输入中增加语义变量，而是维持一个统一的控制策略（通过 Soft Actor-Critic, SAC 实现）。
   • 奖励函数 $r_t$ 被分解为四个可解释的组成部分：进度 ($\phi_{prog}$)、安全性 ($\phi_{safe}$)、偏离中心线程度 ($\phi_{dev}$) 以及弯曲稳定性 ($\phi_{bend}$)。
   • MLLM 推断的程序分布 $p_\psi(g_t | o_t)$ 用于调节状态相关的权重矩阵 $W_g(\xi_t)$。该矩阵根据当前阶段和风险指标 $\xi_t$ 动态调整各奖励组件的重要性。
     • 巡航 (Cruise)： 强调效率；安全性惩罚随风险增加。
     • 分叉 (Bifurcation)： 优先考虑几何对齐与可转向性。
     • 撤回 (Retraction)： 抑制进度奖励，以在发生壁接触或失败风险较高时鼓励撤回。
     • 最终对准 (Final Align)： 将优先级转向几何精度。

3. 训练与部署：

   • 训练在基于物理的高保真模拟器（SOFA 框架）中进行，该模拟器作为物理血管模型的数字孪生体。
   • 学习到的策略被部署在物理机器人平台（ALLVAS™ 系统）上，无需额外的微调（零样本部署）。
   • 视觉感知流水线（使用 YOLOv5 进行检测，U-Net 进行分割）通过单目相机帧估计导丝状态，以提供实时状态观测。

核心贡献

• VL-PR 框架： 建立了一个连接高层多模态推理与强化学习的框架，以促进在复杂血管解剖结构中的智能决策。
• 上下文感知奖励自适应： 引入了一种策略，能够根据推断的程序状态，动态地在竞争性目标（例如，在遍历效率与安全性关键精度之间进行平衡）之间分配优先级。
• 物理验证： 在物理机器人系统上的演示表明，程序化推理增强了在真实血管模型及具有挑战性的解剖结构中的任务可靠性和导航效率。

实验结果
该框架在三种不同的血管场景中进行了评估：冠状动脉、颈动脉和肾动脉介入。

• 成功率： 所提出的 VL-PR 方法在冠状动脉和肾动脉介入中实现了 100% 的成功率，在颈动脉介入中达到了 97%。这显著优于标准的强化学习基线（SAC, PPO, TD3, DDPG），后者的成功率在 60% 到 73% 之间。其表现与专家手动操作（93–100%）相当。
• 效率： 该方法显著减少了平均导航步数。对于冠状动脉导航，所提方法仅需 41.6 步，而标准 SAC 需要 80.6 步（减少了 48.4%）。
• 消融实验： 去除 MLLM 推理模块（使用基于规则的基线）会导致性能下降，成功率降至 73–77%，且步数显著增加，证实了上下文感知奖励自适应的关键作用。
• 推理准确度： MLLM 实现的程序状态分类准确率在 91.2% 至 94.0% 之间，远高于基于规则的基线（22–27%）。

意义与主张
本文声称，VL-PR 框架通过使单一策略能够在保持一致全局任务目标的同时解决竞争性目标，为复杂的、多任务的机器人血管内程序提供了一种可扩展的解决方案。通过将高层程序化推理与低层运动控制解耦，该方法确保了训练与部署之间的一致性，同时提高了在不同解剖结构下的鲁棒性。作者断言，与静态奖励方法相比，该方法提升了任务可靠性并优化了导航效率，为实现能够适应现实世界血管导航多样化挑战的更具自主性和智能化的机器人介入技术提供了路径。未来的工作确定为将推理扩展到更丰富的结构化表示、提高模拟到现实的泛化能力，以及引入形式化安全约束。