Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

技術要約：コンテキストを考慮したロボット血管内ガイドワイヤナビゲーションのための、視覚・言語的プロシージャル推論を用いた報酬モデリング

問題提起
ロボット支援による血管内介入には、複雑で患者固有の血管解剖学的構造内における、ガイドワイヤの精密かつ安定したナビゲーションが必要である。強化学習（RL）は、感覚フィードバックを動作へとマッピングするためのフレームワークとして台頭しているが、現在の自律ナビゲーション手法には重大な限界がある。既存のアプローチの多くは、プロセス全体にわたって最適化された静的な報酬関数に依存している。この静的な定式化は、現実世界のナビゲーションにおけるヘテロジニアス（不均一）でフェーズ依存的な要求（例：直線部での急速な進行と、分岐部での戦略的なステアリングの切り替え）に対処できていない。さらに、既存のフレームワークには、高レベルのコンテキスト推論を統合してフェーズに応じたフィードバックを提供するメカニズムが欠けており、長期的なタスクにおいて効率性、安全性、および精度の最適なトレードオフを実現できていない。

手法
これらの課題に対処するため、著者らは**視覚・言語的プロシージャル推論（VL-PR）**フレームワークを提案する。このアプローチは、マルチモーダル大規模言語モデル（MLLM）を、統一されたRLパイプライン内のプロシージャル推論モジュールとして統合するものである。核心となる革新性は、低レベルの制御コマンドを直接生成することではなく、MLLMを使用して高レベルのナビゲーション・コンテキストを推論し、報酬関数を動的に適応させることにある。

1. プロシージャル推論モジュール (MLLM):

   • MLLM（具体的には、4ビットQLoRAによりファインチューニングされたQwen2.5-VL-3B-Instructバックボーン）は、局所的な血管画像、ガイドワイヤ先端の構成、および幾何学的キュー（中心線の方向、曲率、分岐）を含むリアルタイムのマルチモーダル観測を処理する。
   • 定義された空間 $\{cruise, bifurcation, retraction, final\ align\}$ から、離散的なプロシージャル状態 $g_t$ を推論する。
   • このモジュールは、カテゴリカルクロスエントロピー、時間的一貫性の正則化、および曖昧な領域における過剰な確信を防止するためのエントロピー正則化を組み合わせた損失関数を用いて、エキスパート由来のセマンティックラベルを用いて学習される。

2. コンテキストを考慮した報酬適応:

   • ポリシーを切り替えたり、セマンティック変数を用いてポリシーの入力を拡張したりする代わりに、本フレームワークは単一の統一された制御ポリシー（Soft Actor-Critic, SACによって実装）を維持する。
   • 報酬関数 $r_t$ は、4つの解釈可能なコンポーネント（進行度 $\phi_{prog}$、安全性 $\phi_{safe}$、中心線からの偏差 $\phi_{dev}$、および曲げの安定性 $\phi_{bend}$）に分解される。
   • MLLMが推論したプロシージャル分布 $p_\psi(g_t | o_t)$ は、状態依存の重み行列 $W_g(\xi_t)$ を調整する。この行列は、現在のフェーズとリスク指標 $\xi_t$ に基づいて、報酬コンポーネントの重要性を動的に調整する。
     • Cruise (巡航): 効率性を強調し、リスクに応じて安全ペナルティが増加する。
     • Bifurcation (分岐): 幾何学的な整列とステアリング性能を優先する。
     • Retraction (後退): 壁への接触や失敗のリスクが高い場合に、後退を促すため進行報酬を抑制する。
     • Final Align (最終整列): 幾何学的な精度への優先度をシフトさせる。

3. 学習と展開:

   • 学習は、物理的な血管ファントムのデジタルツインとして機能する高忠実度の物理ベースシミュレーション（SOFAフレームワーク）内で行われる。
   • 学習されたポリシーは、追加のファインチューニングなしで（ゼロショット展開）、物理的なロボットプラットフォーム（ALLVAS™システム）に展開される。
   • 視覚認識パイプライン（単眼カメラフレームからガイドワイヤの状態を推定するためのYOLOv5による検出およびU-Netによるセグメンテーション）が、リアルタイムの状態観測を提供する。

主な貢献

• VL-PRフレームワーク: 高レベルのマルチモーダル推論とRLを橋渡し、複雑な血管解剖学的構造におけるインテリジェントな意思決定を促進するフレームワークの確立。
• コンテキストを考慮した報酬適応: 推論されたプロシージャル状態に基づき、競合する目的（例：通過効率と安全性に直結する精度のバランス）を動的に優先させる戦略の導入。
• 物理的検証: 物理的なロボットシステムを用いた検証により、プロシージャル推論が現実的な血管ファントムおよび困難な解剖学的構造において、タスクの信頼性とナビゲーション効率を向上させることを実証。

実験結果
本フレームワークは、冠動脈、頸動脈、および腎血管の3つの異なる血管シナリオで評価された。

• 成功率: 提案されたVL-PR法は、冠動脈および腎血管介入において100%の成功率を達成し、頸動脈介入では**97%**を達成した。これは、成功率が60%から73%の範囲であった標準的なRLベースライン（SAC, PPO, TD3, DDPG）を大幅に上回る結果である。また、エキスパートによる手技（93–100%）に匹敵する性能を示した。
• 効率性: 本手法は、平均ナビゲーションステップ数を大幅に削減した。冠動脈ナビゲーションにおいて、提案手法は標準的なSACの80.6ステップに対し、41.6ステップを要した（48.4%の削減）。
• アブレーション解析: MLLM推論モジュールを除去した場合（ルールベースのベースラインを使用）、成功率は73–77%に低下し、ステップ数も大幅に増加した。これにより、コンテキストを考慮した報酬適応における、コンテキスト認識の決定的な役割が確認された。
• 推論精度: MLLMは、プロシージャル状態の分類において**91.2%から94.0%**の精度を達成し、ルールベースのベースライン（22–27%）を圧倒した。

意義と主張
本論文は、VL-PRフレームワークが、単一のポリシーが競合する目的を解決しつつ一貫したグローバルなタスク目標を維持することを可能にすることで、複雑でマルチタスクな血管内処置に対するスケーラブルなソリューションを提供すると主張している。高レベルのプロシージャル推論を低レベルの運動制御から分離することで、このアプローチは、トレーニングと展開の間の一貫性を確保し、多様な解剖学的構造に対する堅牢性を向上させる。著者らは、この手法が静的な報酬を用いた手法と比較して、タスクの信頼性を高め、ナビゲーションの効率を合理化することを主張している。これは、現実世界の血管ナビゲーションにおける様々な課題に適応できる、より自律的でインテリジェントなロボット介入への道を開くものである。今後の課題として、より豊かな構造化表現への推論の拡張、sim-to-real（シミュレーションから実機への）汎化の向上、および形式的な安全制約の組み込みが挙げられている。