Learning Expert Strategy for Autonomous Robotic Endovascular Intervention via Decoupled Procedural Execution

技術要約：デカップリングされた手順実行による自律型ロボット血管内治療のための学習エキスパート戦略

問題提起
血管内介入は、複雑で屈曲した血管解剖学的構造内において、2D透視ガイダンスの下で柔軟なガイドワイヤーやカテーテルを精密に操作する必要がある、極めてリスクの高い低侵襲処置である。これらの処置には習熟に長い時間を要し、手術時間の延長や、術者の持続的な被曝を招く。自動化における重要な課題は、術者のスキルのばらつきであり、これが手順の成果の不一致を引き起こす。強化学習（RL）は、シミュレーション環境からナビゲーション・ポリシーを学習することにおいて有望であることを示してきたが、既存の学習ベースのアプローチは、明示的な制約充足と安全性の保証において困難に直面することが多い。純粋なRLポリシーは、局所的に最適な決定を下す傾向があり、それが冗長な動作、過剰なナビゲーションステップ、および不確かな接触条件に対する堅牢性の欠如として現れ、血管壁への衝突といったリスクの高い結果を招く可能性がある。逆に、純粋なモデルベースの最適化手法（例：モデル予測制御）は、不完全なセンシング下における、柔軟なガイドワイヤーの高度に非線形で解剖学に依存するダイナミクスを捉えることができないことが多い。

手法
本論文は、高レベルの戦略的意思決定と低レベルの手順実行をデカップリング（分離）する「学習エキスパート戦略」を提案している。このアーキテクチャは、グローバルな手順計画と精密なデバイス操作を分離する介入医の臨床ワークフローを模倣している。このフレームワークは、主に3つのモジュールで構成される。

1. 視覚的知覚と状態推定： システムは、YOLOv5モデルを用いてリアルタイムの透視画像からガイドワイヤーの先端を検出し、ResNet50バックボーンを用いて血管解剖を表現する高次元の視覚的特徴を抽出する。これらは、幾何学的な状態データ（先端の位置、速度、方位）および過去の制御アクションと組み合わされ、複合的な観測ベクトルを形成する。
2. 戦略的ナビゲーション・ポリシー（RL）： Soft Actor-Critic（SAC）エージェントが、高精度な3D血管シミュレーション（Sim4EndoR環境）内で訓練される。このポリシーは、長期的なタスク成功と効率を最大化するためのグローバルなナビゲーション・インテント（意図）を学習する。決定的な点として、RLエージェントの報酬関数はタスクの完了と経路効率に焦点を当てており、訓練中に血管壁の境界制約を明示的に強制することはない。これにより、ポリシーは即時的な安全限界に縛られることなく、高レベルの戦術を学習できる。
3. 予測的運動精緻化（MPC）： RLポリシーによって生成された参照制御アクション（$u_{RL}$）は、ダウンストリームの非線形モデル予測制御（NMPC）モジュールに渡される。このモジュールは、リアルタイムで有限ホライゾンの制約付き最適化問題を解く。これは、ガイドワイヤーの簡略化された運動学的モデルを利用して将来の軌跡を予測し、以下の事項を明示的に強制する：
   • 運動学的制限： デバイスの変形を防ぐための曲率閾値（$\kappa_{max}$）。
   • 安全性制約： 血管壁からの最小クリアランス（$d_{min}$）。
   • アクチュエータ制限： 速度および回転の境界。
     NMPCはRLの出力をフィルタリングし、最終的に実行されるアクション（$$u^*_0$$）が、RLポリシーの戦略的意図を維持しつつ、エキスパートの運用規範および安全制約を遵守することを保証する。

主な貢献

• 制約デカップリング型RLフレームワーク： 著者らは、戦略的意図の獲得（RLによる）と運用的制約の強制（最適化による）を分離する新しいアーキテクチャを導入している。この定式化は臨床ワークフローと一致しており、安全性が極めて重要な領域におけるエンドツーエンド学習の限界に対処している。
• オンライン予測精緻化モジュール： ガイドワイヤーの運動学、曲率制約、および血管中心線への追従を明示的に組み込んだ、特化したNMPCレイヤーが開発された。これにより、RLエージェントがこれらのハード制約を直接学習する必要なく、安全制約へのリアルタイムの適合と軌跡の滑らかさが確保される。
• 包括的な検証： 本フレームワークは、高精度3Dシミュレーション環境および物理的ロボットプラットフォーム（ALL-VAS™システム）を用いた血管ファントムを用いた広範な実験を通じて検証されている。

実験結果
提案されたフレームワークは、複数の解剖学的形状（腕頭動脈、頸動脈、鎖骨下動脈）および物理的ファントム試験において、ベースラインのRLポリシー（SACおよびDDPG）と比較して評価された。

• シミュレーション性能：

  • 成功率： 統合されたフレームワークは、96%以上の成功率（具体的には腕頭動脈と鎖骨下動脈で98%、頸動脈で96%）を達成し、ベースラインのSAC（90-94%）およびDDPG（84-92%）を上回った。
  • 効率性： ベースラインのRLポリシーと比較して、運用ステップが29.3%減少し、手順の効率性が向上したことを示した。
  • 軌跡の一貫性： フレームワークは優れた標準化を示し、軌跡の分散が減少した（具体的には主要なナビゲーション軸に沿った空間的な広がりが13.0%減少、横幅が11.4%減少）。
  • アブレーション研究： ポリシーの自律性と制約強制のバランスをとるための最適な精緻化重み係数（$\lambda_{MPC} = 0.1$）が特定された。値が高すぎると学習された戦略が抑制され、低すぎると振動挙動の修正に失敗した。

• 物理的（In Vitro）検証：

  • シリコン血管ファントムを用いたロボットプラットフォームに展開した結果、システムは90.0%の成功率（20試行中18回）を達成した。
  • 平均ナビゲーション時間は4.2分で、1試行あたり156の制御ステップを要した。
  • 安全性： 特筆すべきことに、物理実験において血管境界への違反はゼロであり、シミュレーションから現実への移行（sim-to-real gap）にもかかわらず、MPCレイヤーが安全な挙動を防止する有効性を示した。

意義と主張
本論文は、このデカップルド（分離された）アプローチが、学習ベースの手法の適応性と最適化ベースの制御の安全性保証との間の溝を埋めることに成功したと主張している。高レベルの意図が低レベルの実行とは別個であるという、エキスパートの臨床的な意思決定プロセスを再現することで、本フレームワークはロボットによる血管内介入の予測可能性、安全性、および一貫性を高める。結果は、このパラダイムが手順の質を標準化し、術者のワークロードを軽減し、デバイスと血管の相互作用のリスクを最小限に抑えられることを示唆している。著者らは、シミュレーションから現実への移行により、わずかな性能低下（未モデル化の摩擦や視覚的な遮蔽に起因）が見られたものの、システムは厳格な安全遵守を維持したと述べている。今後の課題として、より高精度なバイオメカニカルモデルの統合、および臨床的有効性をさらに検証するための in vivo 動物実験が提案されている。