Towards Real-Time Autonomous Navigation: Transformer-Based Catheter Tip Tracking in Fluoroscopy

技術サマリー：リアルタイム自律ナビゲーションに向けて：蛍光透視下におけるトランスフォーマーベースのカテーテル先端追跡

問題提起
機械的血栓除去術（MT）は、大血管閉塞性脳卒中に対する重要な介入手段であるが、その有効性は時間的制約に左右され、局所治療へのアクセス不足によって制限されている。血管内ロボットプラットフォームや強化学習（RL）に基づく自律ナビゲーションは潜在的な解決策を提供するが、現在の RL アプローチは、機能するためにデバイス先端座標（カテーテルとガイドワイヤー）の正確なリアルタイム追跡を必要とする。既存のデバイス追跡手法は、低コントラスト、ノイズ、モーションブラー、デバイス遮蔽といった臨床的に現実的な条件下では困難に直面する。さらに、合成データやファントムデータで訓練された深層学習モデルが、特にデバイスが部分的に隠れている場合、in vivoの臨床的蛍光透視画像へ一般化できるかどうかは不明なままである。可変的な画像モダリティ全体で動作できる堅牢なリアルタイム追跡パイプラインの欠如は、自律ナビゲーションを in silico シミュレーションから臨床応用へ移行させることを阻害している。

手法
著者は、困難な蛍光透視条件下で動作するように設計された、マルチスレッドのリアルタイムカテーテルおよびガイドワイヤー先端追跡パイプラインを提案する。このシステムは、4 つの非同期ステージを統合している：

1. リーダー：フレームの欠落を防ぐために、推論速度とは独立して生の蛍光透視画像またはビデオフレームを捕捉する。
2. 前処理：フレームをリサイズし、正規化し、テンソル形式に変換する。
3. 推論：フレームを訓練されたセグメンテーションモデルに通す。大規模な画像の場合、品質とメモリをバランスさせるために、重なり合うパッチを用いたスライドウィンドウアプローチが使用される。
4. 後処理：コンポーネントの結合、アーティファクト除去、およびスケルトン化を通じてセグメンテーションマスクを精緻化する。重要なのは、2 段階のコンポーネントフィルタリングと 1 ピクセルのメディアルスケルトン化を採用して終点を特定することである。モーションブラーや遮蔽に対する追跡を安定させるため、システムはスケルトンに沿って 3 点をサンプリングする：主要な先端（$T_0$）と、それぞれ 5 ピクセルおよび 10 ピクセルの位置にある 2 つのダウンストリーム点（$T_1, T_2$）である。

モデルアーキテクチャ
3 つの深層学習セグメンテーションアーキテクチャが、CathAction データセット（in vitroファントムおよび in vivoブタ被験体からの 25,000 枚のピクセルレベルマスク）を用いて訓練され、ベンチマーク評価された：

• 標準 U-Net：リアルタイムのメモリ制約を満たすために AdamW で最適化された、修正された 16 チャンネルベースの U-Net。以前の文献における元の 64 チャンネル SGD 実装とは異なる。
• U-Net + トランスフォーマー：より広範な文脈を捉えるために、U-Net のボトルネックを 16 レイヤー、16 ヘッドの自己注意トランスフォーマーモジュールに置き換える。
• SegFormer：対称的な U-Net デコーダーを備えた Mix Transformer B5 エンコーダーを利用し、空間およびチャネルのスqueeze & 励起（scSE）注意モジュールを組み込む。

本研究では、下流の追跡精度への影響を決定するために、2 クラス（機器対背景）および3 クラス（カテーテル対ガイドワイヤー対背景）の定式化の両方を評価した。

主な貢献

1. 新規追跡パイプライン：低コントラスト、部分的な遮蔽、および重なり合う機器の存在下で局所化の安定性を向上させる、スケルトン化および多点サンプリングパイプラインの導入。
2. 統合ベンチマーク評価：追跡フレームワークに組み込まれた場合、最新のセグメンテーションアーキテクチャが CathAction データセットにおける既存のベンチマークを上回ることを実証。スタンドアロンのセグメンテーション指標を超えて、先端局所化誤差を含む評価を拡張。
3. ドメイン間検証：in vivo微調整なしで、in vitroファントム、in vivo動物、および in vivo臨床蛍光透視データ全体にわたる手法の検証。画像モダリティ全体での一般化を評価。

結果

• CathAction ベンチマーク：2 クラスのSegFormerが最高性能を達成（Dice: 0.809, IoU: 0.722）し、U-Net および U-Net+トランスフォーマーを上回った。3 クラスセグメンテーションにおいても、SegFormer は Dice スコア 0.667 で先行し、以前のベンチマーク（例：U-Net は 0.517）を凌駕した。
• In Vitro オフライン RGB：SegFormer は 2 クラス追跡において最低の平均絶対誤差（MAE）を達成した（0.47 mm）。しかし、3 クラス追跡では、U-Net が最良の性能を示した（0.60 mm）のに対し、SegFormer は誤分類に起因するスケルトン分枝により高い誤差（1.21 mm）を被った。
• In Vivo 蛍光透視：複雑さで層別化された臨床データにおいて、SegFormer（2 クラス）は最も安定したかつ正確な先端局所化を一貫して示した。「中程度の複雑さ」グループ（G2）において、平均絶対誤差は4.44 mmであり、U-Net（4.60 mm）および U-Net+トランスフォーマー（6.20 mm）を上回った。3 クラスモデルは、複雑な解剖学的背景において一般的に高い誤差とより多くのアーティファクトを示した。
• 速度：システムはリアルタイム性能を維持し、推論速度はモデルとデータセットに応じて約 21 から約 30 FPS の範囲であった。

意義と主張
本論文は、提案されたマルチスレッド追跡フレームワークが困難な画像条件下で安定した性能を維持し、RL ベースの自律 MT ナビゲーションのための信頼性の高い基盤を提供すると主張している。著者は、システムが既存のベンチマークを上回り、リアルタイム追跡の実現可能性を実証している一方で、in vivo環境において臨床グレードのサブミリメートル精度（<1 mm）にはまだ達していないことを強調している。観察された誤差（4–7 mm）は、ドメインシフト（コントラスト、ノイズ、運動）、遮蔽、および in vivo 訓練データの欠如に起因している。

本研究は結論として、2 クラスセグメンテーションが現在の追跡ニーズに対して速度、安定性、および先端局所化精度の間の最も信頼性の高いトレードオフを提供すると述べている。しかし、3 クラスセグメンテーションは、カテーテルとガイドワイヤーの両方を同時に追跡し、意思決定エージェントへのより豊かな入力を提供するため、自律 RL ナビゲーションにとって依然として価値がある。この研究は、臨床的に展開可能なシステムへの一歩として位置づけられ、ファントム性能と臨床現実の間のギャップを埋めるためには、ドメイン適応の将来の改善と多様な in vivo 訓練データの組み込みが必要であることを浮き彫りにしている。