Action-grounded tissue affordance enables anticipatory auto-framing that lowers surgeon cognitive workload during laparoscopic surgery

技術要約：腹腔鏡手術における予測的オートフレーミングのための、アクションに基づいた組織アフォーダンス

問題提起

腹腔鏡手術は、視覚と運動軸の解離、制限された二次元的な視野、そして術者の意図を解釈するためのカメラアシスタントの必要性により、重大な認知的課題を提示している。計算機的なアテンションモデルは、関心領域（ROI）を予測することでこれらの負担を軽減できる可能性があるが、手術への導入においては「ラベル付けのボトルネック」が障壁となっている。自然画像とは異なり、手術におけるROIは静的な解剖学的構造ではなく、機能的な意図によって決定される動的なターゲットである。これらのターゲットを特定するには、専門的な手技知識が必要であるが、それは本質的に暗黙的なものである。エキスパートは相互作用の箇所（interaction loci）には収束するものの、その選択を支配する明示的なルールを言語化することはできない。その結果、ディープラーニングモデルの学習のための高密度なフレームごとのアノテーション生成は、希少なエキスパート外科医の能力に依存することになり、手動による監督は極めて高価でスケーラビリティに欠ける。さらに、既存のアプローチの多くは反応的な器具追跡（reactive instrument tracking）に依存しており、器具がターゲットに到達する前に術者の意図を予測することには失敗している。

手法

著者らは、手動のアノテーションではなく、アクション（行動）から監督（supervision）を導き出すフレームワークを提案しており、静的なランドマーク識別から、アクションに基づいた手術意図の解釈へと転換を図っている。この手法は、以下の3つのコアコンポーネントで構成される：

1. DiffeoAfford（ディフェオモルフィック・アフォーダンス・グラウンディング）:

   • 概念: 完了した手技から遡及的に手術の相互作用箇所（アフォーダンス・ホットスポット：AH）を導き出す、後方視的なパイプライン。
   • メカニズム: 本システムは、Segment Anything Model 2 (SAM2) を用いて器具をセグメンテーションし、先端部を抽出する。軟部組織の非剛体変形に対処するため（これは単純なグローバル変換を無効にする）、DiffeoAffordはディフェオモルフィック制約付きトラッキングを採用する。これは、グローバル変換（カメラの動き用）とローカルなディフェオモルフィック変形場を組み合わせることで、フレーム間での高密度なピクセル単位の対応関係を確立する。
   • ラベル生成: 器具の先端ポイントを集計してクエリフレーム上に投影し、変位場を通じて他のすべてのフレームへと伝播させる。これらのポイントをフィルタリングし、2Dガウス分布に適合させることで、組織のアフォーダンスを表す連続的な「ソフトラベル（ヒートマップ）」を生成する。
   • 時間的精緻化: パイプラインは、器具の長さとAHの可視性に基づいてビデオクリップを自動的にセグメント化し、ラベルが整合性のある単一アクションのデモンストレーションに対応するように保証する。

2. リアルタイム・アフォーダンス予測:

   • 自動生成されたAHデータセットを用いて、ディープラーニングモデル（SegFormer）を学習させる。
   • このモデルは、推論時に手動ラベルを必要とせずに、手術シーンからリアルタイムでアフォーダンス・ホットスポットを予測する。
   • 予測されたヒートマップの重心が、ビューコントロールのターゲットとなる。

3. AffordViewの適用:

   • 予測された相互作用箇所を中心に据えるよう、元のビデオを動的にクロップおよびアップスケールする、予測的オートフレーミング・システム。
   • 現在の画像から意図を推論する反応的なシステムや人間のカメラアシスタントとは異なり、AffordViewは、モニターに対する術者の自然なセンターバイアス（中心注視）を利用して、視野（FoV）を予測される手術ターゲットに先んじて合わせる。

主な貢献

• アクションに基づいた監督（Action-Grounded Supervision）: 術者自身の器具の軌跡を遡及的なグラウンドトゥルースとして活用することで、手動のアノテーションなしに高密度なフレームごとのアフォーダンスラベルを生成する新しい手法を導入した。
• DiffeoAffordパイプライン: 軟部組織のダイナミクスを扱うためにディフェオモルフィック変形を統合したトラッキングフレームワークの開発。これは、位置特定精度においてグローバル変換ベースライン（類似変換およびホモグラフィ）を凌駕する。
• 予測的 vs 反応的: アクションに基づいたアフォーダンス予測が、反応的な器具追跡や人間のカメラアシスタントよりも、術者の注視およびその後のカメラの動きをより効果的に予測できることを実証した。
• 臨床的検証: 術中のペア研究において、主観的なワークロード・アンケート、脳波（EEG）、瞳孔計測、およびアイトラッキングを用いた、AffordViewアプリケーションの包括的な評価を行った。

結果

• グラウンディング精度: 公開データセットであるCholec80において、DiffeoAffordが生成したラベルは、完全な手技コンテキストを与えられた初学者のアノテーターと同等の精度を達成し、シニア外科医の合意にも密接に一致した。プライベートデータセットであるLCETにおいて、グラウンンドラベルは、コンテキストを持つジュニアアノテーターと比較して、術者の注視と有意な差なく一致した。
• 予測パフォーマンス:
  • 時間的整合性: LCETデータセットにおいて、AH予測モデルは、カメラアシスタントの注視と比較して、術者の注視に対する重心ラグが有意に短かった（例：Calot三角の剥離中において、-0.033秒 vs 0.185秒）。
  • 空間的整合性: AH予測は、カメラアシスタントの注視および画像中心の両方よりも、術者の注視に対して有意に近かった。
  • カメラ動作の予測: AutoLaparo（子宮全摘出術）データセットにおいて、モデルはカメラの動きが発生する直前の段階で、95.16%の方向一致性を達成した。器具追跡ベースラインは、時間的ギャップが増大するにつれて急速に精度が低下したが、AH予測はより長いホライゾンにおいても安定した精度を維持した。
• ユーザー体験と認知的ワークロード:
  • 好みの傾向: 28人の外科医を対象としたマルチセンター調査において、AH駆動型のAffordViewは、調整なしのビュー（好まれる割合77.1%）および器具追跡ベースライン（75.4%）よりも、FoVの正確さにおいて有意に好まれた。
  • 生理学的指標: 12組の胆嚢摘出術を用いた対照的な術中研究において、AffordViewを使用した実験群は、以下の認知ワークロードマーカーの減少を示した：
    • EEG: 標的フェーズにおけるシータ/アルファ比（TAR）および後頭部アルファ波の減少。
    • 瞳孔計測: 瞳孔活動指数（IPA）の減少。
    • 行動: カメラアシスタントへの口頭指示回数の有意な減少。
  • 主観的指標: 外科医はSURG-TLXスケールにおいて、精神的および身体的要求が有意に低いと報告した。

意義と主張

本論文は、アノテーションではなくアクションから監督を導き出すことが、手術室における予測的支援へのスケーラブルな経路を提供すると主張している。組織のアフォーダンスを遡及的にグラウンディングすることで、本システムは、ラベル付けのためにエキスパートの暗黙知に頼ることなく、生の感覚データと高レベルの認知的推論の間の溝を埋める。

著者らは、本アプローチが単に器具を追跡するのではなく、どこで相互作用が期待されるかを予測するものであり、デジタルインターフェースを人間の視覚・運動制約（具体的にはセンターバイアスおよび「クワイエット・アイ」戦略）に適合させるものであることを強調している。この適合により、補償的なメンタルローテーションや余分な認知的負荷に伴う神経コストが軽減される。研究は、本システムは外科医に取って代わるものではなく、視覚野をプロアクティブに管理することで、人間の能力を増幅させ、腹腔鏡手術に固有の認知的オーバーロードを緩和する拡張知能ツールとして機能すると結論付けている。また、著者らは謙虚な姿勢を保ち、現在のシステムには意味論的な推論（例：悪性組織の識別）が欠けていること、および観察された認知的利益が必ずしも周辺視野の警戒心の維持を意味するものではない（これは測定されていない）ことを述べている。