💻 computer science

Surgical Anatomy Recognition with Context Learning using Foundation Representations

本論文では、低侵襲手術のための大規模なアノテーション付きデータセットであるATLAS-120kと、基盤モデルの表現とコンテキスト学習を活用することで、正確かつ時間的に一貫した解剖学的認識を実現するビデオセグメンテーションモデルであるATLASを紹介する。

原著者： Ronald L. P. D. de Jong, Tim J. M. Jaspers, Raf A. H. Vervoort, Aron F. H. A. Bakker, Yiping Li, Jip L. Tolenaar, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Marcel Breeuwer, Daan de Geus

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ronald L. P. D. de Jong, Tim J. M. Jaspers, Raf A. H. Vervoort, Aron F. H. A. Bakker, Yiping Li, Jip L. Tolenaar, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Marcel Breeuwer, Daan de Geus, Fons van der Sommen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに手術の手順を教えようとしていると想像してみてください。最大の課題は、単にロボットに肝臓や胆嚢がどのような見た目かを教えることではありません。ロボットに手術の「ストーリー」を理解させることです。実際の執刀室では、外科医は単に静止画を見ているわけではありません。彼らはどのような術式が行われているのか、現在どの段階にあるのかを知っており、今見ているものを理解するために、数秒前に何を見たかを記憶しています。

この論文は、コンピュータがこの「手術のストーリーテリング」をより上手に行えるようにするための、2つの要素を紹介しています。それは、大規模な新しい手術動画ライブラリと、それらを読み解くためのスマートな新しいAIモデルです。

1. 新しいライブラリ：ATLAS-120k

これまでの手術動画データセットは、特定の種類の術式（例えば虫垂切除術のみ）や、限られた特定のシーンだけを示す、小さなフォトアルバムのようなものでした。それらは規模が小さく、反復的すぎたため、現実世界の混沌とした多様な状況に対処する方法をコンピュータに教えるには不十分でした。

著者らは、ATLAS-120kを作成しました。これは、手術に関する大規模で包括的な百科事典を構築するようなものです。

規模: 100種類の手術動画から抽出された、120,000フレーム以上（個々の画像）の注釈付きデータを含んでいます。
多様性: 単一の術式に限定せず、14種類の手順（胆嚢摘出、結腸の修復、腎臓の摘出など）をカバーしています。これには、標準的な腹腔鏡下手術（長い器具とカメラを使用）と、ロボット支援下手術の両方が含まれます。
品質: ラベルの正確性を保証するため、チームは「ヒューマン・イン・ザ・ループ（人間が介在する）」アプローチを採用しました。専門の外科医や研修医が動画の最初のフレームを手動でラベル付けし、その後、スマートなコンピュータを使用してそれらのラベルを次のフレームへとコピーしていくプロセスを想像してください。もしコンピュータが間違いを犯せば、人間が修正します。その後、シニア外科医がその作業をダブルチェックしました。これにより、AIが学習する「辞書」が正確であることを保証しました。

2. 新しい脳：ATLASモデル

ライブラリが用意できたので、次はそれを読み解くための「脳」が必要でした。現在のほとんどのビデオAIモデルは、動く物体を追跡するだけの警備員のようなものです（例：歩いている人を追うカメラ）。彼らは「物体が左から右へ移動した」と言うことは得意ですが、「文脈（コンテキスト）」を理解することは苦手です。

手術においては、文脈こそがすべてです。ある瞬間には腫瘍のように見える組織が、外科医が現在「切っている」のか「縫っている」のかによって、次の瞬間には正常な脂肪に見えることがあります。

著者らは、ATLAS（Anatomy Recognition with Context Learning using Foundation Representations）と呼ばれるモデルを構築しました。その仕組みを簡単な比喩で説明します。

基盤（Foundation）: このモデルは、医学部生がレジデントになる前に多くの解剖学の教科書をすでに読んでいるのと同様に、画像について多くの知識をすでに持っている「事前学習済み脳（基盤モデル）」から始まります。
「何」のクエリ: モデルには、「これは何の物体か？」「それはどこにあるか？」と問いかける特別な「クエリ（問い合わせ）」があります（付箋のようなものです）。
「ストーリー」のクエリ（秘訣）: これがこの論文の主要な革新です。モデルには、新たに2種類の付箋が追加されています。
1. 術式クエリ: これはモデルに「今は胆嚢摘出を行っています」と伝えます。これにより、モデルは心臓を探すべきではなく、胆嚢を探すべきであることを理解できます。
2. フェーズ（段階）クエリ: これはモデルに「現在は『切断』のフェーズであり、『縫合』のフェーズではない」と伝えます。これにより、モデルは、5秒前とは組織の見え方が異なっていても、現在の状況を理解できます。
メモリ（記憶）: モデルには短期記憶も備わっています。フレームから次のフレームへと情報を伝達するため、たとえ視界が一時的にぼやけても、フレーム1でツール（器具）を見れば、フレーム2でそのツールがどこにあったかを記憶し続けることができます。

3. 結果

チームは、この新しい脳を他のトップクラスのAIモデルと比較テストしました。

精度の向上: ATLASは、解剖学的構造を正しく特定することにおいて、他のすべてのモデルを上回りました。
安定性: 予測が安定しており（「これは肝臓だ」「これは腎臓だ」と毎秒ごとに切り替わることがありません）、時間の経過に対して予測を維持する能力が非常に高いことが示されました。
速度: スマートであるにもかかわらず、リアルタイムで動作するのに十分な速さ（毎秒64フレーム）で実行できます。これは手術において極めて重要です。

まとめ

この論文は、大規模で多様なデータセット（ATLAS-120k）と、「手術のストーリー」を理解するモデル（ATLAS）を組み合わせることで、コンピュータが手術シーンを理解するためのより強力な基盤を構築したと主張しています。彼らは、手術をより安全かつ精密にするためには、AIが単に画像を見ているだけではなく、文脈、術式、そして時間の流れを理解する必要があると説いています。

注：この論文は、あくまで「手術シーンの理解」を向上させるためのこのデータセットとモデルの作成に焦点を当てています。このシステムが現在、患者を導くために実際のライブ手術で使用されているという主張はしておらず、むしろ将来のシステムがそうできるようにするための必要なツールを提供しているという立場をとっています。

技術要約：基盤表現を用いたコンテキスト学習による外科解剖学的構造の認識

問題提起

解剖学的構造を正確に認識することは、安全で効果的な低侵襲手術（MIS）において極めて重要である。しかし、この特定のタスクにおける外科用コンピュータビジョンの進展は、主に以下の2つの要因によって阻まれてきた。

データの希少性: 現実の外科診療の多様性を捉えた、大規模かつ多様で、豊富にアノテーションされたデータセットが不足している。既存のデータセットは、手技の多様性が限定的であったり、ビデオの数が少なかったり、解剖学的クラスの網羅性が不完全であったりすることが多く、モデルの汎化を制限している。
手法的な限界: 従来のアプローチはオブジェクトのトラッキング（追跡）を優先するか、自然界のシーンに合わせて設計されていることが多く、限られた視点や触覚フィードバックがない状況下で、外科医が解剖学的構造を特定するために依存する特定のコンテキスト的手がかり（例：術式、手術フェーズ）を活用できていない。

手法

1. ATLAS-120k データセット

著者らは、データの制限に対処するために設計された、大規模なクリップレベルのセマンティック・セグメンテーション・データセットである ATLAS-120k を導入する。

規模と多様性: 100本の外科ビデオからなる120,000枚以上の注釈付きフレームで構成され、14の異なる術式（腹腔鏡下およびロボット支援下MISを含む）を網羅し、42の解剖学的クラスをカバーしている。
アノテーション・パイプライン: 以下のステップを含むスケーラブルなワークフローを採用した：
- 外科研究フェローが外科医の監督下で行った、初期フレームのエキスパートによる手動ラベル付け。
- 軽量なオブジェクト・トラッキング・モデルを用いた自動伝播。
- アノテーションされたデータに基づいてトラッカーを一定間隔（10k、25k、50kフレーム）で微調整する反復的な精緻化。
- 伝播エラーの手動修正、および各クリップの最初のフレームに対する経験豊富な外科医による独立した検証。
標準化: ビデオは15 fpsにダウンサンプリングされ、空間解像度は480×640から1080×1920の範囲とした。

2. ATLAS モデル

著者らは、外科解剖学に特化して設計されたビデオ・セマンティック・セグメンテーション・モデルである ATLAS（Foundation Representationsを用いたコンテキスト学習による解剖学認識）を提案する。トラッキングに重点を置く標準的なビデオ・セグメンテーションとは異なり、ATLASは基盤モデルの埋め込みをコンテキスト学習と統合している。

アーキテクチャ: EoMT（ViTエンコーダと学習可能なクエリを使用する最先端の画像セグメンテーションモデル）をベースに構築されており、ATLASはこれをビデオへと拡張し、標準的なセグメンテーションおよびトラッキング・クエリに加えてコンテキスト・クエリを導入している。
入力表現: 各フレーム $t$ $t$ におけるトランスフォーマーの入力 $X_t$ $X_{t}$ は、以下を含む：
- 視覚的パッチ・トークン ( $P_t$ )。
- 学習可能なセグメンテーション・クエリ ( $Q_{seg}$ )。
- 前のフレームから伝播されたクエリ ( $\hat{Q}_{t-1}$ )。
- コンテキスト・クエリ: 術式 ( $Q_{proc}$ ) および手術フェーズ ( $Q_{phase}$ ) のための学習可能な初期クエリであり、これらはグローバルおよび時間的なコンテキストを捉えるために時間の経過とともに精緻化される。
コンテキスト・メカニズム:
- 術式クエリ: クロスエントロピー損失によって監督される、術式ラベルを予測するための多層パーセプトロン (MLP) を介してエンコードされる。これにより、安定した高レベルのコンテキスト（例：器具の存在、術野の展開パターン）を捉える。
- フェーズ・クエリ: より微細な時間的変化を捉えるためにエンコードされる。InfoNCE対照学習損失を適用することで、同じクリップ内の時間的に隣接するフレームの埋め込みを近くにし、異なるクリップや離れたタイムスタンプの埋め込みを遠ざけるようにする。
時間的伝播: クエリは線形層を用いてフレーム $t-1$ から $t$ へ伝播され、VidEoMTと同様の短期記憶と時間的一貫性を確保しつつ、新しいコンテキスト次元によって拡張されている。

主な貢献

ATLAS-120k データセット: 前例のない術式の多様性（14術式）と規模（12万フレーム以上）を提供し、単一術式のデータセットと現実の外科診療の複雑さとの間のギャップを埋める新しいベンチマーク・データセット。
ATLAS モデル: 基盤モデルの表現と、軽量な時間的推論および明示的なコンテキスト・クエリ（術式およびフェーズ）を組み合わせた新しいアーキテクチャ。この設計により、モデルは解剖学的認識における曖昧さを解消するために、術式に関する知識を利用することが可能になる。
オープンリソース: さらなる研究を促進するため、モデル、データセットのアノテーション、およびアノテーション・プラットフォームを公開する。

実験結果

モデルは、患者レベルの分割（訓練70、検証10、テスト20）および30の統合されたクラスを用いて評価された。

性能: ATLAS ViT-L バリアントは以下を達成した：
- 0.64 AP (Average Precision / 平均適合率)
- 0.49 mDice (Mean Dice coefficient / 平均Dice係数)
- 0.79 mVC24 (Mean Video Consistency over 24 frames / 24フレーム間の平均ビデオ一貫性)
- NVIDIA H100における64 FPSの推論速度を実現し、リアルタイムの実現可能性を示した。
比較: ATLASは、自然画像基盤モデル（例：DINOv2/3、SAMバリアント）およびドメイン特化型の医療モデル（例：EndoViT、SurgeNet）を一貫して上回った。
アブレーション研究:
- 事前学習: ドメイン内での事前学習（SurgeNetデータセットを用いたDINOv3）は、デフォルトの重みに対して大幅な向上をもたらした。
- 構成要素: 時間的クエリ伝播の追加はAPおよびAP50を向上させた。コンテキスト・クエリの組み込みは、検出、領域重複、および時間的一貫性の指標をさらに向上させた。
- 効率性: これらの改善により、パラメータ数を1%未満に抑えつつ、ベースラインに対してAPが20%以上向上した。

意義と主張

本論文は、ATLAS-120kデータセットとATLASモデルの組み合わせが、堅牢な外科的シーン理解のための実用的な基礎を確立すると主張している。著者らは以下の通り述べている：

コンテキストの重要性: 低侵襲手術における堅牢な解剖学的知覚には、単なる視覚的トラッキング以上のものが必要である。それは、提案されたモデルが成功裏に捉えているような、術式およびフェーズに依存するコンテキストの統合を必要とする。
ギャップの解消: 本研究は、研究用のプロトタイプと、臨床的に有用な、解剖学を考慮したガイダンス・システムの間の溝を埋めることを目的としている。
実世界への適用可能性: 多様な術式にわたる高い精度と時間的一貫性を実証することで、本フレームワークは、手術室におけるより安全でインテリジェントな支援システムの開発をサポートする。

著者らは、絶対的なDiceスコアについては控えめなトーンを維持しており、データセットの困難な性質（高度に不均衡なクラス、ロングテール分布）を認め、ATLAS-120kを「解決済みの問題」ではなく、将来のモデルに対する「厳しいベンチマーク」として位置づけている。