Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions

技術要約：困難な条件下における堅牢な外科用マルチタスク学習のための、時間的一貫性を持つラベル補間

1. 問題提起

本論文は、統合された外科用マルチタスク学習（MTL）における根本的な障壁である、アノテーションの粒度の不一致に対処している。

• 時間的タスク： ワークフロー関連のタスク（フェーズ認識、ステップ認識、予測）は、ほぼすべてのビデオフレームで利用可能な、高密度なフレームレベルの教師信号から恩恵を受ける。
• 空間的タスク： ピクセルレベルのタスク（器具セグメンテーション、アクション認識）は、専門的な臨床知識を要する労働集約的なエキスパートによるアノテーションを必要とする。その結果、これらはラベル付けのコストが極めて高いため、選択されたキーフレームに対してのみ疎にアノテーションされることが多い。

この不均衡は、共有表現学習を阻害するスーパービジョンのギャップを生み出す。ヘテロジニアス（異種混合型）なタスクの同時最適化は、モデルが時間的な予測を接地するための高密度な空間的手がかりを欠いていること、また、時間的なコンテキストが疎な空間的予測を効果的に正則化できないことにより制限される。さらに、外科ビデオにおいて疎なラベルを直接伝播させることは、複雑な術中条件（遮蔽、煙、モーションブラー、照明の変化）により困難であり、外観ベースの伝播手法（SAM2など）は失敗し、結果として時間的一貫性のない疑似ラベルを生成してしまう。

2. 手法

著者らは、疎なキーフレーム・アノテーションから時間的一貫性のある高密度な疑似ラベルを生成するためのフレームワークであるFAROS (Flow-guided Annotation for Robust Operating Scenes) を提案している。これは、高密度なマルチタスク学習アーキテクチャへと続く。

A. FAROS: フロー誘導型ラベル補間
FAROSは、ゼロショット・セグメンテーションに基づくマスク伝播とオプティカルフロー推定を組み合わせることで、外科環境における外観ベースの手法の限界を克服する。

• 双方向SAM2プロンプティング： 単一のキーフレームから一方向に伝播するのではなく、システムは境界となる両端のキーフレーム（$k_0$ および $k_1$）からのグランドトゥルース・マスクをSAM2のメモリバンクに登録する。これにより、モデルはセグメントの両端からアンカーを参照することが可能になり、時間的な安定性が向上する。
• フロー一貫性に基づく異常検知： 伝播の失敗（例：遮蔽や器具の退出）を検出するために、システムはオプティカルフロー（RAFT経由で推定）の順方向・逆方向の一貫性特性を利用する。システムは、ピクセルごとの一貫性誤差を計算する。誤差が閾値（$\tau$）を超え、連続するフレーム数（$n_{confirm}$）にわたって発生した場合、その伝播は異常としてフラグが立てられる。
• フロー誘導型リプロンプティング： 異常を検知すると、システムは最も近い検証済みキーフレームから現在のフレームへの逆方向フローを計算する。このフローを用いて、キーフレームのグランドトゥルース・マスクをワープさせ、幾何学的に接地された「補正プロンプト」を生成する。このプロンプトはSAM2のプロンプトエンコーダにフィードバックされ、伝播を再初期化するために使用される。これにより、外観ベースのアテンションが失敗した箇所において、マスクを効果的に回復させる。

B. 統合マルチタスク学習フレームワーク
高密度化された疑似ラベルは、5つのタスク（外科フェーズ認識、ステップ認識、予測、器具セグメンテーション、アクション認識）を共同で学習する、統合されたTransformerベースのフレームワークに組み込まれる。

• アーキテクチャ： フレームワークは、器具セグメンテーションのベースラインとしてMask2Formerベースの領域提案ネットワーク（RPN）を採用している。ステージ1では、RPNはグランドトゥルースおよび疑似マスクを用いて訓練され、領域埋め込み（region embeddings）を生成する。ステージ2では、RPNは凍結され、これらの事前計算された埋め込みが再利用される。
• 時空間結合： MViTバックボーンが時空間特徴を抽出する。フレームレベルのタスク（フェーズ、ステップ）には専用のCLSトークンが割り当てられる。
• クロスタスク・コンディショニング： フレームワークは、軽量なコンディショニングモジュールを介してタスク間の依存関係を明示的にモデル化する。
  • Phase $\to$ Step: フェーズの特徴がステップ予測に情報を与える。
  • Spatial $\to$ Temporal: プーリングされた領域埋め込み（器具の存在/構成）が、フェーズおよびステップの予測ヘッドに注入され、ワークフロー認識をピクセルレベルの器具理解に接地させる。
• 最適化： モデルはタスク固有の損失の加重和を使用し、対応するアノテーション（または疑似ラベル）が利用可能な場合にのみそれらを活性化することで、ヘテロジニアスなスーパービジョン信号にわたるバランスの取れた最適化を可能にする。

3. 主な貢献

1. アノテーションの粒度の不一致の特定： 本論文は、密な時間的スーパービジョンと疎な空間的スーパービジョンの間の格差が、統合された外科用MTLにおける決定的な障壁であることを特定し、このギャップを埋めるためのFAROSを提案している。
2. FAROSフレームワーク： ゼロショット・セグメンテーション（SAM2）にオプティカルフローによるガイダンスを加えた、新しいフロー誘導型ラベル補間手法。これは、幾何学的な運動事前分布を使用して異常を検出し、セグメンテーションモデルを再プロンプトすることで、困難な外科的条件（遮蔽、煙、モーションブラー）における失敗モードに特に対処する。
3. 統合時空間MTL： ワークフローレベルと領域レベルのタスクを共同でモデル化する、統合されたTransformerベースのフレームワーク。これは、高密度化された空間的スーパービジョンを活用して、バランスの取れたクロスタスク表現学習を可能にする。
4. 実証的検証： GraSP、MISAW、AutoLaparoベンチマークにおける広範な実験、および疎なグランドトゥルース・プロトコル下でのDAVIS 2017データセットを用いた検証。

4. 結果

• DAVIS 2017 検証： 疎なグランドトゥルース・プロトコル（30フレームごとのキーフレーム）の下で、FAROSは領域類似度（$\mathcal{J}$）および輪郭精度（$\mathcal{F}$）においてSAM2のベースラインを上回り、長いキーフレーム間隔や困難な動きに対しても堅牢な伝播を実現していることを示した。
• GraSP ベンチマーク： フロー誘導型補間を用いたフルモデル（"All w/ inter"）は、単一タスクのベースラインや補間なしのマルチタスクモデルと比較して、ワークフローレベルのタスクを大幅に改善した。特に、ステップ認識において顕著な向上が見られた。非補間のマルチタスクモデルと比較してmIoUにわずかな定量的低下が見られたものの、定性的分析では、偽陽性が少なく、時間的一貫性に優れた、視覚的に優れたセグメンテーションが示された。
• MISAW ベンチマーク： 提案手法は、ほぼすべての指標において最良の結果を達成し、特にワークフロー認識とステップ予測において強力な改善を示した。器具セグメンテーションも、単一タスクのベースラインを回復し、それを上回った。
• AutoLaparo ベンチマーク： ラベル補間の効果を分離するために使用された結果、ラベル補間を用いたモデルは、マルチタスク学習を行わない場合でも、補間なしのベースラインに対してセグメンテーション性能（IoU, mIoU）を一貫して向上させた。
• 効率性： 計算負荷の高いマスク生成（ステージ1、凍結）とマルチタスク推論（ステージ2）を切り離すことにより、フレームワークはリアルタイム性能（シングルGPUで約44クリップ/秒）を達成している。

5. 意義と主張

本論文は、フロー誘導型ラベル補間が、外科的シーン理解におけるマルチタスク学習の恩恵を実現するために不可欠であると主張している。補間が行われない場合、アノテーションの不均衡により、共同学習はしばしば単一タスクのベースラインよりも性能が低下する。

著者らは以下のように断言している：

• 時空間結合： 器具の空間的構成は、ワークフロー認識のための構造化された事前分布として機能する。空間的スーパービジョンを高密度化することで、フレームおよびステップの遷移に対するより豊かな手がかりをフレームワークに提供する。
• 堅牢性： 外観ベースのセグメンテーションと幾何学ベースのフロー補正の組み合わせは、純粋な外観ベースのモデルが失敗する、臨床的に困難な条件（器具の出入り、煙、血液による遮蔽など）を効果的に処理する。
• 汎用性： このアプローチは、多様な外科領域（ロボット支援下ヒト手術、マイクロサージェリー・トレーニング、腹腔鏡手術）および一般的なビデオシナリオで検証されており、手法が変化するアノテーション密度や視覚的複雑さに頑健であることを示唆している。

本研究は、アノテーション効率の高い包括的な外科シーン理解のための基礎となるものであり、スーパービジョンのギャップを埋めることが、すべてのタスクにおいて同時に性能を向上させるバランスの取れたクロスタスク最適化を可能にすることを実証している。