Adapting Medical Vision Foundation Models for Volumetric Medical Image Segmentation via Active Learning and Selective Semi-supervised Fine-tuning

本論文は、知識の不一致と解剖学的な難易度に基づいて有益なサンプルを選択する能動学習戦略と、限られたアノテーション予算下で性能を最大化するために信頼性の高いラベルなしデータを活用する半教師ありアプローチを組み合わせることで、医用ビジョン基盤モデルの体積セグメンテーションへの適応を強化する能動的選択半教師あり微調整（ASSFT）フレームワークを提案する。

要約

想像してください。何百万冊もの一般的な解剖学教科書を何年もかけて研究してきた、優秀な医学部生がいます（これが医療ビジョン基盤モデル、通称 Med-VFM です）。彼らは人体を裏表知らずですが、特定の種類の MRI 装置や、特定の病院の患者データを見たことはありません。

さて、この学生に新しい病院（ターゲットドメイン）で働き始めさせ、3D スキャン上で臓器（肝臓や腎臓などの輪郭を描くこと）をセグメントするのを医師たちを手伝わせたいとします。問題は、新しい病院のスキャンは少し異なって見え、学生はまだそれらで訓練されていないことです。ただ推測させれば、間違いを犯します。すべての新しいスキャンを研究させ、人間の専門家にラベル付けさせれば、時間がかかりすぎ、費用も莫大になります。

この論文は、この学生を訓練するための賢く効率的な方法、アクティブ・セレクトive・セミスーパーバイズド・ファインチューニング（ASSFT） を紹介します。これは、可能な限り最小限の例を使って学生にその病院固有のスタイルを学ばせる「スーパーチューター」システムのようなものです。

システムがどのように機能するか、簡単なステップに分解して説明します。

1. 「スーパーチューター」戦略（アクティブ学習）

学生にランダムなスキャンを研究させる代わりに、システムはどの例が学生にとって最も効果的に学習させるかを知り尽くした賢いチューターのように振る舞います。

システムは、学生に見せるべき最良のスキャンを選ぶために、2 つの特別な「眼鏡」を使用します。

• 眼鏡 #1: 「知識のギャップ」レンズ（DKD）
  学生が人体の精神的な地図を持っていると想像してください。このレンズは、学生の地図が完全に間違っているか、欠落しているスキャンを探します。「このスキャンは、学生がこれまで見たことのない何かを示していますか？」と問いかけます。答えが「はい」であれば、それは優先的に学ぶべき項目です。また、学生が同じような奇妙な肝臓を二度と研究しないようにし、新しいものの「多様性」を確保します。
• 眼鏡 #2: 「厄介な解剖学」レンズ（ASD）
  時には、スキャンが新しいからではなく、臓器が奇妙な形をしているか、見えにくいから混乱することがあります。このレンズは、空の空間（背景）を無視し、臓器（前景）に特化して見ます。「この臓器の輪郭を描くのは難しいですか？」と問いかけます。学生が腎臓の終わりどこで筋肉が始まるかを推測するのに苦労している場合、このレンズはそのスキャンを学習の最優先事項としてマークします。

結果: システムは、最も混乱を招き、ユニークなスキャンのみを選び、人間の専門家にそれらをラベル付けさせ、その後学生に教えます。学生が最初に「難しいもの」から学ぶため、膨大な時間を節約できます。

2. 「確信ある推測」戦略（選択的セミスーパーバイズド学習）

学生が専門家によってラベル付けされた例から学んだ後、まだ何千ものラベル未定のスキャンが山積みになっています。システムはそれらを無視しません。代わりに、学生に自分でラベル付けを試させますが、セーフティネットを備えます。

• セーフティネット: システムは、学生が非常に確信を持っており、かつスキャンが専門家がすでにラベル付けしたものと非常に似ている場合のみ、学生に「自主学習」させます。
• フィルター: 学生が確信を持てない場合、またはスキャンが学んだものと全く異なっている場合、システムは「いや、これはまだ推測するな」と言います。これにより、学生が自分の間違いから悪い習慣（間違ったラベル）を学ぶのを防ぎます。

3. ループ

このプロセスはサイクルとして繰り返されます。

1. 2 つのレンズ（知識のギャップ＋厄介な解剖学）を使用して、最良の新しい例を選びます。
2. 人間によってそれらをラベル付けします。
3. 学生に、これらの新しいラベルと、正しく推測した「安全な」ラベル未定のものを学習させます。
4. 学生が新しい病院のデータに精通するまで繰り返します。

なぜこれが重要なのか？

この論文は、5 つの異なる医療データセット（異なる身体部位、CT や MRI などの異なる種類のスキャン）でこれをテストしました。その結果、以下がわかりました。

• 速い: システムは、従来の方法が必要とするラベル付きデータのほんの一部だけで、専門家レベルのパフォーマンスに達しました。
• 賢い: ランダムなスキャンを選ぶか、「不確実性」のみを見る他の方法よりも一貫して優れていました。
• 古いデータがなくても機能する: 通常、モデルを適応させるには、元の訓練データを見る必要があります。このシステムは、元のデータがプライバシー上の理由でロックされている場合でも機能します。

要約すると: この論文は、医療 AI に、最も興味深く困難な例のみを研究し、簡単なものや混乱する推測を慎重に無視することで、新しい仕事を迅速に学習させる方法を与えます。これにより、人間の手助けをほとんど必要とせずに、「万能型」の AI が専門的な専門家へと変身します。

技術概要

技術的概要：医療用ビジョン基盤モデルのための能動的選択的半教師あり微調整

1. 問題定義

自己教師あり学習を通じて大規模なラベルなし医療データセットで事前学習された医療用ビジョン基盤モデル（Med-VFMs）は、医療画像解析において高い可能性を示しています。しかし、それらの性能は、特に体積医療画像セグメンテーションにおける下流タスクにおいて、新しいターゲットドメインに適用された場合、依然として限定的です。

現在の適応戦略は、主に 3 つの限界に直面しています：

1. 非効率的なサンプル選択： 既存の能動学習（AL）および能動的ドメイン適応（ADA）手法は、しばしばランダムサンプリングや単純な不確実性/多様性指標に依存しています。これらのアプローチは、Med-VFMs の事前学習知識を明示的に活用して、「未学習」のターゲットドメインパターンを含むサンプルを特定することに失敗しています。さらに、画像レベルの指標は、背景の不確実性へと選択を偏らせ、有益な前景の解剖学的構造を見逃す傾向があります。
2. ソースデータへの依存： 多くのドメイン適応手法は、適応を導くためにソースドメインデータへのアクセスを必要とします。実際には、プライバシー制約により Med-VFMs の事前学習データが利用できないことが多く、これらの手法は適用不可能となります。
3. ノイズの多い半教師あり学習： 半教師あり学習（SSL）は豊富なラベルなしターゲットデータを利用できますが、擬似ラベル付きサンプルをすべて無批判に使用すると、特にモデルがまだ信頼性のない適応初期段階においてノイズが導入されます。これにより性能が低下するか、高品質なラベル付きデータから学習する代わりに、ノイズの多い擬似ラベルに過剰適合する可能性があります。

中心的な課題は、ソースデータなしで、ラベル付きおよびラベルなしのターゲットサンプルの両方の有用性を最大化しつつ、限られた注釈予算の下で Med-VFMs をターゲットドメインに効率的に適応させることです。

2. 手法：能動的選択的半教師あり微調整（ASSFT）

著者は、能動学習戦略と選択的半教師あり微調整メカニズムを統合したフレームワークであるASSFTを提案します。このフレームワークは、ソースドメインデータへのアクセスを必要とせず、$R$ラウンドにわたって反復的に動作します。

2.1. 能動的テスト時サンプル問い合わせ戦略

注釈のための最も有益なサンプルを選択するために、著者は**多様化知識発散（DKD）と解剖学的セグメンテーション難易度（ASD）**という 2 つの相補的指標に基づく問い合わせ戦略を導入します。

• 多様化知識発散（DKD）： この指標は、事前学習モデルに対して新しい知識をもたらすサンプルを特定しつつ、ターゲットデータセット内の多様性を確保します。2 つの構成要素からなります：

  • 事前知識と適応知識発散（PAKD）： 初期の事前学習エンコーダ $E^{(0)}$ と適応後のエンコーダ $E^{(i)}$ からの特徴埋め込み間のコサイン距離を測定します。高い PAKD は、そのサンプルがモデルによってまだ捉えられていないドメイン固有の情報を含んでいることを示します。
  • ペアワイズ非類似性（PD）： 冗長性を回避し、ドメイン内多様性を促進するために、候補サンプルと以前にランク付けされた高 PAKD サンプルとの間の意味的非類似性を測定します。
  • DKD スコア： PAKD と PD の積として定義されます。

• 解剖学的セグメンテーション難易度（ASD）： この指標は、画像全体ではなく、前景の解剖学的構造をセグメント化する難易度に焦点を当てます。

  • 背景の支配を防ぐために、温度スケーリング機構 $\tau(r)$ が背景クラスの確率に適用され、適応ラウンドを通じて 3 から 1.5 まで動的に減少します。
  • 調整された確率に基づいて二値の前景マスクが生成されます。
  • ASD スコアは、前景領域内のクラス確率のエントロピーとして計算されます。高い ASD は、モデルにとって困難な複雑な解剖学的パターンを示します。

• 統合問い合わせ基準： DKD と ASD スコアは、比較可能性を確保するために正規化され、分位数マッピングを通じて変換された後、最終的な問い合わせスコア $Q(x)$ を形成するために加算されます。上位 $N_B$ のサンプルが専門家の注釈のために選択されます。

2.2. 選択的半教師あり微調整

ノイズを導入することなくラベルなしデータを活用するために、フレームワークは各ラウンドで 3 段階のプロセスを採用します：

1. 教師あり微調整： モデルは、現在利用可能なラベル付きターゲットサンプルを使用して最初に更新されます。
2. 信頼性の高いラベルなしサンプルの選択： 擬似ラベル付けのためにラベルなしサンプルのサブセットが、以下の基準に基づいて選択されます：
   • 予測信頼性： 前景領域における上位 2 つの予測クラス確率の差（マージン）。
   • 意味的距離： 候補サンプルの特徴埋め込みとラベル付きサンプル（アンカー）の埋め込みとの最小コサイン距離。
   • 高い信頼性と小さな意味的距離を持つサンプルは信頼性が高いとみなされます。選択されるサンプル数（$N_{SU}$）は反復回数とともに増加します（$N_{SU} = N_B \cdot r$）。
3. 擬似ラベルに基づく微調整： 選択された信頼性の高いサンプルに対して擬似ラベルが生成されます。これらはラベル付きセットと結合され、さらなる微調整のための拡張トレーニングセットを形成します。

注： 擬似ラベル付けのために選択されたサンプルは、冗長な注釈を避けるために、次の能動学習ラウンドの候補プールから明示的に除外されます。

3. 主要な貢献

1. ASSFT フレームワーク： 能動学習と選択的半教師あり学習を統合し、ソースドメインデータなしで動作する、体積セグメンテーションタスクへの Med-VFMs の適応のための統合フレームワーク。
2. 能動的テスト時サンプル問い合わせ： 有益なサンプルを選択するためにDKDとASDを利用する新しい戦略。DKD は知識の新規性と多様性を捉え、ASD は解剖学的複雑性を優先し、標準的な不確実性ベースの手法の限界を克服します。
3. 選択的半教師あり微調整： 予測信頼性とラベル付きデータとの意味的近接性に基づいて信頼性の高いラベルなしサンプルを選択的に組み込むメカニズムであり、ノイズの多い擬似ラベルのリスクを軽減します。
4. 広範な検証： 5 つの多様な体積医療画像セグメンテーションタスク（異なるモダリティ、解剖学的構造、データセット規模）における包括的な実験。

4. 実験結果

著者は、AMOS2022-CT、FLARE 2021、Abdomen Atlas、AMOS2022-MRI、およびAbdominal MRIの 5 つのデータセットで ASSFT を評価しました。

• 性能： ASSFT は、すべてのデータセットと問い合わせ予算において、既存の最先端の AL および ADA 手法（Random、Entropy、Core-set、BADGE、SANN、UGTST、CUP など）を一貫して上回りました。
  • AMOS2022-CTにおいて、問い合わせサンプルを 5% のみ使用した場合、ASSFT は Dice スコア80.51を達成し、強力なベースラインである UGTST を約 4.7 ポイント、ランダム選択を約 7.2 ポイント上回りました。
  • AMOS2022-MRI（クロスモダリティ適応）において、ASSFT は 5% の問い合わせサンプルで、ニアゼロショットベースラインの 0.46 から52.06へと Dice スコアを改善し、51 ポイント以上の上昇を実現しました。
  • Abdominal MRI（few-shot 設定）において、ASSFT はわずか 3 つのラベル付きサンプル（3-shot）で Dice 83.98を達成し、他の手法を大幅に上回りました。
• 効率性： この手法は、注釈コストのほんの一部で、完全教師ありの上限性能（ラベル付きデータ 100%）に急速に近づきます。例えば、FLARE 2021 において、25% の問い合わせサンプルでモデルは完全教師あり性能の 97.96% に到達しました。
• アブレーション研究：
  • 半教師ありコンポーネントを除去すること（DKD+ASD のみ）は、性能の低下をもたらしました。これは選択的擬似ラベル付けの価値を確認するものです。
  • PAKD または PD のみを個別に使用することは、組み合わせた DKD 指標よりも劣りました。
  • ASD における動的温度スケーリングは、固定温度またはマスクなしよりも優れていることが示されました。
  • 統計分析（マン・ホイットニー U 検定）は、擬似ラベル付けのために選択されたサンプルが、選択されなかったサンプルよりも有意に高い Dice スコアを持っていたことを確認しました（$p < 0.01$）。

5. 意義と主張

この論文は、ASSFT が以下の状況において Med-VFMs を臨床現場に展開するための注釈効率の高いかつ汎用性の高い解決策を提供すると主張しています：

• ソースデータが利用できない場合： この手法は、プライバシー制約のある医療データにおいて重要な、ソースフリーのドメイン適応設定で動作します。
• 注釈が不足している場合： 最も有益なサンプルを能動的に選択し、信頼性の高いラベルなしデータを活用することで、フレームワークは最小限の専門家によるラベリングで高い性能を達成します。
• ドメインシフトが顕著な場合： このフレームワークは、異なる画像モダリティ（CT から MRI）および varying 解剖学的複雑さにおいて堅牢性を示しています。

著者は、アプローチが基盤モデルを医療セグメンテーションに適用する際の特定の限界、特に知識の新規性、データ多様性、タスク固有の解剖学的難易度のバランスを取る必要性に対処していると強調しています。彼らは、ASSFT が注釈負担を大幅に軽減しつつ高いセグメンテーション精度を維持することで、Med-VFMs の実用的な臨床ワークフローへの移行を促進すると結論付けています。