Uncertainty Estimation in Pathology Foundation Models via Deep Mutual Learning

技術要約：深層相互学習による病理基盤モデルにおける不確実性推定

問題提起
病理基盤モデル（PFM）は、生存解析、バイオマーカー発見、腫瘍サブタイピングなどのタスクにおいて、ホールスライド画像（WSI）から表現を抽出する強力な汎化能力を示している。しかし、その日常的な臨床現場への導入は、以下の2つの決定的な制限によって阻まれている：

1. 信頼度推定の欠如： 既存のPFMパイプラインは通常、信頼度や不確実性の明示的な尺度なしに予測を出力する。臨床現場においては、モデルは正確であるだけでなく、安全な意思決定を支援するために、自身の予測が不確実であることを示す能力も備えていなければならない。
2. タスク依存の性能： あらゆるダウンストリームタスク、データセット、および臨床的文脈において普遍的に優れた単一のPFMは存在しない。最適なモデルを選択することは困難であり、単一のモデルに依存することは、失敗しやすいケースにおけるパフォーマンスの低下や過剰な自信（オーバーコンフィデンス）を招くリスクがある。

現在の融合手法は性能を向上させることは多いが、明示的かつタスクに依存しない不確実性推定を提供できないことが多い。逆に、ディープアンサンブルやモンテカルロドロップアウトのような不確実性定量化手法は、PFMアンサンブル向けに特別に設計されているわけではなく、あるいは特定のタスク（例：膠芽腫の診断）に限定されている。

手法：DICEフレームワーク
著者らは、$K$個の凍結されたPFMをアンサンブルして不確実性を推定し、ダウンストリームの性能を向上させるプラグアンドプレイのフレームワークであるDICE（Disagreement-Informed Coordination of Experts）を提案している。その核心となる直感は、異種混合のPFM間の「不一致（disagreement）」は、それが最適化ノイズによって支配されるのではなく、構造化されたものである限り、有益な不確実性の信号として機能する、という点にある。

フレームワークは以下のように動作する：

1. アーキテクチャ： システムは、$K$個の凍結されたPFM（例：Virchow2, UNI2-h, H-optimus-1, CONCHv1.5, Hibou-L）を利用する。各PFMは「エキスパート」$E^{(k)}$として機能し、独立したマルチインスタンス学習（MIL）アグリゲーター（具体的にはABMIL）および分類ヘッドと対になっている。
2. 学習目的関数： アンサンブルの不一致がノイズではなく意味のある不実性を反映するように、エキスパートは訓練中に以下の3つの目的関数を通じて結合される：
   • 教師あり損失 ($L_{sup}$): 正確なスライドレベルの分類を保証するための標準的なクロスエントロピー損失。
   • 深層相互学習 ($L_{DML}$): 予測空間における整列（アライメント）目的関数であり、各エキスパートは、自身の予測分布と他の$K-1$個のピア（仲間）との間のカルバック・ライブラー（KL）ダイバージェンスを最小化する。これにより、真のラベルへの整合性を維持しつつ、コンセンサス（合意）を促す。
   • グラミアン正則化 ($L_{Gram}$): グラミアン尺度に基づく表現空間のアライメント目的関数。これは、エキスパートのスライドレベルの埋め込みが低体積のサブスペースを形成するように促し、不確実性と誤認されかねない幾何学的な不整合を防ぐ。
   • 合計損失： 学習目的関数はこれらの項を組み合わせたものである：$L = L_{sup} + L_{DML} + \lambda_{Gram}(t) L_{Gram}$。ここで、$\lambda_{Gram}$はウォームアップ・スケジュールに従う。
3. 推論と不確実性推定：
   • 不確実性のプロキシ： 推論時、アンサンブルの予測は$K$個のエキスパートの分布の平均となる。総予測不確実性は、アレオリック（データ由来）成分とエピステミック（モデル由来）成分に分解される。著者らは、エピステミック不確実性（残留する不一致）が、集約されたDML損失によって上限が抑えられることを理論的に証明している。したがって、訓練中にDML損失を最小化することは、モデルの不確実性の理論的上界を縮小させることになる。
   • ローカライゼーション： パッチレベルの病変のローカライゼーションは、全エキスパートにわたるアテンション重みのコンセンサスを計算することによって、教師なしで実現される。

主な貢献

1. 初のタスク非依存フレームワーク： DICEは、計算病理学においてタスク非依存の不確実性推定のためにPFMアンサンブルを活用する初のフレームワークである。
2. 理論的基盤： 本論文は、訓練時のDMLアライメント目的関数を最小化することが、アンサンブルのエピステミック不確実性の（残差としての）不一致の上限を縮小させるという理論的証明を提供し、残留する不一致を信頼できる不確実性のプロキシとして使用することの妥当性を検証している。
3. 実証的性能： 広範な実験により、DICEは分類、較正（キャリブレーション）、および教師なし病変ローカライゼーションにおいて、失敗しやすいサンプル（イン・オブ・ディストリビューションおよびアウト・オブ・ディストリビューションの両方）を正確に特定し、単一のSOTA PFMや融合ベースラインと同等以上の性能を示すことが実証された。

実験結果
フレームワークは、3つの弱教師ありWSIベンチマーク、PANDA（前立腺癌のグレーディング）、CAMELYON16、およびCAMELYON17（乳癌リンパ節転移検出）を用いて評価された。

• 分類と較正： DICEは、ほとんどのデータセットにおいて最高のF1スコアと最低の負の対数尤度（NLL）を達成した。PANDAにおいて、DICEは最高の単一PFMよりも3.8ポイント、最高の融合ベースラインよりも2.8ポイントF1スコアを向上させた。
• 不確実性推定： 選択的予測実験において、DICEは高不確実性のスライドを効果的に退け、保持されるエラー率を最小に抑えた。また、Cliff's $\Delta$で測定される通り、正解と不正解の予測の分離において、モンテカルロドロップアウトや他の融合手法と比較して優れた性能を示した。この能力は、コホートシフト（例：CAMELYON16で訓練し、CAMELYON17でテストする）の下でも維持された。
• ローカライゼーション： アテンションマップを集約することで、DICEは教師なしでのパッチレベルのローカライゼーションを提供した。これは単一モデルと同等またはそれ以上の競争力があり、特に周囲のストロマ組織ではなく、注釈付けされた腫瘍領域内に注意を集中させる能力において顕著であった。
• アブレーション研究： フレームワークはMILアグリゲーター（DSMIL, TransMIL）の選択に対して堅牢であり、特徴空間が十分にカバーされるとエキスパートの数を増やしても収穫逓減が見られることを示した。これは、純粋なアンサンブルのサイズよりも、エキスパートの相補性の重要性を浮き彫りにしている。

意義と主張
本論文は、DICEを不確実性を考慮した意思決定支援システムへとPFMを橋渡しするための重要なステップとして位置づけている。PFMを融合するための理論的に裏付けられたアプローチを確立することで、DICEは現在のモデルの「ブラックボックス」的な性質に対処し、エラーが発生しやすいケースを特定し、安全に臨床医へ判断を委ねるメカニズムを提供している。著者らは、本手法が、ローカライゼーションや信頼度の較正のための明示的な教師あり学習を必要とせずに、信頼できる不確実性推定を提供することで、臨床現場におけるPFMの信頼性を高めると主張している。

著者らは、限界についても認めている。これには、$K$個の凍結モデルから特徴量を抽出するための計算コスト（ただし、訓練コストはエンドツーエンドのファインチューニングよりは低い）や、不確実性推定に必要な「不一致」自体を抑制してしまわないよう、アライメントと多様性を慎重にバランスさせる必要性などが含まれる。結論として、エキスパートの数は現在固定されているものの、本フレームワークは、より信頼性の高い、不確実性を考慮した病理モデルを臨床ワークフローに統合するための道を開くものであるとしている。