MARVEL: Margin-Aware Robust von Mises-Fischer Expert Learning for Long-Tailed Out-of-Distribution Detection

技術要約：MARVEL – 長尾分布におけるアウト・オブ・ディストリビューション検出のためのマージン認識型ロバスト von Mises-Fischer エキスパート学習

問題提起
深層ニューラルネットワーク（DNN）は医療画像において高い性能を達成しているが、実世界への導入において重大な信頼性の課題に直面している。これには主に2つの問題が深刻化させている：

1. アウト・オブ・ディストリビューション（OOD）検出の失敗： DNNは、OOD入力（例：異なる解剖学的領域、モダリティ、または非放射線画像）に対して、過剰に自信を持った誤った予測を生成することがあり、安全上のリスクをもたらす。
2. 長尾クラス不均衡（Long-Tailed Class Imbalance）： 医療データセットは、少数の「ヘッド（多数派）」クラスが支配的であり、多数の「テール（少数派）」クラスが稀少であるという長尾分布に従うことが多い。このバイアスは、モデルがヘッドクラスに過学習することを引き起こし、結果としてテールクラスの表現学習を損なわせる。その結果、テールサンプルがOODと誤分類されたり、真のOODサンプルがテールクラスと混同されたりといった、決定境界付近での特徴量クラスターの重複が生じる。

既存の文献は、バランスの取れたデータセットを想定していたり、自然画像を用いた粗いベンチマークでOOD検出を評価していたり、あるいはクラス不均衡と分布の不確実性の相互作用に対処できていなかったりすることが多い。

手法：MARVEL フレームワーク
著者らは、長尾分布下での医療画像ID分類およびOOD検出のために設計されたフレームワークである MARVEL（Margin-Aware Robust von Mises-Fischer Expert Learning）を提案している。このアーキテクチャは、共有の特徴抽出器と、特化したエキスパートのエンサンブルで構成されている。

1. 非線形 von Mises-Fisher (NvMF) 分類器：

   • 動機： 従来のvMFベースの分類器は、スケーリングされたコサイン類似性に帰着するため、超球面上での線形決定境界を生む。これは、不均衡データに見られる複雑で異質なクラスの幾何学的構造をモデリングするには柔軟性に欠ける。
   • 革新性： 著者らは、指数型分布族の構造を通じてvMF分布を再解釈している。単に尤度モデルとして扱うのではなく、ロジットを対数分割関数の変化（$\ell_c = -\Delta A(x)$）として定義する。
   • 理論的保証： 本論文では、濃度パラメータ $\kappa \to \infty$ のとき、提案されたNvMFロジットが標準的なコサイン類似性に収束することを証明しており（定理1）、これが既存の超球状分類器の原理的な一般化であることを確立している。有限の $\kappa$ においては、非線形決定境界を誘導し、複雑なクラスターのより優れた分離を可能にする。

2. マージン認識型マルチエキスパート・アンサンブル：
   長尾不均衡に対処するため、本フレームワークは、それぞれ異なるマージン強度パラメータ $\tau \in \{0, 1, 2\}$ で訓練された3つのNvMFエキスパートを採用している：

   • ヘッド偏重型 ($\tau=0$)： 多数派クラスのための標準的な分類器。
   • バランス型 ($\tau=1$)： 中程度の再調整。
   • テール偏重型 ($\tau=2$)： 少数派クラスに対する積極的な保護。
   • メカニズム： マージン項 $\Delta_{yc} = \tau \log(\pi_c / \pi_y)$ が損失関数に導入される。ここで $\pi$ は経験的なクラス事前分布を表す。これにより、決定境界をテールクラスから非対称に遠ざけ、テールクラスがヘッドクラスに圧倒されるのを防ぐ。

3. 専用アウトライヤー・エキスパート：

   • 別個の単純な全結合層（$g_{out}$）が、二値分類（ID vs. OOD）のために明示的に訓練される。
   • これは、訓練中に補助的なOODデータセット（ImageNet-100）を利用する。微細なIDクラスをモデリングするNvMFエキスパートとは異なり、このエキスパートはインライアとアウトライヤーの分離のみに焦点を当て、OOD検出のための直接的な教師信号を提供する。

4. 推論戦略：

   • ID分類： 3つのNvMFエキスパートからの予測を集計する（$K$ 個のIDクラスにわたるソフトマックス確率の平均）。
   • OOD検出： 2つの信号を組み合わせる：(i) NvMFエキスパートからの第$(K+1)$番目のクラス（OOD）の確率、および (ii) アウトライヤー・エキスパートからの明示的なOOD確率。最終的なスコアはこの2つの信号の平均である。

評価プロトコル
著者らは、既存のベンチマークが自然画像（例：SVNH, LSUN）や単純なクラス保持に依存していることを批判している。彼らは、以下の項目を網羅する臨床的に現実的なOOD評価フレームワークを提案している：

• 新規クラス（Novel Classes）： 訓練中に見られなかった意味的なクラス（Open-Set）。
• 摂動（Corruptions）： 合成的な劣化（ノイズ、ブラー、アーティファクト）。
• NearOOD： 医療画像内のドメインシフト（例：異なる撮像装置、染色技法、または解剖学的領域）。
• FarOOD： 視覚的に医療データから遠い自然画像（MS-COCO）。
• データセット： 実験は、50:1の長尾分布になるよう再構成された RFMiD（網膜画像）、ISIC2019（皮膚科学）、および NCTCRC（組織病理学）を用いて行われる。

主な結果

• OOD検出： MARVELは、すべてのデータセットおよびOODシナリオにおいて、最先端の手法（PASCL, COCL, EAT, PATT, OE）を一貫して上回っている。
  • ベースラインと比較して、平均FPR95の減少率は 8.45% (RFMiD)、13.02% (ISIC2019)、36.90% (NCTCRC) に達している。
  • 専用のアウトライヤー・エキスパートにより、FarOODおよびNearOOD2シナリオにおいて、飽和に近いAUROC（>99%）を達成している。
  • 最も困難なOpen-Setシナリオにおいても最高の性能を維持しているが、この設定ではAUROCが85%を下回っており、新規クラスとテールクラスを区別することの固有の難しさが浮き彫りとなっている。
• ID分類： MARVELは最高の精度（Accuracy）およびバランス精度（Balanced Accuracy）を達成している。ベースラインがヘッドとテールの間で大きなギャップを示すのに対し、MARVELはテールクラスの認識を大幅に改善し（例：NCTCRCにおけるテール精度が95%に接近）、同時にヘッドクラスの性能も維持している。
• アブレーション研究：
  • 分類器の選択： NvMFは線形vMF、コサイン、および全結合（FC）分類器を大幅に上回っており、非線形境界の利点を検証している。
  • エキスパート数： 3つのエキスパートによるアンサンブルが最適なトレードオフを提供している。4つ目のエキスパートを追加しても改善は見られず、むしろ性能を低下させることが多い。
  • 較正（Calibration）： MARVELは、過剰に自信を持ちすぎる（PASCL, PATT）または自信がなさすぎる（OE, EAT）傾向にあるベースラインと比較して、優れた信頼性較正を示している。
  • OODスコアリング： フレームワーク内のロジットベースのスコアリング（MSP）は、テールクラスの表現の疎性と異方性に苦しむ距離ベースの手法（KNN, Mahalanobis）よりも優れている。

意義と主張
本論文は、MARVELが長尾認識とOOD検出を統合することで、医療AIにおける重要なギャップを埋めるものであると主張している。その意義は以下の点にある：

1. 手法的な新規性： コサイン分類器を一般化する理論的に裏付けられた非線形vMF分類器と、深刻なクラス不均衡を扱うためのマージン認識型マルチエキスパート戦略の導入。
2. 明示的なOODモデリング： 専用のアウトライヤー・エキスパートによって、多クラスID識別からOOD検出を切り離すことで、希少なテールクラスと真のアウトライヤーとの混同を防ぐ。
3. 臨床的関連性： ドメインシフト（モダリティの変化、撮像の変動、および自然画像）のスペクトラムにわたってモデルを評価することで、人工的なベンチマークを超えている。
4. 安全性： 臨床医への委託のための、未知の症例を確実に識別することを可能にし、データが本質的に不均衡で分布シフトが一般的な実世界のワークフローにおける、より安全なAI支援診断をサポートする。

著者らは、補助的なOODデータの使用や固定されたラベル空間の仮定を含む限界を認めており、今後の研究として継続学習や密な予測タスクへの展開を挙げている。