Development and evaluation of CADe systems in low-prevalence setting: The RARE25 challenge for early detection of Barrett's neoplasia

以下は、提示された論文「Development and evaluation of CADe systems in low-prevalence setting: The RARE25 challenge for early detection of Barrett's neoplasia」の技術的な要約です。

論文概要：RARE25 チャレンジ

タイトル: 低有病率環境における CADe システムの開発と評価：バレット食道腫瘍の早期検出のための RARE25 チャレンジ
著者: Tim J.M. Jaspers ら（エindhoven 工科大学、アムステルダム大学医学センター）

---

1. 問題定義 (Problem)

背景:
バレット食道（Barrett's Esophagus, BE）の監視検査において、早期の腫瘍（異型性や早期がん）を検出することは、患者の予後を改善する上で極めて重要ですが、臨床現場では**「低有病率（Low-prevalence）」**という重大な課題に直面しています。

• 低有病率効果: 正常な所見が圧倒的に多く、異常所見が極めて稀であるため、熟練の医師であっても見落とし（False Negative）が発生しやすい。
• 有病率シフト（Prevalence Shift）: 既存の AI 研究の多くは、学習用データセットを人工的にバランスよく作成（過剰サンプリング）して評価している。しかし、実際の臨床現場では異常例が極めて少ないため、学習時の性能が実運用時の性能（特に偽陽性率）と乖離する。
• 現状の課題: 従来の評価指標（AUROC など）は不均衡データにおいて臨床的な有用性を過大評価する傾向があり、実臨床での導入には「偽陽性（False Positive）の爆発的増加」による医師の疲弊やアラート疲労（Alert Fatigue）というリスクがある。

目的:
このギャップを埋めるため、RARE25 チャレンジは、実世界の有病率を反映した大規模なベンチマークを提供し、低有病率環境下での CADe（Computer-Aided Detection）システムの真の性能を評価することを目指した。

---

2. 手法と実験設計 (Methodology & Challenge Design)

データセット

• 公開学習セット: 3,095 枚の画像（正常なバレット食道：2,937 枚、確認された腫瘍：158 枚）。
  • 現時点で最大の公開バレット食道画像データセット。
  • 2 つのオランダの医療センターから収集。
• 非公開テストセット（ロック済み）: 25,000 枚以上の画像（正常：23,176 枚、腫瘍：3,232 枚）。
  • 重要: 実世界の監視検査における期待される有病率（非常に低い割合）を反映するようにサンプリングされている。
  • 12 の医療センターからのデータを含む。

評価プロトコル

単なる分類精度ではなく、臨床的に意味のある指標を重視した。

1. 主要指標: PPV@90%RECALL（90% の感度を維持した際の陽性的中率）。これは、見落としを極力減らす（高感度）条件下で、どれだけの偽陽性が発生するかを評価する。
2. 補助指標: AUROC（受動者動作特性曲線下面積）、AUPRC（適合率 - 再現率曲線下面積）。
3. 統計的頑健性: 画像レベルのブートストラップ（1,000 回反復）を行い、不確実性と信頼区間を推定。特に陽性例が少ないため、陽性例を固定比率（1:100）でリサンプリングして評価した。

参加チームと手法

7 か国から 11 チームが参加。主な技術的アプローチは以下の通り。

• アンサンブル学習: 多くのチーム（IMSY, agaldran, sk など）が、多数のモデルを組み合わせることで分散を低減し、ロバスト性を高める手法を採用（最大 40 モデルのアンサンブル）。
• 事前学習戦略:
  • ドメイン特化型: GastroNet-5M などの消化器内視鏡データで事前学習したモデル（ResNet, ConvNeXt, ViT）の微調整。
  • 汎用型: ImageNet や ImageNet-21k で事前学習したモデル。
  • 段階的学習: ポリープ検出やセグメンテーションタスクを経て、最終的に分類タスクへ転移学習する手法（Jmees-inc）。
• クラス不均衡への対応:
  • 重み付きサンプリング、Focal Loss、Balanced MixUp、Asymmetric Loss (ASL) の採用。
  • 事後の較正（Platt scaling, Affine re-calibration）による確率出力の調整。
• 特徴: 参加チームの多くは「完全教師あり分類」に依存しており、「異常検出（Anomaly Detection）」や「ワンクラス学習」のような有病率に依存しないアプローチは採用されなかった。

---

3. 主要な結果 (Results)

性能評価

• トップチーム: Team IMSY が、PPV@90%RECALL（主要指標）で最上位（ブートストラップ中央値 0.035、全データセットで 0.320）を記録。AUROC も 0.920 と高い性能を示した。
• 性能の傾向:
  • 上位チーム間でも、PPV@90%RECALL においては明確な差が見られた（5 位と 1 位で 52% の改善）。
  • しかし、PPV@90%RECALL の絶対値は依然として低い（トップチームでもブートストラップ中央値で 3.5% 程度）。これは、高感度（90%）を維持しようとすると、実臨床では依然として多くの偽陽性が発生することを意味する。
  • AUROC や AUPRC などのランキング指標では上位チームが安定していたが、有病率を考慮した実運用指標（PPV）では性能が大幅に低下する傾向が見られた。

定性的分析

• 明確な病変はすべてのチームで検出できたが、非常に微妙な初期の腫瘍所見（視覚的手がかりが曖昧な場合）の検出には多くのチームが苦戦した。
• 上位チームは、微弱な判別信号を効果的に利用できていることが示唆された。

---

4. 主な貢献と意義 (Key Contributions & Significance)

1. 有病率を考慮した初めての大規模ベンチマーク:

   • 学習データ（バランス型）とテストデータ（実世界有病率反映型）を分離し、モデルの「有病率シフト」への耐性を厳格に評価する枠組みを確立した。
   • これにより、人工的にバランスの取れたデータセットで過大評価されていた CADe システムの限界を浮き彫りにした。

2. 臨床的有用性の再考:

   • 従来の AUROC 中心の評価では隠れていた「偽陽性の負担」が、PPV@90%RECALL によって可視化された。
   • 低有病率タスクにおいて、単なる分類精度の向上だけでなく、**「臨床ワークフローへの統合」や「偽陽性率の管理」**が実用化の鍵であることを示唆した。

3. 将来の研究方向性の提示:

   • 異常検出アプローチの欠如: 参加チームのほとんどが「完全教師あり分類」を採用していた。正常データが豊富で異常データが稀な監視タスクにおいては、**「異常検出（Anomaly Detection）」や「ワンクラス学習」**といった有病率に依存しないアプローチが、より現実的で有望である可能性が指摘された。
   • 較正と意思決定: 確率出力の較正（Calibration）と、臨床医をループに含めた意思決定プロセスの重要性が強調された。

---

5. 結論 (Conclusion)

RARE25 チャレンジは、バレット食道腫瘍の早期検出における CADe システム開発の新たな基準を示した。現在の技術でも一定の検出能力は向上しているが、実世界の低有病率条件下では依然として偽陽性の問題が深刻であり、臨床導入には技術的な性能向上だけでなく、評価指標の再定義とワークフローへの適応が不可欠である。今後は、教師あり分類に依存しない異常検出アプローチの探求や、より堅牢な較正手法の開発が期待される。