Prevalence Shift and ICU Mortality Miscalibration Across Institutions

技術要約：施設間における有病率シフトとICU死亡率の較正不全（Miscalibration）

問題提起
集中治療室（ICU）における院内死亡率を予測するための機械学習モデルは、訓練データに対しては強力な識別性能（AUROCによって測定）を示すことが多いが、異なる病院システムに展開されると性能が低下するという課題がある。「データセット・シフト」は既知の課題であるが、有病率シフト（ラベル・シフトまたは事前確率シフトとも呼ばれる）がモデルの**較正（キャリブレーション）**に与える具体的な影響については、大規模なスケールでの検証が不十分である。

有病率シフトとは、訓練ソースにおけるアウトカムの周辺分布 $P(Y)$ が、展開先ターゲットにおけるものと異なる一方で、アウトカムを条件とした特徴量の条件付き分布 $P(X|Y)$ は安定している状態を指す。臨床現場において、較正の不全は極めて重要である。過大評価は不要な介入を招き、過小評価は不可欠なケアの遅延を招く。本論文は、病院レベルでの死亡率の変動が、較正不全の主要なメカニズム的要因であると仮定しているが、この関係性は、多様で現実的な一連の施設群を通じて体系的に定量化されてこなかった。さらに、標準的な指標であるAUROCは、単調な確率変換に対して理論的に不変であり、有病率シフトに対して鈍感であるため、「盲点」を生み出す。つまり、モデルは堅牢に見える（高いAUROCを維持する）一方で、臨床的には信頼できない（較正が悪化している）という状況が発生する。

手法
本研究では、以下の2つの主要なデータセットを用いたクロス・インストリチューショナル（施設間）展開フレームワークを利用している。

1. ソース・ドメイン: MIMIC-IV（Beth Israel Deaconess Medical Center）、訓練用に45,587人の患者を含む。
2. ターゲット・ドメイン: eICU Collaborative Research Database、185の異なる米国の病院にわたる159,224人の患者を含む。

実験設計:

• モデル: MIMIC-IVで訓練された、異なるファミリーを代表する4つの分類器（ロジスティック回帰（LR）、ランダムフォレスト（RF）、XGBoost（XGB）、LightGBM（LGBM））。
• 評価: モデルはeICUの185の病院に対して評価された。性能は、受信者動作特性曲線の下端面積（AUROC）および期待較正誤差（ECE）を用いて測定された。
• 相関分析: 研究では、「有病率ギャップ」（$|\pi_h - \pi_0|$、ここで $\pi_h$ は現地の病院死亡率、$\pi_0$ は訓練時の有病率）と、ECEおよびAUROCとの相関を分析した。
• 補正戦略: **閉形式のベイズ有病率補正（closed-form Bayesian prevalence correction）**を適用した。この手法は、現地の死亡率（$\pi_h$）と訓練時の有病率（$\pi_0$）のみを用いて予測確率を調整するものであり、ラベル付きのターゲットデータやモデルの再訓練を必要としない。公式はラベル・シフトの枠組みから導出されている：
  $$\hat{p}_h(x) = \frac{\hat{p}(x) \cdot (\pi_h/\pi_0)}{\hat{p}(x) \cdot (\pi_h/\pi_0) + (1-\hat{p}(x)) \cdot \frac{1-\pi_h}{1-\pi_0}}$$
• 比較ベースライン: ゼロ・ラベル・ベイズ補正を、以下の手法と比較した：
  • 補正なし（生の予測値）。
  • 教師あり手法（各病院のラベル付きターゲットデータの30%を用いて適合させたプラット・スケーリング、アイソトニック回帰、温度スケーリング）。
• 因果的検証: 有効な層化リサンプリングを通じて、 $P(X|Y)$ を厳密に保持したまま人工的に有病率をシフトさせた、保持されたMIMIC-IVデータを用いた合成実験を実施した。これにより、有病率シフトを唯一の変数として分離し、因果関係を確認した。
• 属性分析: 全体の較正誤差のうち、特に有病率シフトに起因する割合を定量化するために、経験的指標（$\phi_h$）を定義した。

主な結果

1. 有病率ギャップと較正誤差の強い相関: 4つのモデルアーキテクチャすべてにおいて、ECEは有病率ギャップに対して強い正の相関を示した（$r = 0.52$ ～ $0.75$, $p < 10^{-14}$）。現地と訓練時の死亡率の差が大きくなるにつれて、較正誤差は著しく増大した。
2. AUROC/ECEの解離: 対照的に、AUROCは有病率ギャップに対して弱い、あるいは有意ではない相関を示した（$|r| = 0.03$ ～ $0.22$）。LightGBMの場合、相関は実質的にゼロであり（$r = -0.027$）、ランクベースの指標が有病率シフトによる較正の悪化を検出できないことを裏付けた。
3. ゼロ・ラベル補正の有効性: ベイズ有病率補正は、較正の取れたモデル（LR, XGB, LGBM）において、平均ECEを56%から65%減少させた。
   • 例: LightGBMでは、ECEは0.085から0.037へと低下した。
   • この性能は、30%のラベル付きターゲットデータを利用した教師あり手法（プラット・スケーリングおよびアイソトニック回帰、ECE $\approx$ 0.022–0.024）に匹敵した。
   • ランダムフォレストは、有病率シフトとは無関係な固有の過剰確信（overconfidence）により、改善率が低かった（43.7%の減少）。
4. 因果的確認: 合成実験により、有病率を変化させること（$P(X|Y)$ を一定に保ったまま）だけで、現実世界の展開で見られた線形なECEの増加を再現するのに十分であることが確認された。
5. 属性分解: 経験的分析により、よく較正されたモデルにおいて、全較正誤差の約**55–65%**が有病率シフトに起因することが明らかになった。残りの誤差は、特徴量のドリフトや測定の不均一性などの他の要因に起因する。

意義と主張
本論文は、ベイズ補正公式の数学的導出における新規性を主張するものではない（この公式は確立されたラベル・シフト理論に基づいている）。むしろ、その貢献は経験的かつ定量的なものである：

• 大規模な定量化: 185の実際の施設と159,224人の患者にわたり、病院レベルのアウトカム有病率と較正誤差の関係を体系的に特徴付けた最初の研究である。
• 盲点の提示: AUROCは、有病率シフトが存在する場合、展開の準備状況を評価するには不十分であるという強力な証拠を提供した。すなわち、モデルは高い識別能を維持しながらも、深刻に較正が悪化し得る。
• 実用的かつゼロ・ラベルの解決策: 本研究は、病院がラベル付きデータを必要とせず、再訓練や機械学習の専門知識も不要で、単一の利用可能な集団統計量（現地の死亡率）を用いて較正を修正できる、実用的なフレームワークを確立した。
• 因果的属性: 有病率シフトがこの設定における較正誤差の支配的な要因であることを経験的に検証し、展開時に観察される劣化の大部分を説明した。

著者らは、有病率の不一致は解析可能な展開失敗の要因であり、提案されたゼロ・ラベル補正を用いることで、あらゆる施設が即座に緩和でき、それによってAI駆動型の臨床意思決定支援の安全性と信頼性を向上させることができると結論付けている。