Bayesian sample size calculations for external validation studies of risk prediction models

この論文は、リスク予測モデルの外部検証研究におけるサンプルサイズ決定に関する従来の頻度論的アプローチの限界を指摘し、不確実性を明示的に考慮したベイズ的枠組みを提案するものです。特に、二値アウトカム（発生/非発生）を予測するモデルの検証に焦点を当てています。

以下に、論文の技術的な詳細を要約します。

1. 問題提起 (Problem)

従来のリスク予測モデルの外部検証におけるサンプルサイズ計算（例：Riley らが提案した多基準アプローチ）には、以下の主要な課題があります。

• 固定値の仮定: 従来の方法は、モデルのパフォーマンス指標（C 統計量、較正勾配など）の「真の値」を固定値として仮定する必要があります。しかし、検証研究を行う理由自体が「真の値が不明である」ことにあるため、これは不完全な認識に基づいています。
• 不確実性の無視: 過去の研究からの推定値にはサンプリング変動による不確実性が伴いますが、従来の手法はこの不確実性を考慮せず、単一の点推定値に基づいて計算を行います。
• 臨床的有用性（Net Benefit）への適用性の欠如: 臨床的有用性を評価する指標であるネットベネフィット（NB）において、従来の「精度（信頼区間の幅）」に基づく推論は適切でないという批判があります。NB は意思決定の文脈に依存するため、単なる精度の最大化ではなく、最適な戦略の特定や情報価値の最大化が重要です。

2. 提案手法と方法論 (Methodology)

著者らは、モデルパフォーマンスに関する不確実性を事前分布として表現し、モンテカルロサンプリングを用いたベイズ的枠組みを提案しました。

2.1 基本的な枠組み

• 混合ベイズ・尤度アプローチ: 研究設計段階では既存のエビデンス（事前分布）を用いて不確実性を定量化しますが、将来の検証サンプルが得られた後は、そのデータ（尤度）のみを信頼するというアプローチをとります。
• 事前予測分布（Pre-posterior distribution）の生成:
  1. 事前分布 $P(\theta)$ からパラメータ（有病率 $\phi$、C 統計量 $c$、較正関数 $h$）をサンプリング。
  2. 各パラメータセットに対して、検証サンプル $D_N$ をシミュレーション生成。
  3. 生成されたサンプルから性能指標の推定量や信頼区間（CI）の幅などを計算。
  4. このプロセスを反復し、サンプルサイズ $N$ に対する精度指標や価値指標の分布（事前予測分布）を得る。

2.2 パラメータの特定化 (Specifying $P(\theta)$)

• 過去の研究から報告される要約統計量（点推定値、信頼区間など）から、パラメータの分布を構築します。
• 識別可能性: 有病率、C 統計量、較正関数（切片と勾配、または O/E 比と勾配）を指定することで、較正リスクの分布 $P(p)$ を一意に特定できることを示しています（例：Logit-normal 分布を仮定）。
• 相関構造については、パラメトリック・ブートストラップを用いてパラメータ間の依存性を再現することも可能です。

2.3 サンプルサイズ決定ルール

提案された枠組みでは、以下の 3 種類のルールに基づいてサンプルサイズを決定できます。

1. 期待精度基準 (Expected CI Widths, ECIW):
   • 将来の研究で得られる信頼区間幅の期待値が、目標値以下になる最小の $N$ を求めます。
2. 保証型ルール (Assurance-type rules):
   • 信頼区間幅が目標値以下になる確率（保証率、例：90%）を満たす最小の $N$ を求めます。
   • これは「期待値」だけでなく、特定のデータセットで目標を達成しないリスク（ Worst Outcome）を管理したい場合に有効です。
3. 情報価値に基づくルール (Value of Information, VoI):
   • 最適性の保証 (Optimality Assurance): 検証サンプルに基づいて選択される戦略が、真の集団において最適な戦略である確率を最大化する $N$ を求めます。
   • サンプル情報の期待価値 (EVSI): 検証研究を行うことで得られるネットベネフィットの期待増加分を計算します。
   • 相対 EVSI (rEVSI): EVSI を完全情報の価値 (EVPI) で割った値。不確実性による損失を何％削減できるかを示します。
   • サンプリングの期待ネットベネフィット (ENBS): EVSI からサンプリングコストを差し引いた値を最大化する $N$ を求めます（本研究のケーススタディでは使用せず提案のみ）。

3. 実装 (Implementation)

• R パッケージ bayespmtools: 提案されたアルゴリズムを実装したパッケージを提供しています。
  • bayespm_prec(): 固定されたサンプルサイズに対する精度や VoI を計算。
  • bayespm_samp(): 指定された精度基準や VoI ルールを満たす最小サンプルサイズを決定（確率的なルート探索アルゴリズムを使用）。
• 計算手法: モンテカルロシミュレーションに加え、信頼区間幅の計算については、サンプルを生成せずに SE 式を 2 回適用する近似 2 段階アプローチも提案しています。

4. ケーススタディの結果 (Results)

対象: 入院中の COVID-19 患者の悪化（人工呼吸器、集中治療、死亡）を予測する「ISARIC 4C モデル」のロンドン地域における外部検証。

• データ: イギリスの 8 地域での内部・外部検証結果をメタ分析し、予測分布を構築。
• 比較:
  • 従来の Riley 法: 較正勾配の精度（CI 幅 0.3）がボトルネックとなり、1,056 例が必要と算出されました。
  • ベイズ法（期待 CI 幅）: 従来の法とほぼ同様の結果（1,064 例）となりました。
  • ベイズ法（90% 保証）: 不確実性を考慮し、目標を達成する確率を 90% に設定すると、1,181 例が必要となりました。
• VoI 分析による再評価:
  • EVSI 曲線を用いて分析したところ、較正勾配の精度要件を満たすためにサンプルサイズを 522 例から 1,181 例に増やすことは、臨床的有用性（ネットベネフィット）の観点からは「収穫逓減」の領域にあり、期待される利益の増加はわずか 8.8% にとどまりました。
  • 較正曲線の可視化（ベイズ較正誤差プロット）でも、サンプルサイズを 522 例に抑えても誤差は許容範囲内であることが示されました。
  • 結論: 臨床的有用性とコストのバランスを考慮し、522 例を推奨サンプルサイズとして提案しました。

5. 貢献と意義 (Significance)

• 不確実性の明示的定量化: 従来の「固定値」仮定を捨て、モデルパフォーマンスの不確実性を事前分布として取り込むことで、より現実的な研究設計が可能になりました。
• 意思決定に即したルール: 単なる統計的精度だけでなく、「目標達成の保証（Assurance）」や「臨床的有用性の向上（VoI）」に基づいたサンプルサイズ決定を可能にしました。特に、Net Benefit における VoI 分析は、臨床応用の判断において従来の信頼区間アプローチよりも適切です。
• 柔軟なハイブリッドアプローチ: 特定の指標（例：C 統計量）には精度基準を適用し、他の指標（例：NB）には VoI 基準を適用するなど、研究目的に応じた柔軟な設計を支援します。
• 文化的転換の促進: 予測モデルの開発・検証において、パラメータの不確実性を報告し、研究設計に反映させるという文化的な変化を促すものです。

この論文は、リスク予測モデルの検証研究を、単なる統計的精度の追求から、不確実性を管理し、臨床的価値を最大化する意思決定プロセスへと進化させるための重要な枠組みを提供しています。