Separation-like irregularity and sample size optimism in high-discrimination logistic prediction models

技術要約：高識別能ロジスティック予測モデルにおける分離様不規則性とサンプルサイズへの楽観的バイアス

問題提起
臨床予測モデルの開発、特にロジスティック回帰を用いた開発においては、キャリブレーションの安定性を確保し、過学習を回避するために、適切なサンプルサイズに依存している。グローバルな縮小（shrinkage）ターゲットに基づき最小サンプルサイズを決定するための広く用いられた閉形式の基準であるRileyフレームワーク（Rパッケージpmsampsizeに実装）は、特定の設計レジームにおいて楽観的な結果をもたらす可能性があることが、近年の評価により示唆されている。具体的には、予想される識別能（AUC）が高い場合、閉形式の推奨値は、キャリブレーション・スロープの安定性を維持するために必要なサンプルサイズを過小評価する可能性があるという懸念がある。本論文では、Rileyのベンチマーク（$n_{Riley}$）の動作特性を、アウトオブサンプルでのキャリブレーション・スロープの安定性によって定義される経験的な必要サンプルサイズ（$n_{req}$）と比較し、特に「分離様（separation-like）」の数値的不規則性が起こり得る高識別能の設定に焦点を当てて調査を行う。

手法
著者らは、数式に基づく推奨値と経験的な必要量を比較するために、包括的なモンテカルロ・シミュレーション研究を実施した。

• シミュレーション設計: 本研究では、以下の4つの設計因子を交差させた要因設計グリッドを利用した。
  • 予測変数の分布: 正規分布、標準化された歪んだ連続変数（指数分布）、および二値変数（ベルヌーイ分布）。
  • 信号密度: 密（信号が$p=10$個の全予測変数に分散）対 疎（信号が3つの予測変数に集中し、残り7つはノイズ）。
  • 目標識別能: $AUC_{target} \in \{0.70, 0.75, 0.80, 0.85, 0.90\}$.
  • 有病率: $\phi_{target} \in \{0.05, 0.10, 0.20\}$.
• データ生成: パラメータ（切片 $\alpha$ および信号強度 $f$）は、生成されたデータが目標とする有病率およびAUCと正確に一致するように、大規模な合成集団（$N=1,000,000$）を用いた入れ子状の根求め（nested root-finding）によって較正された。
• ベンチマーク ($n_{Riley}$): グローバルな縮小ターゲット $S \geq 0.90$ を用いてpmsampsizeパッケージを使用して算出。
• 経験的必要量 ($n_{req}$): 以下の条件を満たす最小のサンプルサイズ $n$ として定義される。
  1. 期待されるロジットスケールのキャリブレーション・スロープ $E(b_n) \geq 0.90$ であること。
  2. 重大な誤較正が発生する確率 $Pr(b_n < 0.80) \leq 0.20$ であること。
  • $n_{req}$ は、アウトカムのノイズを排除するために、固定された大規模な検証用共変量セット（$N_{val}=50,000$）上で真の値に基づくキャリブレーション・スロープを評価する適応的二分探索法を用いて決定された。
• メカニズム診断: $n = n_{Riley}$ において、非収束、分離警告（極端な適合リスクまたは対数オッズ）、および極端な適合リスクの頻度を記録し、数値的な病理が不一致を説明するかどうかを評価した。
• 応用例: 脳卒中予測の実際のデータセットを用い、これらの診断および非ペナルティ型とリッジ回帰による比較の実践的な適用を示した。

主な結果

1. 識別能に依存する乖離: 中程度の識別能（$AUC_{target} \leq 0.75$）では、$n_{Riley}$ は $n_{req}$ に近似していた。しかし、識別能が高くなるにつれて、$n_{Riley}$ は必要サンプルサイズをますます過小評価するようになった。$AUC_{target} = 0.90$ において、数式による推奨値は経験的な必要量よりも大幅に低くなり（例：有病率に応じて-40.5%から-47.2%の相対的な差）、その結果、キャリブレーション・スロープが目標の0.90を大きく下回るモデルが生成された。
2. 頑健性: 高い識別能における過小評価の主要なパターンは、予測変数の分布（正規、歪んだ、二値）および信号密度構成（密 vs 疎）に関わらず、一貫して観察された。
3. 楽観性のメカニズム: 高識別能の設定における $n = n_{Riley}$ では、標準的な非ペナルティ・ロジスティック回帰の適合は、名目上の収束が報告されているにもかかわらず、頻繁に「分離様」の挙動を示した。
   • 明らかな非収束は稀であったが、分離警告（極端な適合リスクまたは対数オッズ）の頻度はAUCとともに急増した（$AUC=0.90$ かつ低有病率の場合、約50%に達した）。
   • これは、Rileyの縮小近似で使用される尤度に基づく情報量（例：$\Delta\chi^2$）が、決定論的な予測によって膨張または摂動を受け、その結果、過度に楽観的な縮小推定値と、それに伴う不十分なサンプルサイズ推奨につながっていることを示唆している。
4. 応用例: 脳卒中データセットの例では、数式で推奨されたサンプルサイズで開発された非ペナルティモデルは、過学習の兆候（キャリブレーション・スロープ 0.802）を示したが、リッジ回帰を用いたモデルはより良い安定性（スロープ 1.013）を実現した（ただし、わずかなアンダーフィッティングへのシフトを伴う）。

主な貢献

• 経験的マッピング: 本研究は、閉形式のサンプルサイズ推奨値が一致する場合と乖離する場合を体系的に特徴付け、目標識別能（AUC）が、高パフォーマンス領域における楽観性の主要な要因であることを特定した。
• 診断プロトコル: 推奨されたサンプルサイズにおいて評価すべき、収束および分離に関連する診断（例：極端な適合リスク）を実用化した。これらは、尤度近似が限界に達しているかどうかを検知するための実用的なツールとして機能する。
• 実践的ガイダンス: 著者らは、$n_{Riley}$ を原則的なベースラインとしつつ、高い識別能が予想される場合には、標的を絞ったシミュレーションによるストレス・テストや不安定性診断によって補完するワークフローを提案している。

意義および主張
本論文は、数式に基づく最小サンプルサイズ推奨値の正確性が、予想される識別能の関数であるという経験的な証拠を提示している。著者らは、Rileyフレームワークは中程度の識別能においては防御可能なツールであるが、高識別能の設定においては、分離様の数値的不規則性の発生により、尤度に基づく縮小近似への依存が破綻することを主張している。

その意義は、なぜ閉形式の基準が楽観的になるのかについて、一貫した説明を提供している点にある。すなわち、適合された尤度が決定論的な予測によって支配され、情報量と実効的な過学習との間のつながりが弱まるためである。したがって、著者らは、高い識別能が予想されるモデルを計画している研究者は、閉形式の計算のみに頼るのではなく、代わりにシミュレーションベースのプランニングやペナルティ推定戦略を採用し、キャリブレーションの安定性と数値的診断を明示的に報告することを推奨している。本研究はRileyフレームワーク全体を無効化すると主張しているのではなく、その信頼性の境界を定義し、特定の高リスクなレジームにおける限界を緩和するためのメカニズムに基づいたアプローチを提示している。