A reproducible and extensible framework for benchmarking competing risks survival models

技術要約：競合リスク生存モデルをベンチマークするための再現可能かつ拡張可能なフレームワーク

問題提起

ヘルスケアにおける生存解析では、ある事象（例：癌死）の発生が他の事象（例：心血管疾患死）の発生を妨げる**競合リスク（Competing Risks: CR）**がしばしば関与します。CRを扱うために数多くの統計学的手法や機械学習手法が提案されてきましたが、それらの体系的な評価と臨床への導入は限定的です。現在の文献には主に以下の3つのギャップが存在します。

1. 再現可能なベンチマークの欠如: 研究によって使用されるデータセットが異なり、前処理の手順が報告されていなかったり、評価指標（頻繁に識別能のみに限定される）が一致していなかったりするため、楽観的な結果が生じやすく、新しい手法との比較が困難になっています。
2. ソフトウェア統合の制限: 新しい手法が、より広範な機械学習フレームワークへの統合なしに、アドホックなコードとして実装されていることが多く、アクセシビリティを妨げています。
3. 解釈性の課題: 回帰モデルが直接的な係数推定値を提供するのに対し、複雑な機械学習モデル（ディープラーニングなど）は、事後的な解釈ステップを必要とし、これらはCRの設定においては標準化されていないことが多いです。

さらに、CRイベントを打ち切りとして扱うことは、非情報的打ち切りの仮定に違反するため、リスクを過大評価し、特に多併存疾患を持つ高齢者集団においてアルゴリズムのバイアスを引き起こす可能性があります。

方法論

著者らは、統一された実験設定の下で複数のデータセットにわたってCRモデルを評価するように設計された、オープンソースで再現可能なベンチマーク・パイプラインを開発しました。このフレームワークは、相互運用性を確保するためにRとPythonの両方で実装されています。

1. データとモデル:

• データセット: 最小競合リスクイベント率が約10%を確保されるよう、規模やイベント率の異なる5つのデータセット（PBC, HD, METABRIC, Framingham, およびSEER乳がんのサブセット）を利用しました。
• モデル: 古典的な回帰からディープラーニングまで、多様な6つの手法をベンチマークしました。
  • 回帰ベース: 原因特異的Cox比例ハザードモデル (csCPH)、Fine-Gray回帰 (FGR)、ペナルティ付き比例部分分布ハザード (FGRP)。
  • 決定木ベース: ランダム生存フォレスト (RSF)。
  • ディープラーニング: DeSurv（連続時間）、DeepHit（離散時間）。
• 検証: データ漏洩を防ぐため、**ネストされた交差検証（nested cross-validation）**アプローチを採用しました。外側のループはモデルの評価を、内側のループはハイパーパラメータのチューニングを管理しました。
• 欠損値: 完全ケース分析、単変量補完（中央値/最頻値）、および多重代入法（MICE）を含む戦略を用い、これらはすべてデータ漏洩を避けるためにCVフォールド内で適用されました。

2. パフォーマンス指標:
本フレームワークは、予測性能の4つの補完的な側面を評価します。

• 較正（Calibration）: 視覚的プロット、統合較正指数（ICI）、および擬似観測値を用いた観測/期待（O/E）比。これらは打ち切りを扱うために擬似観測値を使用しています。
• 識別能（Discrimination）: 固定ホライゾンに対する時間依存的AUC (tdAUC)、およびグローバルな評価のためのC-indexのバリアント（$C_{td}$ および $C_{\tau}$）。後者は累積発生関数（CIF）を要約するために制限付き平均時間損失（RMTL）を利用しています。
• 全体的な予測誤差: 加重ブライア・スコア (BS) および統合ブライア・スコア (IBS)。
• 臨床的有用性: 「すべて治療」戦略および「治療なし」戦略に対する純利益を評価するための決定曲線分析 (DCA)。

3. 解釈性:

• モデル固有: パラメトリックモデルの回帰係数。
• モデルに依存しない手法:
  • 置換重要度（Permutation Importance）: IBSの劣化を通じて測定。
  • CifSHAP(t): SurvSHAP(t)をCR設定に拡張した新しい手法。この手法は、時間依存的かつモデルに依存しない特徴量の寄与を提供するために、原因特異的累積発生関数（CIF）を時間軸に沿って分解します。

4. 実験設計:
ハイパーパラメータのチューニングは、公平な比較を行うために、モデル固有の損失関数ではなく、IBS（全体的な予測誤差の最小化）に対して最適化されたグリッドサーチを用いて標準化されました。ディープラーラーニングモデルは、早期停止による特定の損失関数へのバイアスを避けるため、固定エポック数（300）の予算内で訓練されました。

主な結果

• 予測の一貫性: 古典的な回帰モデル（csCPH, FGR, FGRP）は、個々のレベルの予測においてほぼ完全な一致を示しました。機械学習モデル（RSF, DeSurv, DeepHit）は、より明確なリスク割り当てを生成し、DeepHitは回帰ベースのモデルとの相関が最も低くなりました。
• パフォーマンスの変動: すべての指標およびデータセットにおいて、単一のモデルが支配的であるということはありませんでした。
  • DeSurv は、METABRICのような大規模なデータセットにおいて、グローバルな指標（I型、$C_{\tau}$）で他を圧倒することがよくありました。
  • FGRP（ペナルティ付きFine-Gray）は、特に大規模なデータセット（Framingham, SEER）において非常に競争力があり、識別能（$C_{td}$）でトップになることがよくありました。
  • DeepHit は、このベンチマークにおいて、特に後半の時間帯における較正に関して、最も成績が悪くなる傾向がありました。
• 指標の感度: モデルのランキングは、選択された指標に強く依存していました。例えば、最小のIBSを持つモデルが必ずしも最高のC-indexを持つとは限りませんでした。これは、評価基準が臨床目標に基づいて事前に指定されていない場合、「メトリック・ハッキング（指標操作）」のリスクがあることを強調しています。
• 解釈性: 置換重要度とCifSHAP(t)の両方が、非常に一貫した共変量のランキング（例：METABRICにおけるChemotherapy, MKI67, PGRが主要な予測因子）をもたらしました。CifSHAP(t)はさらに、共変量の寄与（例：化学療法）が、観察されたイベントの種類（原因1 vs 原因2）や時間に応じて、符号や大きさが変化し得ることを明らかにしました。
• 最適化の影響: IBSに基づいてハイパーパラメータをチューニングすることは、モデル固有の損失関数や$C_{td}$に基づいてチューニングする場合と比較して、よりバランスの取れたモデル（優れた較正と識別能）を生み出しました。これは、較正を犠牲にして識別能を高めてしまう傾向があることを示しています。
• 実行時間: 回帰ベースの手法は計算効率が高かった。機械学習手法、特にRSFとDeSurvは、著しく高い計算コストを要し、RSFはアンサンブルツリーの適合により最大の負荷を示しました。

意義と主張

本論文は、本研究を「最高の」モデルの決定的なランキングとしてではなく、競合リスク手法の体系的な評価のための再現可能かつ拡張可能な基盤として位置づけています。

• 標準化: 本フレームワークは、共通の実験設定、一貫した前処理、および一連の統一された評価指標を提供することで、バイアスのない比較研究の欠如に対処しています。
• 臨床的関連性: 識別能を超えて、較正、全体的な誤差、および臨床的有用性（DCA）を含めることで、本フレームワークはモデル評価を実用的な臨床的意思決定のニーズに適合させています。
• 解釈性の革新: **CifSHAP(t)**の導入は、CR設定における時間依存的かつ原因特異的な寄与への理解のギャップを埋めることで、モデルの解釈性を拡張します。
• 実践的なガイダンス: 著者らは、より単純な回帰ベースの手法（FGRPなど）が、しばしば競争力のある性能を低い計算コストで達成することを示しており、これらが強力なベースラインとして機能すべきであることを示唆しています。また、ハイパーパラメータのチューニング基準（例：IBS vs Loss）がモデルの挙動とランキングに決定的な影響を与えることを強調し、チューニング戦略の報告における透明性を求めています。

著者らは、彼らの知見は使用された特定のデータセットと設定に依存するものであるものの、本フレームワークは、開発者や実務家が将来のCR予測モデルの開発、検証、および採用を促進するための堅牢でオープンソースのツールを提供すると結論付けています。