A Statistical Framework for Data-Driven Discovery of Differential Performance in Clinical Risk Prediction Models

技術要約：臨床リスク予測モデルにおけるデータ駆動型の性能差発見のための統計的枠組み

問題定義
本論文は、臨床リスク評価指標（RAI）において、集団のサブグループ間で性能の差異を検出し、その特性を明らかにすることの難しさに取り組んでいる。AIや機械学習に基づく予測モデルは臨床的意思決定支援にますます活用されているが、人種、年齢、性別、またはその他の交差する特性によって定義されるグループ間で、性能に格差が生じる可能性がある。既存の公平性評価手法は、通常、評価対象となるデモグラフィックなグループをエンドユーザーが事前に指定する必要がある。このアプローチは、共変量の高次相互作用（例：年齢、性別、および臨床歴の特定の組み合わせ）によって定義される、より明白ではない、あるいは複雑なサブグループにおける格差を見落とすリスクがある。さらに、標準的な公平性の基準（等価オッズ、充足性など）はしばしば互いに両立不可能であり、ある指標やグルーピングの下で公平に見えるモデルであっても、他の指標やグルーピングの下では格差を示すことがある。著者らは、ここでの「公平性」を、統計的な証拠（具体的には、較正不全［予測リスクと観察されたアウトカムの乖離］に焦点を当てたもの）に基づいた、モデル性能の差異の不在と定義している。

手法：アンフェアネス・ツリー (utree)
著者らは、事前にグループの定義を指定することなく、不均一な予測の乖離を持つサブグループを特定するために設計された、データ駆動型の再帰的分割フレームワークであるアンフェアネス・ツリー (utree) を提案している。

• コア・アルゴリズム: utreeは条件付き推論木（ctree）のフレームフレームワークを適応させたものである。標準的なCARTアルゴリズムとは異なり、ctreeは変数選択と分割点の選択を分離することで、連続変数へのバイアスを回避している。
• 乖離統計量: 各ノードにおいて、アルゴリズムは候補となる共変量 $Z_j$ のコレクト・コルモゴロフ–スミルノフ（KS）検定から派生した統計量を用いて、性能の差異をテストする。この統計量は、観察されたアウトカム（または潜在的アウトカム）によって重み付けされた経験的累積分布関数（CDF）と、予測リスクによって重み付けされた経験的累積分布関数の2つを比較するものである。
  • テスト統計量は $T_j = \sup_z | \hat{F}_j(z; w_Y) - \hat{F}_j(z; w_{\hat{s}}) |$ である。ここで、$w_Y$ と $w_{\hat{s}}$ はそれぞれアウトカムと予測によって定義される重みである。
  • 条件付き較正に関する帰無仮説の下では、これらの重み付き分布は同一となる。棄却は、予測値にわたってアウトカムの分布が異なることを示す。
• 反事実的フレームワーク: 治療誘発バイアス（モデルの予測が治療決定に影響を与え、それによって観察されるアウトカムが変化すること）に対処するため、本手法は反事実的評価フレームワークを採用している。これは、二重に頑健な推定法（アウトカム回帰と傾向スコアモデリングの組み合わせ）を用いて、参照条件（$Y^0$）下での潜在的アウトカムを推定する。そして、予測リスクとこれらの反事実的アウトカムとの間の乖離を算出する。
• 再帰的分割: アルゴリズムは、ノードごとに以下の2つのステップで進行する。
  1. 変数選択: すべての候補共変量に対してテスト統計量を計算し、（多重性を調整した上で）最も小さい経験的p値を持つ変数を選択する。
  2. 分割点選択: 選択された変数の分割点のうち、テスト統計量の大きさを最大化するものを特定する。
• 柔軟性: 本フレームワークは、重み付け関数 $w(a)$ および $w(b)$ をKS統計量の定式化の中で変更することにより、他の性能指標（例：真陽性率、適合率）へ拡張可能である。

主な貢献

1. データ駆動型のサブグループ発見: utreeは、事前に指定されたサブグループの必要性を排除し、複数の共変量によって定義される複雑で交差する集団における格差の発見を可能にする。
2. 反事実的較正: 本手法は因果推論の手法を統合し、真のモデルの較正不全と、治療誘発バイアスを区別する。これは、モデルが治療を決定する臨床現場において極めて重要な区別である。
3. 統計的妥当性: 本手法は、再帰的分割の適応的な性質にもかかわらず、タイプIエラー率を制御するために条件付き推論木と置換ベースのp値を利用している。
4. 解釈可能性: 得られる木構造は、臨床特性の組み合わせがモデルの性能の差異とどのように関連しているかを示す、解釈可能なマップを提供する。

結果

• シミュレーション研究:

  • タイプIエラー制御: 差がないシナリオ（null scenario）の下では、分割が選択される確率は公称レベル（例：$N=10^3$ で 0.048）に近かった。これは、効果的なエラー制御が行われていることを示している。
  • 検出力と回復: 本手法は、サンプルサイズと深刻度が増すにつれて、乖離を検出する検出力が高まることを示した。また、不均一性を駆動する真の変数と相互作用を正常に回収しており、$N=10^3$ における大きな較正不全シナリオ下での回収率は 0.06 から 0.92 まで上昇した。
  • 推定精度: リーフごとの乖離の推定値は、サンプルサイズの増加とともに減少する小さなバイアスを示しており、近似的に不偏であることを示している。
  • 計算効率: モデルの適合時間はサンプルサイズに対して予測可能な形でスケールし、$N=10^5$（4分未満）であっても実行可能であった。

• 実データへの適用 (GUSTO-I 試験):

  • 本フレームワークは、急性心筋梗塞患者30,510人のデータを用い、6つの死亡リスクモデル（ロジスティック回帰、GAM、ランダムフォレストを含む）に適用された。
  • 一貫した要因: モデルや指標（較正、真陽性率、適合率）を横断して、年齢、性別、収縮期血圧、およびKillip分類が、性能の差異を定義する主要な変数として一貫して特定された。
  • 指標への依存性: 特定されたサブグループ構造は、選択された性能指標によって異なる。例えば、較正ベースの木は、顕著な過小予測（例：治療緩和までの時間が延長している非米国人患者）を示すサブグループを特定したが、TPR（真陽性率）および適合率の木は、異なる構造的パターンを浮き彫りにした。
  • 検証: ホールドアウト・テストセットを用いたアウトオブサンプル検証により、最小終端リーフサイズを $n \ge 50$ と強制した場合、多くのサブグループ性能パターンが再現可能であることが確認された。

意義と主張
本論文は、utreeが、臨床リスクモデルにおけるサブグループ特有の較正不全を検出するための、原理に基づいた、統計的に妥当で、かつ解釈可能なアプローチを提供すると主張している。事前に定義されたデモグラフィックなカテゴリを超えて展開することで、複雑で交差する集団における格差を見逃す可能性がある、現在のAIの公平性評価における主要な限界に対処している。著者らは、本手法が「決定的なアルゴリズムの不公平性」ではなく、「差のあるモデルの性能」を特定するものであることを強調しており、後者はより広範な倫理的および臨床的な検討事項に依存することを述べている。本フレームワークは、探索的な発見および性能格差の特性化のためのツールとして提示されており、反事実的推定が標準的な因果関係の仮定（ポジティビティ、一貫性、未測定の交絡の不在）に依存すること、および、これらがランダム化設定やそれらの仮定が妥当な状況において最も説得力を持つことへの注意書きが付されている。著者らは、各ノードにおいてエラー率を制御しているものの、最終的な木の構造の安定性や、発見されたサブグループに対する選択的推論に関する正式な理論的保証は、今後の研究における未解決の課題であると認めている。