Gradient Boosted Risk Scores

技術要約：勾配ブースティング・リスクスコア (GBRS)

問題提起
リスクスコアは、医学、保険、リスク管理の分野で広く利用されている、解釈可能な機械学習モデルの一種である。複雑な「ブラックボックス」アルゴリズムとは異なり、リスクスコアは、限られた基準に基づいてデータサンプルに点数を割り当てることで、人間が手動で計算できるように設計されている。現在のリスクスコア生成手法は、通常、線形、ロジスティック、またはCox回帰に依存している。これらのアプローチには、主に2つの制限がある：

1. モデルの制約： 基盤となる回帰モデルの仮定に縛られており、それらの仮定が実際には成立しない場合がある。
2. 情報の損失： 解釈可能なポイントベースのスコアを作成するために、連続的な回帰係数を後処理としてビン化（離散化）する必要がある。このビン化は情報の損失を招き、予測精度を低下させる。
   AutoScoreのようなフレームワークは、このプロセスを自動化しようと試みているが、依然として回帰の前に連続変数をカテゴリ変数に変換することに依存しており、情報の損失という問題を保持している。さらに、既存のルールベースの手法（例：RuleFit）や加法モデル（例：Explainable Boosting Machines）は、深い決定木からルールを生成したり、形状関数の計算評価を必要としたりすることが多く、単純な点数合計モデルのような直接的な透明性に欠けている。

手法
著者らは、勾配ブースティングの手順を用いて、リスクスコアを加法的な決定ルールの一組として直接モデリングする手法である勾配ブースティング・リスクスコア (GBRS) を提案している。

• コアアーキテクチャ： GBRSは、$F(x_i) = \beta_0 + \sum_{k=1}^K s_k(x_{jk})$ という加法モデルを構築する。ここで、各項 $s_k$ は、単一の共変量に適用される単変量の区分定数スコアリング関数である。
• ベース学習器： 様々な深さを持つ決定木を使用する標準的な勾配ブースティングとは異なり、GBRSはすべてのベース学習器を決定スタンプ（単一の閾値による分割）に限定する。
• 最適化： アルゴリズムは、事後処理なしに、タスク固有の損失関数（回帰には二乗誤差、二値分類には対数尤度、生存分析にはペアワイズ・ランキング損失）を最小化するように、これらのスタンプを逐次的に集約する。
  • 二値出力の場合、リーフ値は2リーフのロジスティック回帰更新に対応するニュートン・ステップを介して計算される。
  • 生存分析の場合、この手法は比較可能なイベントペアに対するペアワイズ・ランキング損失を最適化する。
• 集約： 決定スタンプは階層的な依存関係を持たないため、複数のブースティング反復にわたって同一の分割条件が選択されることがある。GBRSはこれらを係数の加算によって集約し、コンパクトで疎な閾値ベースのルールへと導く。
• 解釈性： 最終的な出力は透明性の高いスコアリング・テーブルである。点数は、連続的なアウトカムには同一スケール、二値アウトカムには対数オッズ、生存時間アウトカムには対数リスク（または対数ハザード）という、特定のスケールに基づいた加法的寄与を表す。
• 実装： 著者らは、PythonおよびRのバインディングを備えた効率的なC++実装を提供している。この手法は、最小限のハイパーパラメータ（反復回数、学習率、閾値の数）を使用し、正則化係数のチューニングを必要としない。これは、ビンの数の制限が自然な正則化として機能するためである。

主な貢献

1. ポイントベース・スコアのための初の勾配ブースティング・アプローチ： 著者の知る限り、GBRSは、人間が計算可能なポイントベースのリスクスコアを生成するために明示的に設計された最初の勾配ブースティング手法である。
2. 直接モデリング： AutoScoreとは異なり、GBRSは回帰の前に連続変数をカテゴリ変数に変換することを必要とせず、スコアリング関数を直接学習する。
3. コンパクトさと透明性： この手法は、予測性能を維持しながら、回帰ベースの代替手法よりも大幅にコンパクトなモデルを生成する。
4. ソフトウェアのリリース： 著者らは、最小限のコードでスコア生成を可能にする、PythonおよびRのバインディングを備えたC++ライブラリを公開している。

結果
本手法は、UKバイオバンクのデータを含む、回帰、二値分類、および生存時間（生存分析）のタスクにわたる12の表形式データセットを用いて評価された。

• 予測性能： GBRSは、XGBoost（最先端のブラックボックス手法）および従来の回帰と比較して、競争力のある性能を示した。XGBoostは連続的な目的関数において一般的に優れた性能を示したが、GBRSは二値分類および生存分析のタスクにおいて同等の性能を発揮した。いくつかの二値分類および一つの生存分析タスクにおいて、GBRSはAutoScoreよりも統計的に優れた性能を示した。
• モデルのコンパクト性： GBRSは、大幅にコンパクトなスコアを生成した。同じ初期閾値を与えた場合、分類タスクにおいてGBRSはAutoScoreと比較して平均で60%少ないルールを、生存分析タスクにおいては16%少ないルールを必要とした。
• 解釈性： 本研究は、GBRSの係数が直接解釈可能であることを示した。例えば、心不全リスクモデルにおいて、スコアは喫煙がハザード比を約3倍（$e^{1.1}$）に高めること、およびLVEF < 50%がリスクを6倍以上に高めることを示した。これらの関係は、線形補間ではなくハードな閾値を通じて捉えられており、臨床的マーカーと一致している。

意義と主張
論文は、GBRSが予測精度と透明性の間で有利なトレードオフを提供すると主張している。これは、モデルの出力が監査可能であり、人間にとって理解可能である必要がある高リスクな領域（例：臨床的意思決定）に特に適している。

• 透明性と柔軟性： 著者らは、GBRSは変数間の相互作用をモデル化できず、粗い離散化が不利に働くような近似的に線形な関係を持つデータセットでは性能が低下する可能性があることを認めている。しかし、これらは最大限の予測の柔軟性よりも安定性と解釈可能性を優先するという意図的な設計上の選択であると主張している。
• 実用性： 予測をコンパクトなポイントベースのスコアとして表現できることで、意思決定者は複雑な計算ツールに頼ることなく、入力変数の変化による影響を視覚的に推定し、患者を層別化することができる。
• 限界： 著者らは、リスクスコアを訓練分布から大きく外れて外挿すべきではないこと、および相互作用をモデル化できないため変数選択が極めて重要であることを指摘している。

要約すると、GBRSは、従来の回帰ベースのビン化に伴う情報の損失なしに非線形な関係を捉える、解釈可能で人間が計算可能なリスクスコアを生成する手法を提供し、透明性が最優先される環境におけるブラックボックスモデルに代わる実用的な選択肢を提供する。