テクニカル・サマリー：欠損値を回避するように学習する予測モデル

問題提起

機械学習モデルの実社会への導入は、特にテスト時における欠損値によって頻繁に阻害される。従来の「補完してから回帰する（impute-then-regress）」手法（学習前に欠損データを補完する手法）や、欠損インジケーターを用いる手法は、バイアスを導入したり、モデルの複雑性を増大させたり、あるいは解釈性を不明瞭にしたりすることが多い。欠損値をネイティブに扱うモデル（デフォルトパスを持つXGBoostやベイジアンネットワークなど）も存在するが、これらは特定のモデルクラスに限定されることが多い。

核心となる課題は、予測精度と欠損特徴量への依存度の間のトレードオフである。ヘルスケアのような安全性が極めて重要な分野において、補完された値や、テスト時に頻繁に利用不可能となる特徴量を必要とするモデルは、信頼性に欠け、あるいは解釈が困難になる可能性がある。著者らは、欠損している特定の入力に対して、補完された値や欠損マスクに頼るのではなく、戦略的に特徴量の使用を回避するように学習するフレームワークを提案している。

手法：欠損回避（MA）学習

本論文では、標準的なアルゴリズムの学習目的関数を修正し、欠損値への依存をペナルティ化する欠損回避（Missingness-Avoiding: MA）機械学習という一般的なフレームワークを導入している。目的関数は、期待される予測損失と期待される欠損への依存度の間のトレードオフを最小化する：

$$\min_{h \in \mathcal{H}} \mathbb{E}_p[L(Y, h(X))] + \alpha \rho(h)$$

ここで：

• $L$ は予測損失である。
• $\rho(h)$ は期待される欠損への依存度であり、予測 $h(x)$ を計算するために欠損した特徴量 $x_j$（$x_j = na$ の場合）へのアクセスが必要となる確率である。
• $\alpha \ge 0$ は、ペナルティの強さを制御するハイパーパラメータである。

著者らは、3つのモデルクラスに対して具体的なアルゴリズムを導出している。

1. MA決定木 (MA-DT)

決定木は、その依存度が文脈的（コンテキスト依存的）であるため、このタスクに自然に適している。つまり、ある特徴量は、特定の入力に対して決定パス上に現れる場合にのみ必要とされる。

• メカニズム: 著者らは、貪欲な分割アルゴングリズム（C4.5やID3など）を修正する。分割選択のプロセスにおいて、基準（ジニ不純度など）に正則化項が付加される。
• 正則化: リーフ $\ell$ と候補となる分割 $(j, \tau)$ に対して、コスト関数には特徴量 $j$ が欠損しているサンプルが存在する割合に比例するペナルティが含まれる。
• 文脈的回避: アルゴリズムは、欠損値を持つサンプルを、その欠損した特徴量を必要としないブランチへとルーティングするように学習し、データの「文脈的欠損」を効果的に活用する。

2. MAスパース線形モデル (MA-LASSO)

線形モデルは文脈的に欠損値を回避することはできない。なぜなら、係数 $\theta_j \neq 0$ であれば、モデルは常に $x_j$ を必要とするからである。

• メカニズム: 本フレームワークはLASSO（L1正則化）のアプローチを適応させる。
• 正則化: 一様なペナルティではなく、各特徴量 $j$ に対するペナルティは、その経験的な欠損率 $m_j$ によってスケーリングされる。目的関数は以下を最小化する：
  $$\sum L(y_i, \theta^T x^I_i) + \sum_{j=1}^d (\lambda + \alpha m_j) |\theta_j|$$
• 効果: 欠損率が高い特徴量にはより大きなペナルティが課され、それらの係数をゼロにするよう促すことで、欠損データへの依存を減少させる。

3. MA決定木アンサンブル (MA-RF および MA-GBT)

• MAランダムフォレスト (MA-RF): 並列に独立したMA決定木を学習する。各決定木は、正則化された分割基準を最小化する。
• MA勾配ブースティング決定木 (MA-GBT): 前の決定木の残差に適合するブースティング・アプローチを用いる。重要な点は、正則化の重みが動的に更新されることである。もし特徴量 $j$ が、特定の観測値 $x_i$ に対して既に前のモデルによって使用されており（かつそれが欠損していた場合）、後続のモデルはその特徴量への依存に対してペナルティを軽減する。これにより、アンサンブルが異なる決定木間で欠損特徴量への過剰な依存を蓄積することを防ぐ。

主な貢献

1. フレームワークの導入: 高い精度と、テスト時における欠損特徴量への依存の最小化を両立させる、一般的な「欠損回避」フレームワークの提案。
2. アルゴリズムの実装: 特定のfit-predict互換性を持つアルゴリズム（MA-DT、MA-LASSO、MA-RF、MA-GBT）の開発。
3. 理論的分析:
   • 観測決定論的データ収集 (ODDC) ルールの特定。これは、特定の観測変数の組み合わせが他の変数の存在を保証するルールである。著者らは、このようなルールが存在する場合、予測精度を損なうことなく、欠損への依存度をゼロにできることを証明している。
   • 限界の分析: 欠損が完全にランダム（MCAR）である場合や、テスト時の分布が大きくシフトする場合、精度と依存度の間のトレードオフは避けられない可能性があることを示している。
4. 実証的検証: 6つの実世界のデータセット（NHANES、ADNI、FICOを含む）を用いて、MAモデルが未正則化のベースラインと比較して、予測性能（AUROC）を維持しつつ、欠損への依存度を大幅に減少させることを示した。

実験結果

著者らは、6つのデータセットにおいて、MA-DT、MA-LASSO、MA-RF、MA-GBTを、標準的な補完ベースのモデル、欠損インジケーターを用いるM-GAM、およびネイティブハンドラであるXGBoostやNeuMissと比較評価した。

• 性能 vs 依存度: MAモデルは、一貫して未正則化のモデルよりも低い欠損への依存度（$\hat{\rho}$）を達成した。例えば、ADNIデータセットにおいて、MA-DTは同等のAUROCを維持しながら、依存度を約11.7%から0.1%へと減少させた。
• ベースラインとの比較:
  • MAモデルは、欠損値の削減において、標準的な補完手法（Zero Imputation, MICE）を上回るか、あるいは同等の性能を示した。
  • MA-DTおよびMA-RFは、欠損特徴量に依存しがちなXGBoostやRandom Forestよりも、有意に低い依存度を達成した。
  • MA-LASSOは、AUROCの損失を最小限に抑えつつ、標準的なLASSOと比較して依存度を大幅に減少させた。
  • MINTY（関連するルールベースのモデル）は低い依存度を実現したが、MA-LASSOはそれよりも大幅に訓練速度が速かった（最大292秒に対し、1秒未満）。
• トレードオフ: 実験により、有利なトレードオフが可能であることが確認された。実務者は $\alpha$ を調整することで、精度と欠損回避のパレート最適解上のモデルを選択できる。

意義と主張

本論文は、MA学習が、欠損データの存在する状況において解釈性と堅牢性を必要とする実務者に強力なツールを提供すると主張している。

• 解釈性: 欠損している特徴量への依存を回避することで、MAモデルの決定パスは透明性を保ち、補完による不透明なロジックや、欠損インジケーターによって導入される複雑な相互作用に依存することはない。
• 実用性: このアプローチは、特殊なアーキテクチャ（NeuMissなど）や複雑な補完パイプラインを必要としない。既存の決定木や線形モデルのライブラリを使用して、標準的なワークフローに統合できる。
• 実現可能性: 著者らは、多くの実世界のシナリオ（特に臨床ガイドラインなどのODDCルールによって支配されているもの）において、高い精度と欠損への依存が全くないモデルを構築することは可能であり、「良好なパフォーマンスを得るためには欠損データを必ず補完するか、あるいはインジケーターとして示す必要がある」という概念に異を唱えている。

結論として、欠損を完全に回避することがすべてのシナリオ（例えば、欠損が純粋にランダムである場合や、回避不可能な形で情報を持っている場合）で実現可能であるとは限らないが、MAフレームワークは、予測的な有用性を損なうことなく、この依存度を最小化するための原理的な手法を提供するものである。