技術要約：ランダムフォレストによる変数重要度の補正

問題提起

ランダムフォレスト（RF）は、統計的データ分析および機械学習において強力なツールとして広く認識されており、分類および回帰タスクにおいて堅牢な性能を提供します。RFの主要な機能の一つは、モデルの解釈、選択、および診断に不可欠な変数重要度スコアを出力できることです。しかし、RFにおける変数の重要度の標準的な計算方法、特に置換精度法（permutation accuracy method）は、変数間の相関を考慮していないという決定的な限界を抱えています。

ある変数 $U$ が、応答変数 $Y$ を条件として他の変数（$V_1, V_2, \dots$）と高い相関を持つ場合、$U$ の重要度はしばしば過小評価されるか、完全に隠蔽（マスキング）されてしまいます。標準的な置換アプローチでは、$U$ の値をシャッフルすることで $Y$ との関連性を断ち切ります。しかし、$V_1, V_2, \dots$ がモデル内に残り、$U$ と高い相関を持っている場合、それらが欠落した情報を効果的に「補完」することができ、予測精度の低下がほとんど見られなくなります。その結果、計算された $U$ の重要度は、たとえ $U$ が真の予測因子であったとしても、人工的に低く算出されます。この現象は、計算された重要度と変数の実際の予測有用性との間に重大な乖士を生じさせます。

手法

相関のある変数によって引き起こされるマスキング効果に対処するため、著者らは、重要度を算出する前に、変数を条件付き相関（応答変数 $Y$ を与えた時の相関）に基づいてグループ化するフレームワークを提案しています。核心となるアイデアは、特定の注目変数の重要度を評価する際に、相関する変数の影響を取り除くことです。

論文では、条件付き相関係数 $\rho(U, V | Y)$ を、条件付き共分散を条件付き標準偏差の積で除したものとして定義しています。この指標を用いて、著者らは2つの異なるアルゴリズム的アプローチを検討しています。

方法1：個別変数補正（corrVI-Individual）

このアプローチは、変数ごとに動作します：

1. ターゲット変数 $V_i$ に対して、アルゴリズムは $V_i$ と条件付き相関を持つ変数の集合 $V_{cor}$ を特定します。
2. $V_{cor}$ に含まれる変数を除いた、簡略化されたデータセット（$V_{nc}$ と表記）を構築します。
3. ランダムフォレストの予測精度を、$V_{nc}$ の集合に対して、および $V_{nc} \cup \{V_i\}$ の集合に対して計算します。
4. $V_i$ の重要度は、$V_{nc}$（非相関変数集合）に $V_i$ を加えたときの予測精度の増加量として定義されます。
5. すべての相関する変数を取り除くことで、精度の上昇が $V_i$ のみに帰属することを保証し、マスキングを防ぎます。

注記： 著者らは、この方法が厳密に必要とされるよりも「多く」の情報を取り除いてしまう可能性があること（$V_{cor}$ が $V_i$ 以上の情報を含む可能性があるため）を認めており、重要度のわずかな過大評価につながる可能性があるとしています。しかし、残りの変数が十分な予測分離能を提供している限り、この過大評価は無視できる程度であると主張しています。

方法2：スペクトラルクラスタリング補正（corrVI-Spectral）

このアプローチは、全変数を、ペアごとの条件付き相関に基づく互いに素なサブグループに分割します：

1. すべての変数に対して、ペアごとの条件付き相関行列を計算します。
2. この行列を類似度行列として扱い、スペクトラルクラスタリングを適用して、変数内では高度に相関し、変数間では弱く相関する互いに素なグループ（$G_1, \dots, G_K$）に変数を分割します。
3. グループ $G_i$ に属する変数 $V$ について、データセットからグループ $G_i$ 全体を除去します。
4. $V$ を変数集合 $V_{nc} = \text{All Variables} \setminus G_i$ に加えたときの予測精度の増加として、$V$ の重要度を計算します。
5. $V_{nc}$ 内のどの変数も $V$ と条件付き相関を持たないため、重要度のスコアはマスキングされません。

変数の除去 vs. 置換：
著者らは、重要度の計算において、相関する変数を置換するのではなく、明確に除去することを選択しています。彼らは、単一の変数を除去する場合と置換する場合では、RFの組み込み変数選択機能により同様の結果が得られるものの、複数の変数を同時に置換すると、単純な除去よりも予測精度が低下することを実証しています。これは、複数のノイズ変数を置換することで、ノイズ変数が分割点として選択される確率が高まり、精度の低下を人工的に膨らませてしまうためです。したがって、多変数相関を補正するには、除去の方がより安定したアプローチであると判断されました。

主な貢献

1. マスキング問題の特定： 本論文は、RFにおける条件付き相関がいかに変数重要度の過小評価を招くかを正式に指摘しており、これは標準的な実装では見落とされがちな問題です。
2. 条件付き相関フレームワーク： 変数をグループ化するための指標として、無条件の相関ではなく、条件付き相関（$Y$ を与えた時の相関）の使用を導入しました。
3. 2つの補正アルゴリズム： 計算効率の高い2つの手法を提案しました：
   • 方法1： 各ターゲットに対して特定の相関変数を除去する、柔軟で個別ベースのアプローチ。
   • 方法2： スペクトラルクラスタリングを用いて、変数のグループをグローバルに扱うクラスタリングベースのアプローチ。
4. 実証的検証： これらの手法は、UCI 機械学習リポジトリの8つの実世界のデータセットでテストされており、補正後の結果が標準的なRFの重要度スコアよりもドメイン知識とよく一致していることが示されています。

実験結果

著者らは、Seeds、Indian Liver Patient、Heart Disease、Wine、Maternal Health、Obesity、および Bank Marketing を含むデータセットを用いて両方の手法を評価しました。

• Seeds データセット： 元のRFは、「Compactness」（$V_3$）にほぼゼロの重要度を、「Area」（$V_1$）および「Perimeter」（$V_2$）に低い重要度を割り当てました。両方の補正手法は、$V_1$ と $V_2$ の重要度を大幅に上昇させました。方法1は、$V_3$ が（独自の情報を保持しているため）ゼロではない重要度を持つことを正しく特定しましたが、方法2は（クラスタリングの制限により）これをわずかに過小評価しました。
• Indian Liver Patient データセット： アルカリフォスファターゼ（$V_5$）や総タンパク質（$V_8$）などの変数は、標準的なRFではほぼゼロの重要度が割り当てられていました。方法1はこれらを上方修正し、医学的重要性を正しく反映しました。方法2は、クラスタリングアルゴリズムが $V_5$ と他の変数との相関を十分に捉えきれなかったため、$V_5$ の調整に失敗しました。
• Heart Disease データセット： 年齢（$V_1$）、性別（$V_2$）、安静時血圧（$V_4$）といった重要な変数は、標準的なRFによって著しく低くランク付けされていました。両方の手法がこれらのスコアを補正しました。しかし、方法2は、クラスタリングの境界により、$V_4$ および $V_{11}$（ST部分の傾斜）を方法1ほど効果的に調整できませんでした。
• Obesity および Bank Marketing データセット： 同様の傾向が見られ、ドメインにおいて重要な変数（例：肥満の家族歴、過去のコンタクト履歴）は、RFでは低くランク付けされていましたが、提案された手法によって補正されました。一般に、相関構造が完全な互いに素なクラスターを形成していない場合には、方法1の方が高い柔軟性と正確性を示しました。

全体として、方法1は、変数が複雑な相関構造を持つ場合に、スペクトラルクラスタリングが完璧に分割できないケースを含め、重要度スコアを補正する上でより高い柔軟性と精度を示すことが実証されました。

意義と主張

本論文は、提案手法がランダムフォレストによって生成される変数重要度に対して「妥当な補正」を提供すると主張しています。その意義は以下の通りです：

• 解釈性の向上： マスキング効果を軽減することで、補正されたスコアは変数の真の予測寄与をより良く反映し、モデルの解釈や特徴量選択を支援します。
• ドメインへの適合： 補正された重要度スコアは、標準的なRFスコアと比較して、確立されたドメイン知識（肝臓や心臓のデータセットにおける医学的マーカーなど）とより密接に一致します。
• 一般的な適用可能性： RFを動機としていますが、相関する変数を除去して重要度を評価するというアプローチは、一般的な予測手法にも適用可能であると著者らは述べています。

著者らは、方法1が不必要な情報まで取り除くことで重要度をわずかに過大評価する可能性があることや、方法2の性能がスペクトラルクラスタリングの質に依存することなどを認めつつ、控えめなトーンを維持しています。彼らは、すべての問題を解決すると主張しているのではなく、相関によるマスキングという特定の問題に対処するための、実用的かつ計算効率の高いメカニズムを提示しています。