A Central Limit Theorem for the permutation importance measure

技術要約：置換重要度指標に関する中心極限定理

問題提起
ランダムフォレスト（RF）は、機械学習における支配的なツールであり、特にその内部的な非パラメトリックな変数重要度の尺度である「ランダムフォレスト置換重要度（RFPIM）」において高く評価されている。RFPIMは、特徴量の値をアウトオブバッグ（OOB）サンプル内で置換した際の精度の低下を測定することで、特徴量の関連性を評価する手法として実務で広く用いられているが、その理論的根拠は乏しい。先行研究では、RFPIMの一致性と漸近的不偏性が確立されており、経験的なシミュレーションからは、この推定量が漸近正規分布に従うことが示唆されている。しかし、この漸近正規性（中心極限定理、CLT）の厳密な数学的証明は欠落していた。このような証明がない限り、先行する経験的研究で提案された変数重要度のための妥当な信頼区間の構築は、形式的な理論的正当性を欠くことになる。

手法
著者らは、RFPIMをU統計量理論、具体的には一般化不完全U統計量の枠組みの中でモデル化することで、この問題に取り組んでいる。

1. 数学的枠組み: 本論文では、応答変数 $Y$ が加法的な回帰関数 $m(X) = \sum m_j(X^{(j)})$ と独立なノイズ $\varepsilon$ によって生成される、スパースな非パラメトリック回帰の設定を仮定している。特徴量は一様分布に従い、互いに独立であると仮定される。
2. 簡略化戦略: 木のサブサンプルで学習し、OOBサンプルで評価するという生のRFPIM推定量は、木の数がランダムであり、置換の構造が特殊であるため、標準的なU統計量の定義には適合しない。これに対処するため、著者らはまず、木の予測を真の回帰関数 $m$ に置き換えた簡略化された推定量 $\tilde{I}^{OOB}_{n,M}(j)$ を定義する。この簡略化されたバージョンは、一般化不完全U統計量であることが示される。
3. 理論的架け橋: 証明は主に2つのステップで進められる。
   • まず、[16]の定理2（一般化U統計量）を用いて、簡略化された推定量 $\tilde{I}^{OOB}_{n,M}(j)$ に対するCLTを確立する。これには、カーネル関数の特定のモーメント条件と収束率の検証が必要となる。
   • 次に、実際のRFPIM（木の予測を使用）と簡略化された推定量との差が、確率的にゼロに収束することを証明する。このステップは、ランダムフォレスト基底学習器の一致性と、「十分な不純度減少（Sufficient Impurity Decrease, SID）」に関する仮定に依存している。
4. 主要な仮定: 導出は、以下のようないくつかの技術的な仮定に基づいている。
   • 加法性: 特徴量の効果を孤立させるために、回帰関数は加法的である必要がある。
   • 有界性: 回帰関数および誤差項は、有界である（または有限の4次モーメントを持つ）必要がある。
   • ランダムな木の数: 木の数 $M$ は、U統計量の枠組みに適合させるため、固定された木の数ではなく、ランダム変数（具体的には二項分布）として扱われる。
   • 完全置換（Derangements）: 重要度の計算に使用される置換は、技術的な一貫性のために完全置換（不動点を持たない置換）に制限されているが、シミュレーションの結果、これは実務上は厳密に必要ではない可能性が示唆されている。

主な貢献と結果

• RFPIMに対する初の形式的なCLT: 本論文は、標準化されたRFPIMが漸近的に正規分布に従うという厳密な証明を初めて提供した。
• 漸近正規性: 定められた仮定（加法性、有界性、SID、および木の数 $M$ とサンプルサイズ $n$ の特定の成長率）の下で、著者らは以下を証明している：
  $$\frac{I^{OOB}_{n,M}(j) - I(j)}{\sqrt{\gamma_n^2 \zeta_{1,\gamma_n}/n + \zeta_{\gamma_n}/M}} \xrightarrow{d} N(0, 1)$$
  ここで、$n, M \to \infty$ である。
• シミュレーション研究: Rの ranger パッケージを用いたシミュレーション研究により、理論的知見が検証された。この研究は、加法的回帰関数の場合、標準化されたRFPIMの経験的分布が標準正規分布と密接に一致することを確認している。
  • また、仮定が違反された場合のCLTの頑健性についても調査している。結果として、完全置換の制限や誤差の有界性は、実務上の正規性に深刻な影響を与えないものの、加法的な構造が極めて重要であることが示された。乗法的な相互作用が存在する場合（加法性に違反する場合）、分布は正規性から大きく逸脱し、より重い裾を持つことが示された。

意義と主張
著者らは、本研究を包括的な実用ガイドではなく、基礎的な理論的ステップとして位置づけている。

• 理論的検証: 本研究の主な意義は、RFPIMの漸近正規性の厳密な数学的証明を提供したことであり、これにより、先行する経験的研究（例：[10]）で提案された変数重要度のための信頼区間の構築を支持している。
• 限界と謙虚な姿勢: 著者らは、理論的条件（ランダムな木の数やSIDの仮定など）が制限的であり、標準的なランダムフォレストの実装とは乖離していることを明示的に認めている。また、定理が成立するために必要なサンプルサイズや木の深さは非常に大きく、典型的なハイパーパラメータの選択（例：$a_n \approx 0.632n$）では満たされない可能性があると指摘している。
• 将来の可能性: 現在の結果は理論的なものであるが、著者らは、本研究が「強固な基礎」を提供し、「将来の実用的なアプリケーションへの拡張の可能性」を示していると述べている。彼らは、シミュレーション結果が、完全置換の使用や誤差の有界性に関して、証明に厳密に要求される条件よりも広い条件下でCLTが成立する可能性を示唆していることを強調しているが、加法的な構造は正規性の仮定が成立するための必須条件であり続ける。