Improving Random Forests by Smoothing

技術的サマリー：平滑化によるランダムフォレストの改善

問題定義
ランダムフォレスト回帰は、データ駆動型の分割を通じて局所的なデータ特性に適応する、堅牢な非パラメトリック手法である。しかし、その予測は本質的に区分的に一定であり、分割境界において不連続性を生じる。この滑らかさの欠如は、特に小規模データ領域において問題となる。入力空間全体にわたって情報を共有できないことが、最適でないパフォーマンスをもたらすからである。古典的な平滑化手法（例えばカーネル推定量）やソフトツリー変種は存在するが、これらはしばしば高次元スケーラビリティの困難さ、計算複雑性の増大、あるいはランダムフォレストを魅力的にする効率的なツリー成長アルゴリズムの喪失に直面する。核心的な課題は、ランダムフォレストの予測に滑らかさと微分可能性を導入しつつ、その空間適応性や計算効率を犠牲にしないことである。

手法
著者らは、ツリー構築プロセスそのものを変更するのではなく、学習済みのランダムフォレストの出力に対して作用する、学習後のカーネルベースの平滑化メカニズムを提案する。

1. 確率的平滑化: この手法は、確率カーネル $k(\cdot | x_0, \lambda)$ に従って分布する潜在変数 $z$ に関する、元の区分的に一定な予測関数 $f(z)$ の期待値として、平滑化された予測 $\tilde{f}(x_0)$ を定義する。数学的には、$\tilde{f}(x_0) = \mathbb{E}_{z \sim k}[f(z)]$ である。
2. 区分的に一定な実装: 決定木およびフォレストにおいて、ドメインが軸平行な超長方形に分割されている場合、この期待値は各領域の定数値の重み付き和に簡略化される。重みは、選択されたカーネルの累積分布関数（CDF）を効率的に用いて計算される、潜在変数が各領域に属する確率である。
3. カーネルの選択: 著者らは、積カーネル、具体的にはガウス分布と双曲線セカント（Hypsec）分布を利用する。これらは、結果として得られる予測関数が至る所で微分可能であることを保証するために選択される。双曲線セカントは、その指数関数的な尾部減衰により、ツリー分割点の変動性の理論的分析から導出されるラプラス分布の漸近挙動を模倣する点で注目される。
4. 理論的正当性: 本論文は、この平滑化手順が、トレーニング入力のリサンプリング下におけるツリーの切断点の変動性または不確実性を捉えるものと解釈できることを示す。具体的には、リサンプリング下におけるツリーのブレークポイント推定値の極限分布はラプラス分布に従う。提案される平滑化は、この変動性を近似するカーネルと予測を畳み込むことで、これを模倣する。
5. アンサンブルへの適用: ランダムフォレストは加法的アンサンブルであるため、平滑化演算子（線形である）は個々のツリーに適用され、その後平均化することができる。これにより、完全なアンサンブルの指数関数的に複雑な領域構造を平滑化する計算上の非現実性を回避できる。
6. モデル選択: 平滑化パラメータ（スケール $\lambda$）およびアフィン再較正パラメータ（$\beta_0, \beta_1$）は、アウト・オブ・バッグ（OOB）損失を最小化することで選択される。著者らは、OOB 損失地形の非凸性を処理するために、勾配ベースの最適化（例：L-BFGS、AdamW）を採用する。

主要な貢献

• 学習後の平滑化フレームワーク: 任意の学習済み区分的に一定な関数に任意の滑らかさを付与しつつ、元のモデルの空間適応性を維持する、一般的な確率的アプローチを導入する。
• 理論的解釈: カーネル平滑化とデータのリサンプリング下におけるツリー分割点の不確実性の間に理論的リンクを提供し、特定のカーネル形状の使用を正当化する。
• 効率的な実装: アンサンブルの線形性を活用することで、ランダムフォレストへの平滑化を効率的に適用可能であることを示す。これにより、複雑さを（領域に関する）指数関数的なものから（個々のツリー領域に関する）線形なものに削減する。
• 実証的検証: 少数の木（例：10 本）を持つ平滑化ランダムフォレストが、多様なデータセットにおいて、著しく大規模なアンサンブル（最大 100 本）を持つ標準的なランダムフォレストおよびガウス過程回帰を上回ることを示す。

実験結果
このアプローチは、トレーニングサイズが 50 から 500 観測まで変化する 10 の UCI データセットで評価された。

• パフォーマンス: ガウスカーネルまたは双曲線セカントカーネルのいずれかを用いた「次元別パラメータ付き平滑化ツリーのアンサンブル（EST-PD）」は、93〜94% のケースでベースラインのランダムフォレスト（10 本）を一貫して上回った。
• ベースラインとの比較: EST-PD 変種は、それぞれ 81%、69%、64% のケースで、20 本、50 本、100 本の標準ランダムフォレストを上回った。また、ガウス過程回帰（88% のケースで勝利）を大幅に上回った。
• 統計的有意性: 非パラメトリック統計検定（フリードマン検定およびネメニ検定）により、平滑化変種が標準ランダムフォレストおよびガウス過程と比較して統計的に優位な同等グループを形成することが確認された。
• 小規模データ領域: この手法は、データが不足する設定（例：$n=50$）において特に強みを示し、標準的なベースラインに対して平均二乗誤差（MSE）で有意なパーセント改善を達成した。
• カーネルの選択: ガウスカーネルと双曲線セカントカーネルは、驚くほど類似したパフォーマンスプロファイルを示し、カーネルの選択が実効性に与える影響は最小限であることを示唆している。

意義と主張
本論文は、事後平滑化が、特にデータが限られている場合に、ランダムフォレストの予測精度を向上させる計算的に実行可能な方法を提供すると主張する。ツリーベース手法の適応性とカーネル手法の滑らかさの仮定を組み合わせることで、このアプローチは、ソフトツリーの複雑な適合スキームを必要とすることなく、標準的なフォレストに本質的な不連続性の問題に対処する。著者らは、このフレームワークが回帰（条件付き平均推定）に焦点を当てているが、その概念は潜在的に不確実性の定量化（条件付き分散）および分類タスクへ拡張可能であると指摘しているが、これらは将来の研究の課題として残されている。また、この手法は理論的には勾配ブースティングへ拡張可能であるが、ブースティングツリーの逐次的性質が、ここで使用されているグローバル較正アプローチに対して課題を提示することも強調している。