Feature space reduction method for ultrahigh-dimensional, multiclass data: Random forest-based multiround screening (RFMS)

技術要約：ランダムフォレストに基づく多段階スクリーニング (RFMS)

問題提起
本論文は、数十万もの特徴量と数千のクラスを含む超高次元データセットにおける特徴空間削減の課題に取り組んでいる。超高次元データに対しては数多くのスクリーニング手法が存在するが、その多くはマルチクラスの応答変数に対して効果的に機能しない。この特定の問題は、生体認証（例：署名検証、歩容解析）や神経科学において頻繁に発生するものであり、そこではマルチチャネル・データに基づいてユーザーを認証する予測モデルが必要となる。従来の変数選択手法は、このような高次元空間において最適な活性予測量のセットを特定することに苦慮することが多い。また、主成分分析（PCA）のような次元削減手法は、不満足な結果をもたらすことが報告されている。さらに、既存のスクリーニング手法は、これらのデータセットに内在する高次の相互作用および非線形構造を調査する能力に欠けていることが多い。

手法
著者らは、超高次元のマルチクラス・データを扱うために設計された新しいアルゴリズムである**ランダムフォレストに基づく多段階スクリーニング（RFMS）**を提案している。この手法は、特徴空間を小さなサブセットに分割し、一連の部分的なモデル構築を実行することで、高性能な特徴量のサブセットを反復的に抽出するように動作する。

アルゴリズムは以下の通り進行する：

1. 準備： 入力特徴ベクトル $x$（$n$ 個の特徴量を含む）をランダムに並べ替え、$m$ 個のサイズ $\alpha$ のサブセットに分割する。
2. 反復（トーナメント形式のソート）： アルゴリズムはこれらのサブセットを逐次処理する。各ラウンド $i$ において、現在のサブセットを前ラウンドから選択された上位 $\beta$ 個の特徴量（$z_{i-1}$）と結合する。結合されたセットに対してランダムフォレスト（RF）分類器を訓練し、選択頻度（特徴量が分類フォレスト内に現れる回数）に基づいて特徴量の重要度を決定する。
3. 選択： 現在のラウンドにおける最も重要な上位 $\beta$ 個の特徴量を保持し、次の反復へと渡す。
4. 結果： すべてのサブセットの処理後、最終的な $\beta$ 個の特徴量のセットは、アルゴリズムによって特定された最も情報量の多いサブセットとなる。

本手法は、公開されているJuliaパッケージとして実装されている。RFMSのベンチマークとして、著者らは、既知のグラウンドトゥルース（正解）と特徴量の有用性パラメータを持つ超高次元マルチクラス特徴空間を生成する合成データ生成器であるBiometricBlenderを利用した。テストデータセットは、100クラス、クラスあたり64サンプル、10,000個の特徴量（真のものが100、偽のものが300、その他）および相互相関構造で構成されている。

主な貢献

• 新規アルゴリズム： 従来のスクリーニングが失敗する超高次元のマルチクラス問題に特化した手法であるRFMSの導入。
• 反復的な精緻化： 静的なスクリーニングとは異なり、RFMSはトーナメント形式のラウンド制アプローチを用いて特徴選択を反復的に精緻化し、非線形および相互作用構造の特定を可能にする。
• 変換フリーの出力： 因子分析（FA）やPCAとは異なり、RFMSは変換された特徴空間ではなく、元の特徴量のサブセットを出力する。これにより、解釈性が維持され、プロダクション環境において選択された特徴量のみを計算することが可能になる。
• ベンチマーク： 合成生体データおよび独自のリアルな生体データセットを用い、業界標準の手法（PCA、FA、k-best）に対する包括的な評価を実施。

結果
研究では、k-近傍法（kNN）、サポートベクター分類器（SVC）、ランダムフォレスト（RF）の3つの分類器を用いて、RFMSをPCA、FA、およびk-bestスクリーニングと比較した。

• 精度： RFMSとFAは、PCAおよびk-bestを上回った。最高精度（61.4%）は、RFMS–SVCおよびFA–RFの両方の組み合わせによって達成された。特筆すべきは、RFMSが異なる分類器間で優れた堅牢性を示したことである。FA–RFは良好な性能を示したが、FAをkNNまたはSVCと組み合わせると、精度が著しく低下した（それぞれ10%および42%）。対照的に、RFMSは3つの分類器すべてにおいて高いパフォーマンスを維持した（例：kNNで38.1%、SVCで61.4%）。
• 堅牢性： RFMSは、スクリーニングされた特徴量の数に関してより高い安定性を示した。特徴量を500から100に削減しても、RFMSの精度はわずかに低下したのみであった（約61%から55.4%へ）。一方、同様の削減を行った場合、FAの精度は急激に低下した（約61%から25%へ）。
• 効率性： 初期のスクリーニング時間は、FAやPCAと比較してRFMSの方が長かったが（約11,000秒）、著者らはスクリーニングはモデルの適合と比較して頻繁に行われるものではないと述べている。さらに、RFMSのハイパーパラメータを調整することで、精度への影響を最小限に抑えつつ、スクリーニング時間を大幅に短縮できる（例：約2,143秒へ）。
• 独自データ： 独自のデータセット（10,000クラス、81,000サンプル）において、RFMSでフィルタリングされた特徴量は最大93%の分類精度を達成し、FAによる変換特徴量（約82%）を上回った（ただし、スクリーニング時間は長くなった）。

意義と主張
本論文は、RFMSが柔軟性、堅牢性、および運用面において明確な利点を提供しながら、「業界標準の特徴スクリーニング手法と同等である」と主張している。主な意義は、既存の手法が適用可能な手法がほとんど存在しない領域である、超高次元のマルチクラス・データを効果的にスクリーニングできる能力にある。

著者らは、RFMSが変換フリーのソリューションを提供することを強調しており、これは計算コストと解釈性が極めて重要となるプロダクションシステムにおいて不可欠である。元の特徴量のサブセットを選択することで、本手法は新しいサンプルごとにフルセットの特徴量を計算する必要性を回避し、大幅な時間とリソースの節約につながる可能性がある。

論文は、合成データ生成器（BiometricBlender）が、特徴スクリーナーに課題を与える実データのすべての特性（特に因子分析の性能に関するもの）をまだ完全には再現できていないことを認め、控えめに結論付けている。したがって、著者らは、今後の研究として、データ生成器の改良、および精度と計算効率をさらに向上させるためのRFMSハイパーパラメータの最適化（例：特徴量保持数の自動決定、並列化、代替トーナメント・スコアリング）に焦点を当てるべきであると示唆している。