テクニカル・サマリー：特徴量選択と特徴量アトリビューションは同じものか？ 比較調査

問題提起

特徴量選択（Feature Selection: FS）と特徴量アトリビューション（Feature Attribution: FA）は、機能的には類似しているように見えるものの、異なる哲学的パラダイムの下で動作する、二つの明確に異なる研究分野である。簡潔性の原則（オッカムの剃刀）に根ざしたFSは、モデル学習前に次元削減を行い、次元の呪いを防ぐために、関連する最小限の特徴量のサブセットを特定することを目指す。一方、説明可能なAI（XAI）運動から生まれたFAは、説明責任と透明性を確保するために、「モデルが実際に何を使用したか？」という問いに対し、特定の予測をどの入力特徴量に帰属させるかを追求する。これは「何が客観的に関連しているか」ではなく、「モデルは何を使用したのか」を問うものである。

両者は技術的な類似性（共に特徴量の重要度スコアやランキングを生成する点）を持つが、これら二つのグループ間の包括的な理論的および経験的な比較に関する文献には、大きな空白が存在する。既存の調査は、通常、これらを個別に扱っており、FSの進展、あるいはXAIの手法の一方にのみ焦点を当てており、それらの根本的なメカニリズム、評価基準、およびパフォーマンス特性が、本質的に異なるものなのか、あるいは異なる粒度で適用された同一プロセスのバリエーションに過ぎないのかという点については言及していない。

メソドロジー

著者らは、12の基礎的な手法を含む比較調査および経験的評価を実施した。これには、特徴量選択（FS）ファミリーから6手法（相互情報量、LASSO、フィッシャー・スコア、再帰的特徴消去、ホワイトボックス特徴量選択、ReliefF）、および特徴量アトリビューション（FA）ファミリーから6手法（SHAP、LIME、Permutation、特徴量アブレーション、Kernel SHAP、Saabas）が含まれる。Integrated GradientsおよびSobol Indicesは、制約（微分可能なモデルの必要性、および計算コストの高さ）により、実験的評価から明示的に除外された。

実験設定:

• データセット: ゲノミクス、プロテオミクス、画像認識を網羅し、特徴者数がインスタンス数を上回ることが多いscikit-featureリポジトリの23の高次元ベンチマークデータセット。
• 評価フレームワーク: 本研究では、FA手法を（平均絶対値の平均化によって）集計してグローバルな重要度スコアを生成する統一された評価フレームワークを採用しており、これにより標準的なFS指標を用いてFAを評価することを可能にしている。
• シナリオ: 以下の2つの実験シナリオを定義した：
  1. 一般的な特徴量選択: 特徴量の5%から100%を選択。
  2. 極端な次元削減: 高いリスクを伴う削減における有効性をテストするため、0.5%から10%の特徴量を選択。
• 指標:
  • 教師あり学習: 分類精度（ACC）、ROC曲線下面積（AUC）。
  • 教師なし学習: クラスタリング精度（CLSACC）、正規化相互情報量（NMI）。
  • モデル非依存／幾何学的: 平均角度差（AAD）。
  • 安定性と類似性: 特徴量選択の類似性（上位$k$個の特徴量の積集合）、安定性指標、および計算のスケーラビリティ。
• ランキング分析: パフォーマンスの差を考慮するため、標準的なランク統計およびマグニチュードを考慮したランク統計（MARS）の両方を用いて結果を分析した。

主な貢献

1. 統一された分類とレビュー: 本論文は、FSおよびFA手法の理論的背景と動作メカニズムの詳細なレビューを提供し、それらを一貫した分類（フィルタ、ラッパー、埋め込み型 vs サロゲート、摂動、パスベース）の中に位置づけている。
2. 評価フレーム衡の架け橋: ローカルなアトリビューションをグローバルなスコアへと集計することで、FA手法を標準的なFS指標を用いて評価する方法を提案し、直接的な「リンゴとリンゴの比較（公平な比較）」を可能にした。
3. 包括的な経験的比較: 23のデータセットを用いた広範な実験結果を提示し、パフォーマンスの軌跡、類似性ヒートマップ、およびスケーラビリティを分析した。
4. 理論的議論: 「簡潔性（簡略化）」と「相互尋問可能性（説明責任）」の間の哲学的緊張に対処し、これらの哲学がどのように動作メカニズムや評価結果に現れるかを分析した。

主な結果

• 教師ありタスク（ACC, AUC）: 特徴量アトリビューション手法（特にTree SHAP、Saabas、およびAblation）は、従来の特長量選択フィルタ（Fisher ScoreやMutual Informationなど）を一貫して上回った。著者らは、これはFA手法が、予測モデル（Random Forest）によって学習された高次の相互作用や非線形境界を捉えており、特定のダウンストリームタスクに対して効果的に最適化されているためであるとしている。
• 教師なしタスク（CLSACC, NMI）: 伝統的な特徴量選択手法（特にFisher ScoreおよびReliefF）が優れた回復力を示した。FA手法は特定の分類目的と結びついているため、クラスタリングに必要なグローバルな多様体構造に不可欠な特徴量を破棄してしまう可能性がある。一方で、モデルに依存しないフィルタであるFSは、データの自然なグルーピングをより良く保持する。
• 幾何学的保存（AAD）: 教師ありタスクで最高のパフォーマンスを示した手法が、データの生の幾何学的特性の保存（AADで測定）において最悪のパフォーマンスを示すというパラドックスが観察された。これは、高い予測精度を達成するためには、分離可能な多様体を見つけるために元のデータ幾何学を「壊す」必要があることを示唆している。
• 類似性と収束: LASSO（FS）とPermutation（FA）の間で高い類似性が観察された。これは、多くの高次元問題において、スパースなモデルに必要な特徴量は、複雑なモデルから除去された際に最も影響を受ける特徴量と同じであることを示唆している。
• スケーラビリティ: 統計的なFSフィルタ（例：Fisher, MI）は線形にスケールし、計算効率が高い。対照的に、グローバルなスコアを導出するためにすべてのインスタンスに対してローカルなアトリビューションを計算する必要があるFA手法は、高次元の設定において顕著な計算上のボトルネックを示す。
• LIMEの性能: LIMEは、その極めてローカルな視点と、グローバルな重要度を一般化することに苦慮するサロゲートモデルへの依存に起因して、グローバルな評価において一貫して低い性能を示した。

意義と主張

本論文は、特徴量選択と特徴量アトリビューションの間の溝を埋めることを目的としており、両者が（摂動および観察という）共通の動作コアを共有しているものの、タスクの文脈に応じて異なる目的を果たすことを実証している。

• タスク依存の優位性: 著者らは、唯一の「最良」の手法は存在しないと結論付けている。特徴量アトリビューションは、モデルの内部ロジックを尋問するため、タスク固有の最適化（教師あり予測）において優れている。一方、特徴量選択は、モデルのバイアスなしにデータの固有構造を保持するため、データ探索および教師なしタスクにおいて優れている。
• ハイブリッド・パイプラインの提案: スケーラビリティとパフォーマンスの知見に基づき、高次元データマイニングのためのハイブリッド・パイプラインを提案している。まず、効率的なFSフィルタを使用して次元を削減（ノイズを除去）し、次に、モデルの説明責任に基づいた最終的なサブセットを選択するために、削減されたセットに対してFA手法を適用する。
• 認識論的一致: 本研究は、異なる哲学的出発点にもかかわらず、両分野がしばしば同じ重要な特徴量に収束することを強調しており、両者の知見の転用可能性を検証している。

著者らは、評価がRandom Forestをバックエンドモデルとして強く依存していることや、FA手法の代替的な集計戦略によって結果が変わる可能性があることを認めつつ、自らの主張に対して謙虚な姿勢を維持している。彼らは、この研究を、統計的な簡潔性とアルゴリズムの説明責任を将来の高次元機械学習パイプラインへと統合するための基礎的なステップとして位置づけている。