Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning

技術要約：近接木（Proximity Trees）とアンサンブル学習を用いたデータ非依存型ピボット・インスタンス選択モデルの拡張

問題提起
機械学習モデルは、ヘルスケアや金融などの領域における複雑な意思決定において不可欠なものとなっているが、その「ブラックボックス」的な性質が解釈性を妨げることが多い。人間は、新しい事例を代表的な例と比較することで自然に推論を行う（事例ベース推論）が、既存の解釈可能なモデルの多くは、この認知プロセスとは一致しない抽象的な特徴量ベースのルールに依存している。さらに、現在のインスタンスベースのアプローチは、特徴に明確な意味的意味を持たないデータ形式（画像、テキスト、時系列など）において苦戦したり、予測性能と必要とされる代表的インスタンス（ピボット）の数のバランスを取ることに失敗したりすることが多い。本論文は、類似性を通じて推論を行うことが可能な、解釈可能な予測モデルを構築するために、高品質なピボット・インスタンスを選択するための統一されたデータ非依存型フレームワークの必要性に取り組んでいる。

手法
著者らは、決定木にインスパイアされているが、特徴量の閾値ではなく選択されたピボットへの類似性に基づいている、階層的で解釈性を設計段階から組み込んだモデルであるPivotTreeを提案している。その手法は、主に以下の3つのコンポーネントで構成される：

1. ピボット選択と木の誘導（Pivot Selection and Tree Induction）:
   PivotTreeは、各ノードでインスタンスを特定の「ピボット」（代表的な訓練インスタンス）への類似性に基づいて分割する決定木を貪欲に構築する。アルゴリズムは、各ステップにおいて以下の2種類のピボツを特定する：

   • 判別的ピボット（Discriminative Pivots）: データの分割に基づく不純度利得を最大化するインスタンス。
   • 記述的ピボット（Descriptive Pivots）: 現在のノード内の他の同一クラスのインスタンスへの類似性を最大化するインスタンス。
     木の誘導プロセスは、これらのピボットに対するインスタンスの類似性を空間内にエンコードし、これによりモデルがピボット選択器とスタンドアロンの予測モデルの両方として機能することを可能にする。

2. 分割戦略（Splitting Strategies）:
   表現力と適応性を高めるために、PivotTreeは3つの異なる分割メカニズムを実装している：

   • 単変量分割（Univariate Split, pt）: ノードごとに単一のピボットを使用し、閾値条件（$s(x, p_i) \geq \beta$）を用いる。
   • 斜め分割（Oblique Split, opt）: 2つのピボットへの類似性の線形結合（$\omega_i s(x, p_i) + \omega_j s(x, p_j) \geq \beta$）を使用し、より複雑な決定境界を可能にする。
   • 近接分割（Proximity Split, ppt）: インスタンスの2つのピボットへの類似性を直接比較し（$s(x, p_i) > s(x, p_j)$）、どちらのピボットに近いかに基づいてインスタンスをルーティングする。これは、類似性の絶対的ではなく相対的な解釈を提供する。

3. アンサンブル学習（RandomPivotForest）:
   著者らは、単一の木のアプローチをアンサンブルフレームワークであるRandomPivotForestへと拡張し、多数決を用いて複数のPivotTree推定器からの予測を集約する。複雑さを管理するために、「分割スタンプ・フォレスト（splitting stump forest）」のアプローチも検討しており、これはフォレストから弱学習器（スタンプ）のコンパクトなアンサンブルを抽出し、直接的な投票に使用するか、あるいはロジスティック回帰分類器と組み合わせるものである。

4. データ非依存性（Data Agnosticism）:
   本手法の核心的な特徴は、類似性の計算とオブジェクトの表現を切り離している点にある。事前学習済みネットワーク（例：画像用のResNet、テキスト用のSentence Transformers）を活用してデータを潜在ベクトル空間（$\mathbb{R}^m$）にマッピングすることで、PivotTreeは表形式データ、時系列、画像、テキストに対して一様に適用できる。

主な貢献

• 統一されたフレームワーク: インスタンス選択と予測モデリングの間の溝を埋め、ピボット選択と予測モデルを同時に行うモデルであるPivotTreeを導入した。
• 多才な分割メカニズム: データ構造や解釈性のニーズに適応できる、単変量、斜め、および近接ベースの分割戦略を開発した。
  এটি
• データモダリティへの独立性: 事前学習済み埋め込みと統一された類似性指標（ユークリッド距離、およびコサイン類似度とマンハッタン距離も評価）を利用することで、多様なモダリティ（表形式、時系列、画像、テキスト）において効果的であることを示した。
• アンサンブルの統合: RandomPivotForestとその圧縮されたバリアントを提案し、アンサンブル手法の堅牢性と事例ベース推論の解釈性の間のトレードオフを提供した。

実験結果
著者らは、4つのモダリティにわたる45のデータセットを用いて、PivotTreeとそのバリアントを評価した。主な知見は以下の通りである：

• 予測性能: PivotTreeのバリアント（特に $ptc_Z$ および $pts_Z$）は、最先端の解釈可能なモデル（例：決定木、ルールセット）や標準的な分類器（kNN、ランダムフォレスト）に対して競争力のある結果を達成した。多くのケースにおいて、特に画像やテキストのような非関係データにおいて、競合モデルを上回る性能を示した。
• 解釈性: モデルは高い性能を維持しながら、最小限のピボット数（多くの場合20個に制限）を利用しており、ブラックボックス型の代替案と比較してモデルの複雑さを大幅に削減している。
• アンサンブル性能: RandomPivotForestのバリアントは、表形式および時系列データにおいて、標準的なランダムフォレストやブースティング手法（XGBoost、LightGBM）と同等またはそれに近い性能を示した。特筆すべき点として、近接ベースのバリアント（$rppt$）は、画像データセットにおいて優れた性能を示した。
• 距離尺度: ユークリッド距離が主要な指標であったが、コサイン距離およびマンハッタン距離を用いた実験でも、全体として同等の性能が得られた。特にコサイン距離は、画像データに対して非常に強力な結果を示した。
• 効率性: 学習時間はデータセットのサイズと次元によって異なり、単変量バリアントは斜めバリアントよりも一般に高速であった。アンサンブル学習における10%のサブサンプリングの使用は、予測性能への影響を最小限に抑えつつ、学習時間を大幅に短縮した。

意義と主張
本論文は、PivotTreeが機械学習の意思決定プロセスを人間の認知戦略（事例ベース推論）に適合させることで、**説明可能なAI（XAI）**における重要な進歩を提供すると主張している。その主な意義は、従来の機能ベースの解釈可能なモデルが苦戦する複雑な領域においても、予測精度を犠牲にすることなく、解釈可能で透明性の高いモデルを提供できる能力にある。

著者らは、アンサンブルアプローチ（RandomPivotForest）が高い性能を達成する一方で、モデルの複雑さに分散をもたらすことも控えめに述べている。また、絶対的な性能のみが優先されるタスクにおいては、ブラックボックスモデルや、kNNと組み合わせたPivotTreeがスタンドアロンの木構造構造よりも優れた性能を発揮する場合があることも認めている。この研究は、モデルの選択は、グローバルな解釈性、ローカルな推論、および予測力の間の、要求される具体的なトレードオフに依存すべきであることを示唆している。今後の方向性としては、ハイブリッドな分割戦略の探索や、人間が介在する（human-in-the-loop）意思決定シナリオでの検証が挙げられている。