Generalized Functional ANOVA in Closed-Form: A Unified View of Additive Explanations

技術的概要：閉形式における一般化された関数 ANOVA

問題提起
現代の機械学習モデル、特に複雑なアンサンブルやニューラルネットワークは、しばしば不透明な「ブラックボックス」として動作し、その入力 - 出力マッピングの解釈が困難です。説明可能な AI（XAI）は、SHAP や LIME などの事後説明手法、および GAM や EBM などの本質的に解釈可能なモデルを多数生み出してきましたが、これらのアプローチは主に 2 つの批判に直面しています。すなわち、厳密な表現定理を欠くヒューリスティックな構築に依存していること、および計算コストが高く、あるいは形式的に扱いにくいことです。

解釈可能性における中心的な課題は、予測子を主効果と高次相互作用に分解する関数 ANOVA 分解（または Hoeffding 分解）です。この分解は独立した入力に対しては明示的かつ直交しますが、従属した入力に対する扱いやすい表現を得ることは依然として困難です。従属した設定に対する既存の手法は、入力密度の知識を必要とする、特定のモデルタイプ（例えば、ツリーアンサンブル）に限定される、あるいはカテゴリカルデータに対してのみ最近解決されたという制限があります。連続的な従属入力に対して明示的な閉形式解を提供し、データからの効率的な推定を可能にする、統一されたモデル非依存の枠組みが必要です。

手法
著者は、連続有界確率変数に対する一般化された関数 ANOVA分解の統一枠組みを提案します。この手法は 3 つの段階で進行します。

1. 理論的定式化（閉形式基底）：
   本論文は、ヒルベルト空間内の制約付き最小二乗最適化問題の解として定義される一般化された関数 ANOVA 分解が、連続有界特徴量に対して明示的な閉形式解を許容することを確立しています。

   • 仮定： 入力ベクトル $X$ は、密度 $f$ がゼロおよび無限から離れて有界である超長方体 $[-1, 1]^p$ 上で支持されます。
   • 基底の構築： 著者は、正規化されたルジャンドル多項式と逆尤度重み付け機構を用いて、空間 $L^2([−1, 1]^p, \mu_f)$ に対するリース基底 $\Xi$ を構築します。具体的には、変数の部分集合 $S$ に対して、基底関数は以下のように定義されます。
     $$\xi^{(m_S)}_S(x) := \frac{1}{\sqrt{2^{p-|S|}}} \cdot \frac{\prod_{j \in S} \tilde{P}_{m_j}(x_j)}{f_S(x_S)}$$
     ここで、$\tilde{P}_m$ は正規化されたルジャンドル多項式であり、$f_S$ は $X_S$ の周辺密度です。
   • 直交性： この構築により階層的直交性が保証され、任意の真部分集合 $T \subset S$ に対して、成分 $\nu_S$ は $X_T$ の任意の関数と直交します。これにより、独立な場合の古典的な直交分解が回復され、ハサニィ配当を通じてシャプレイ値と自然に接続されます。

2. 推定アルゴリズム：
   基底が閉形式で利用可能なため、分解の推定は、最小二乗回帰を通じて基底展開の係数を推定することに帰着します。

   • 切り捨て： 問題の無限次元性を処理するため、著者は相互作用次数を $K$ に、多項式次数を $d$ に制限する切り捨て集合 $I^K_d$ を採用します。これは「効果の希少性」と「消極性」の原則を利用しています。
   • 密度推定： 基底に必要な周辺密度 $f_S$ は、切り捨てられたテンソル化ルジャンドル展開を用いてデータから推定されます。
   • パイプライン： アルゴリズムは、特徴量のスケーリング（$[-1, 1]$ へ）、密度推定、基底関数を用いた設計行列の構築、および線形系の求解（モデル選択には LARS、求解には SVD を使用）を含みます。この一連のプロセスはモデル非依存であり、入力 - 出力ペアのみを必要とします。

3. 実験的検証：
   この手法は、合成解析ケースおよび 6 つの実世界データセット（バイクシェアリング、カリフォルニア住宅、国勢調査所得など）において、XGBoost、MLP、EBM、NAM の 4 つのモデルファミリーを用いて評価されました。これは、最先端の手法（KernelSHAP、DeepSHAP、TreeSHAP、TreeHFD）および解釈可能モデルのネイティブ分解と比較されました。

主要な貢献

1. 明示的な閉形式解： 本論文は、連続有界特徴量に対する一般化された関数 ANOVA 分解が明示的な解を許容し、基礎となる非パラメトリック最適化を最小二乗回帰問題に還元することを示しています。
2. 統一枠組み： この定式化は、古典的な独立な場合、直交多項式展開、およびシャプレイ値との接続を自然に回復します。従属入力の存在下における加法的説明に対する厳密な数学的基盤を提供します。
3. 効率的なモデル非依存推定量： 著者は、モデルの内部構造にアクセスすることなく、データサンプルから分解を推定するための単純な多項式時間アルゴリズムを提案します。この手法は、実用上の扱いやすさを維持するために希少性を活用します。
4. 経験的統合： 実験により、既存の説明手法（SHAP 変種）および解釈可能モデル（GAM、EBM）は、関数 ANOVA 分解の特定成分を近似することが示され、提案された枠組みがこれらの異なるアプローチを統合することを示唆しています。

結果

• 精度： 提案された推定量は、すべてのデータセットおよびモデルファミリーにおいて高い再構成精度（$R^2 \geq 0.85$）を達成しました。
• 直交性： プラグイン密度推定値を使用しているにもかかわらず、成分間の階層的直交性は忠実に保持されています（MaxCorr 値が低い）。
• 効率性： この手法は計算効率が良く、数万件のサンプルを持つデータセットの分解を数秒で推定します（例：国勢調査所得の 48k サンプルで約 0.6 秒）。
• 比較： 視覚的比較（図 1–4）は、提案手法の主効果が、合成設定では理論的構成要素と、EBM/NAM のネイティブ効果と密接に一致し、ヒューリスティックな SHAP 変種よりも厳密な分解を提供することを示しています。

意義と主張
本論文は、加法的説明に対する統合的な視点を提供すると主張しています。XAI 手法を一般化された関数 ANOVA という厳密な数学的対象に根ざすことで、著者は以下を論じています。

• 加法的説明は単なるヒューリスティックな構築ではなく、構造的性質を持つ定義された数学的対象の構成要素である。
• 多くの既存の事後手法および本質的に解釈可能なモデルは、この分解の特定成分の近似として再構成できる。
• 提案されたアプローチは、特に従属入力において従来手法が制限されていた、または扱いにくかった設定において、ブラックボックスモデルを分解するための実用的で効率的かつ理論的に堅固なツールを提供する。

著者は、有界連続入力の仮定および高次元問題に対する切り捨てへの依存といった限界を認めており、この枠組みを無界または混合データタイプに拡張することが今後の課題であると述べています。