技術要約：Sails – ローカル効果スムーシングによる相互作用のサロゲートベース解析

問題提起

特徴量の相互作用は、複雑な機械学習（ML）モデルにおける予測力の主要な原動力であるが、既存の説明可能なAI（XAI）手法は、それらを完全に特性化することに苦慮している。現在のアプローチは、通常、以下のいずれかに焦点を当てている：

1. 検出と定量化： H統計量やShapley相互作用指数のような手法は、相互作用が「存在する」ことを特定し、その強さを測定するが、その関数形式までは明らかにしない。
2. 限定的な可視化： 2D-ALE（累積局所効果）やREPID（リージョナル効果）のような手法は、相互作用を可視化するが、解釈が困難な3Dプロットを生成したり、連続的な不均一性を捉えられなかったり、あるいは特定の相互作用タイプ（例：積分離可能型）に限定されたりすることが多い。

関数の検出、機能形式（線形、積分離可能、または非積分離可能）の分類、およびそれぞれのタイプに応じた最適な解釈可能な可視化を提供できる、統合されたモデル非依存のフレームワークという点において、XAIツールボックスには顕著な空白が存在する。

手法：Sailsフレームワーク

Sails（Surrogate-based Analysis of Interactions via Local effect Smooths）は、ブラックボックスモデルの局所効果に対して解釈可能な一般加法モデル（GAM）サロゲートを適合させることで、関心対象となる特徴量（FOI）のペアワイズな相互作用を分析するために設計された、モデル非依存のフレームワークである。本フレームワークは、2つの逐次的なステップと、それに続く3つの統合された機能によって構成される。

1. 局所効果の推定

Sailsは、ALE（累積局域効果）の微分の局所的な分解可能性を利用する。ブラックボックスモデル $\hat{f}$ に対して、特徴量 $x_j$ に関する局所効果は $h(x_j, x_{-j}) = \partial_j \hat{f}(x_j, x_{-j})$ と定義される。

• 区間分割： FOI ($X_j$) を $K$ 個の区間に分割する。
• 有限差分： 各区間内の観測値に対して、区間幅で正規化されたモデル予測の有限差分を用いて局所効果を推定する。
• 理論的根拠： 関数ANOVA（FANOVA）分解によれば、$X_j$ が固定されている場合、局所効果の変動は $X_j$ を含む相互作用のみから生じる。したがって、これらの局所効果が他の特徴量に対して示す不均一性は、相互作用の存在を示す。

2. GAMサロゲートの適合

各FOIの区間 $k$ ごとに、個別のGAMサロゲートモデルを適合させる：

• 入力： 残りの特徴量 $X_{-j}$。
• ターゲット： 推定された局所効果 $\hat{h}^{(i)}_k$。
• 構造： $\hat{s}^{(k)}(x_{-j}) = \hat{s}^{(k)}_0 + \sum_{l \neq j} \hat{s}^{(k)}_l(x_l)$。
• 解釈： スムース項 $\hat{s}^{(k)}_l$ は、中心化定数を除いて、相互作用成分の偏微分 ($\partial_j g_{jl}$) を近似すると推測される。

3. 統合された機能

適合されたサロゲートに基づき、Sailsは以下の3つのタスクを実行する。

(i) 相互作用の検出

Sailsは、各区間における各特徴量 $X_l$ のスムース項の有意性を、基底係数に対するF検定を用いてテストする。

• 集計： 区間間のテストは依存関係にあるため、p値は調和平均p値を用いて集計され、グローバルな有意性の尺度を提供する。
• 補正： 多重比較のために、ベンジャミニ・ホッホバーグ（Benjamini-Hochberg）の偽発見率（FDR）補正が適用される。
• ヒューリスティック： 局所効果の計算には加法的ノイズが含まれず、ペナルティ付きスプラインが使用されているため、得られるp値は厳密な統計値ではなく、グローバルな相互作用の有意性に関するヒューリスティックとして扱われる。

(ii) 相互作用の分類

Sailsは、スムース項から導出された$R^2$ベースのヒューリスティックな尺度を用いて、検出された相互作用を以下の3つのタイプに分類する。

1. 線形（Linear）： スムース項 $\hat{s}^{(k)}_l$ が（定数を除いて）すべての区間で同一である場合、その相互作用はFOIに対して線形である。これは、全評価値をプールして適合させた単一の曲線によって測定される $R^2_{lin}$ によって測定される。
2. 積分離可能（Product-Separable）： スムース項が同じ形状を持ち、スケール因子のみが異なる場合、その相互作用は積分離可能（$g_{jl}(x_j, x_l) = \phi_j(x_j)\phi_l(x_l)$）である。これは、参照点におけるスムース項の比に対して単一の曲線を適合させた $R^2_{prod}$ によって測定される。
3. 非積分離可能（Non-Product-Separable）： いずれの条件も満たさない場合、相互作用は一般的または非分離型として分類される。

(iii) 特化した可視化

分類に応じて、Sailsは特定の可視化を生成する。

• 線形： 単変量のスムーザー $\phi_l(x_l)$ を可視化する。
• 積分離可能： 比ベースのスムーザーを介して、$\phi_l(x_l)$ の形状を可視化する。
• 一般（General）： 非分離型の相互作用については、SailsはFANOVAの制約を強制するためにダブルセンタリングを適用しながら、各区間のスムース項 $\hat{s}^{(k)}_l$ を統合して相互作用関数 $g_{jl}$ を再構成する。これにより、FOIの異なる区間における、相互作用効果が他の特徴量とともにどのように変化するかを示す2D可視化を提供する。

実証的評価と結果

本フレームワークは、制御されたシミュレーションと実世界のアプリケーションを通じて検証された。

シミュレーション

実験は、様々な相関構造と相互作用次数（線形、積分離可能、非分離、および高次）を持つ合成データを用いて行われた。

• 検出： Sailsは、独立した特徴量および相関のある特徴量の両方において、低い偽陽性率で相互作用する特徴量を正しく特定した。強い相関がある場合でも頑健であり、ノイズとなる特徴量を非相互作用として正しく識別した。
• 分類： 独立した特徴量の下では、Sailsは線形、積分離可能、および非分離の相互作用を完璧に判別した。
  • 限界： 強固な相関（センタリングのシフトによる）や高次相互作用（サロゲートの誤設定による）の下では、$R^2_{prod}$ が低下した。$R^2_{lin}$ はより頑健であったが、非線形な高次項の影響でわずかに低下した。
• 可視化：
  • 線形および積分離可能型の可視化は、独立性の下でグラウンドトゥルース（真値）と密接に一致した。
  • 一般的な統合ベースの可視化は、独立性の下で複雑な相互作用の形状（例：正弦波）を正常に復元した。
  • 相関や高次相互作用がある場合、可視化にはアーティファクトが生じたりサポートが減少したりしたが、近似としては依然として情報量を持っていた。

実世界のアプリケーション

Sailsは、モロッコのテトゥアンにおける電力消費を予測するXGBoostモデルに適用され、general_diffuse_flows（日射量）をFOIとして使用した。

• 結果： フレームワークは、時間（Hour）、気温（Temperature）、UnixTime、および風速（WindSpeed）との相互作用を特定した。
• 解釈：
  • 時間（Hour）： 日射量が中間レベルのとき、夕方の消費量が増加すること（夕暮れの照明）を示し、日射量が低いときは日中の消費量が増加すること（曇天時の照明）を示した。
  • 気温（Temperature）： 低日射＋低気温（暖房＋照明）と、高日射＋高気温（冷房）の両方が消費を増加させるという相乗効果を示した。
  • 風速（WindSpeed）： 区間間で一貫した形状を共有する、ほぼ積分離可能に近い形式を示した。
• サロゲートの適合度： GAMサロゲートの平均インサンプル $R^2$ は0.96であり、これらが局所効果の変動の大部分を捉えていることを示している。

意義と主張

本論文は、Sailsが単なる相互作用の検出を超えて、相互作用の関数形式を特性化することで、XAIツールボックスの重要な空白を埋めるものであると主張している。

• モデル非依存： あらゆるブラックボックスモデルに対して動作する。
• 統合されたワークフロー： 検出、分類、および可視化を単一のパイプラインで組み合わせている。
• 解釈性： 相互作用を分類することで、汎用的な3D等高線プロットよりも解釈しやすい、特化した可視化を可能にする。
• 頑健性： 実世界のデータにおける共通の課題である、特徴量間の相関が存在する場合でも、相互作用を検出する有効性を示している。

限界と今後の展望

著者らはいくつかの限界を認めている。

1. タスクの範囲： 現在は回帰タスクに限定されており、分類への拡張は今後の課題である。
2. 理論的保証： スムース項がFANOVAの偏微分を近似するという仮定には、厳密な理論的証明が欠けている。
3. 相関への感度： 分類指標（$R^2_{prod}$）は、強い特徴量相関に対して敏感である。
4. 相互作用の次数： 本フレームワークはペアワイズな相互作用を想定しており、高次相互作用はサロゲートの誤設定やアーティファクトを引き起こす可能性がある。
5. 今後の方向性： 高次相互作用のためのGA2Mサロゲートの使用、他の局所効果手法（例：ICE、Shapley値）への適用、およびGADGETを用いたリージョナル効果へのアプローチの統合などが考えられる。