技術的概要：表形式データにおける局所的特徴帰属のための AGOP-IxG

問題定義

自動機械学習（AutoML）パイプラインは、信用スコアリングや医療リスクなどの高リスク領域においてブラックボックスモデルをますます展開しており、規制当局者やエンドユーザーに対して予測ごとの説明を必要としています。SHAP、統合勾配（IG）、LIME などの特徴帰属手法は標準的ですが、それらの選択はしばしば測定された忠実度ではなく慣習によって駆動されています。根本的な評価のギャップが存在します：現実世界の表形式データには真の帰属（ground-truth attribution）が存在しないため、手法間の合意（inter-method agreement）などの循環的な代理指標や、個々のサンプルごとの説明の質を評価しないグローバル指標（例：ROAR）に依存せざるを得ません。その結果、実務家は精度、ノイズ耐性、計算コストのバランスを取る帰属手法を選択するための原理的な基盤を欠いています。

手法

提案手法：AGOP-IxG

著者は、表形式分類器向けの高速なサンプルごとの帰属手法であるAGOP-IxGを提案します。これは、InputXGradientと、**平均勾配外積（AGOP）**行列から導出された勾配フィルタを組み合わせたものです。

1. トレーニング段階（Fit）:

   • $n$ 個のサンプルからなるトレーニングセットに対して、各サンプルの予測クラススコアの勾配（$g_i = \nabla_x \hat{s}_{c_i}(x_i)$）を計算します。
   • AGOP 行列 $M$ を経験的勾配外積として構築します：$M = \frac{1}{n} \sum_{i=1}^n g_i g_i^\top$。
   • $M$ を固有値分解します（$M = V\Lambda V^\top$）。ランク-$K$ 切り捨てを適用し、固有値が最大固有値（$\lambda_{max}$）の 1% を超える固有ベクトルのみを保持します。これにより、低ランク再構成 $M_K = V_K \Lambda_K V_K^\top$ が生成されます。
   • このプロセスはノイズフィルタとして機能し、高分散のトレーニング分布方向と整合する勾配成分を増幅し、低固有値のノイズ方向をゼロにします。

2. 帰属段階（Test）:

   • ベースライン $x'$（特徴ごとのトレーニング平均）を持つテストサンプル $x$ に対して、勾配 $g$ を計算します。
   • 勾配に切り捨てられた AGOP 行列を左から乗算します：$g_{attr} = g M_K$。
   • 最終的な帰属 $e_j$ は、特徴の差とフィルタリングされた勾配の積として計算されます：$e_j = (x_j - x'_j) \cdot (g_{attr})_j$。
   • 帰属値は合計が 1 になるように正規化されます。

計算効率: 低ランク分解（$M_K = V_K \Lambda_K V_K^\top$）を利用することで、この手法は完全な $d \times d$ 行列の形成を回避し、2 つの行列 - ベクトル積のみを必要とします。その結果、実行時間は SHAP よりも約 350 倍から 1,650 倍高速になります。

評価フレームワーク

本論文は 2 部構成のベンチマークを導入します：

1. パート 1：制御された合成ベンチマーク: 真の帰属が解析的または数値的に導出可能な 3 つの多クラス表形式タスク（線形、疎な非線形、特徴相互作用）を生成します。指標には、スピアマン順位相関、Top-$k$ 精度、およびノイズ特徴質量（無関係な特徴に割り当てられた帰属）が含まれます。
2. パート 2：現実世界のグローバル忠実度: ROAR（Remove And Retrait）プロトコルを Adult Income およびクレジットカード債務不履行データセットに適用し、グローバルな特徴ランキングの忠実度を測定します。

主要な貢献

1. AGOP-IxG アルゴリズム: InputXGradient を上位 K 個のランク切り捨て AGOP 勾配フィルタと組み合わせる新しい帰属スキーム。これは、サンプルごとの局所的帰属の忠実度のために特別に設計されています。
2. 制御された評価フレームワーク: 既知の真の帰属を持つパラメトリックな合成ベンチマークスイート（線形、疎な非線形、相互作用）を提供し、代理指標なしでサンプルごとの品質を直接評価可能にします。このフレームワークはモデル非依存であり、AutoML パイプラインでの再利用を目的として設計されています。
3. 包括的な実証分析: 合成データセットおよび実データセット全体で、AGOP-IxG を 4 つのベースライン（SHAP、統合勾配、InputXGradient、LIME）と比較し、局所的忠実度とグローバルランキングの間のトレードオフを浮き彫りにします。

結果

パート 1：合成ベンチマーク

• ノイズ耐性: AGOP-IxG は 3 つの合成データセットすべてにおいて最低のノイズ特徴質量を達成し、SHAP、IG、LIME を大幅に上回りました。これは、ノイズを除去する AGOP 切り捨ての有効性を検証するものです。
• 順位相関: AGOP-IxG は 3 つのデータセットすべてでスピアマン順位相関において首位でした。
• Top-$k$ 精度:
  • 線形タスク: LIME が AGOP-IxG をわずかに上回りました（0.915 対 0.895）。これは、線形プロセスに対する LIME の適性性と一致します。
  • 疎な非線形: AGOP-IxG と SHAP はほぼ同率でした（0.514 対 0.515）が、AGOP-IxG はスピアマン相関で先行しました。
  • 相互作用: AGOP-IxG はすべての指標で SHAP を上回りました（スピアマン 0.534 対 0.466）。
• 実行時間: AGOP-IxG は SHAP（約 33 秒）と比較して、データセットあたり 0.02〜0.10 秒と桁違いに高速でした。

パート 2：現実世界のデータ（ROAR）

• Adult Income およびクレジットカード債務不履行データセットにおいて、5 つの手法すべては密に集約された結果（AUC のばらつき < 0.01）を生み出しました。
• 単一の手法がグローバルな特徴ランキングを支配することはありませんでした。AGOP-IxG は Adult で最後、Credit で 3 位でしたが、その差はわずかでした（相対変化約 1.7%）。
• 著者は、これは AGOP-IxG の設計と一致していると指摘しています。すなわち、AGOP-IxG は局所的なサンプルごとの忠実度を最適化するのに対し、ROAR は正規化ベクトルの平均から導出されるグローバルなランキングを評価するためです。

意義と主張

本論文は、AGOP-IxG が実行時間を犠牲にすることなく局所的な予測ごとの説明可能性に対する強力な帰納的バイアスを提供すると主張しており、厳格な時間制約（例：リアルタイム推論）を持つ AutoML パイプラインにおいて運用上価値があるとされています。

• 手法選択のガイダンス: 結果は、帰属手法の選択が下流の消費者に依存すべきであることを示唆しています。意思決定ごとの説明（例：特定の拒否に関する規制報告書）の場合、AGOP-IxG は優れた局所的忠実度とノイズ耐性を提供します。一方、AutoML パイプライン内のグローバルな特徴選択の場合、手法の選択はあまり重要ではありません。なぜなら、手法はグローバルなランキング性能において密に集約されるためです。
• 展開可能性: AGOP-IxG のサンプルごとのコストはミリ秒未満であり、リアルタイム展開（例、拒否されたすべてのクレジット決定に理由コードを添付）を可能にします。一方、SHAP のレイテンシは規模において禁止的です（例、100 万件の決定を説明する場合、SHAP では約 9 時間かかるのに対し、AGOP-IxG では 2 分未満で済みます）。
• ベンチマークの有用性: 提案された合成ジェネレーターは、慣習ではなく測定された忠実度に基づいて帰属手法を自動選択または自動調整する将来の AutoML システムのための、手法非依存のツールとして機能します。

著者は謙虚であり、結果は MLP と合成タスクに基づいており、現実のデータでは真の帰属が利用不可能であることを認めています。彼らは AGOP-IxG が普遍的に優れていると主張するのではなく、局所的、ノイズ耐性があり、リアルタイムな帰属という特定の領域において優れていると主張しています。