The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations

技術要約：グローバルな時系列説明における周辺的影響度に基づく属性付与手法の失敗

1. 問題提起

本論文は、時系列モデルにおける現在の説明可能AI（XAI）手法における根本的な構造的不備を指摘している。現在のXAIの支配的なパラダイムは、各タイムステップにおける各特徴量に対してスカラー値を割り当て、その「直接的な」寄与を表す**フラットな属性付与（flat attribution scoring）**に依存しているが、このアプローチは、時間的な推論の相関的かつ条件的な性質を捉えることができない。

著者らは、既存の手法（勾配ベース、摂動ベース、およびアテンションベースのアプローチを含む）が、自己相関によって引き起こされる直接的な時間依存性と媒介された依存性を混同していると主張している。高次元の相関構造を一次元の要約へと崩壊させることで、これらの手法は、モデルの実際の推論プロセスを構成する条件付き依存性の情報を破棄してしまう。その結果、予測に直接影響を与える特徴量と、中間変数を通じて間接的にのみ影響を与える特徴量を区別することができなくなる。

2. 手法および理論的枠組み

定義と記法:

• フラットな属性付与 (定義1): 変数と時間のペア $(X_i, t)$ に対して、その影響を媒介する可能性のある他の入力の値による条件付けを行わずに、周辺的な条件付けまたは勾配を通じてスカラー値 $\phi_i^{(t)}(x)$ を生成する手法。
• モデル依存グラフ (MDDAG, $G_f$, 定義2): モデル $f$ が学習した真の依存関係を表す有向非巡回グラフ（DAG）。エッジは、入力 $X_i^{(t_1)}$ から予測ターゲット $X_j^{(T+w)}$ へ、他のすべての入力が与えられた条件下でその入力が予測に対して条件付き依存である場合にのみ存在する。
• DAG適合性 (定義3): 説明手法によって誘導された依存グラフ $G_T$ が、MDDAG $G_f$ と同じ条件付き独立性（マルコフ同値）をエンコードすることを要求する新しい忠実度基準。

計算上のギャップ:
本論文は、フラットな手法が2つの必要な**許容条件（admissibility conditions）**を満たせないという「計算上のギャップ」を特定している。

1. オンマニフォールド評価 (C1): 属性付与は、データの分布のサポート内 ($\text{supp}(p)$) におけるモデルの振る舞いにのみ依存しなければならず、オフマニフォールドな再パラメータ化に依存してはならない。
2. 条件付き分離 (C2): 入力への属性付与は、その入力が残りの入力が与えられた条件下で予測に対して条件付き独立である場合、ゼロにならなければならない。

ケーススタディと証明:
著者らは、標準的な手法の失敗を示すために特定のシナリオを構築している。

• シナリオ I (自己相関): $X^{(2)}$ が $X^{(1)}$ の予測への影響を媒介するモデル。フラットな手法（例：SHAPのバリアント）は、$X^{(2)}$ を条件付けないために $X^{(1)}$ に誤って非ゼロのスコアを割り当て、C2に違反する。
• シナリオ II (オンマニフォールド制約): $X^{(2)} = \delta X^{(1)}$ である決定論的プロセス。ここでは、$X^{(1)}$ はデータサポート内において予測への直接的な影響を持たない。しかし、勾配ベースの手法（Saliency, Integrated Gradients）は、オフマニフォールドの点を探索するため、非ゼロの微分を検出し、C1に違反する。

提案される表現:
これらの限界を克服するために、本論文はスカラー値の代わりに遷移テンソル（Transition Tensor）（定義4）を提案する。これは、ソース変数 $i$ のラグ $t_1$ における影響をターゲット変数 $j$ への影響として定量化する、3次元配列 $T_{loc} \in \mathbb{R}^{D \times D \times T}$（またはマルチステップ予測の場合は $D \times D \times T \times W$）である。グローバルな説明は、構造的存在と強度の大きさを分離した、集計されたグローバルテンソルのサポートから導出される。

3. 主な貢献

1. 計算上のギャップの定式化: 時系列モデルの条件付き依存構造とフラットな属性付与手法との間の不一致を厳密に定義し、スカラー値では必要な条件付き独立構造を捉えられないことを証明した。
2. DAG適合性の定義: モデルが学習した依存グラフのマルコフ同値性に根ざした、グローバルな時系列説明のための適切な基準としてDAG適合性を導入した。
3. 標準的手法の失敗の証明:
   • 定理 1: 標準的なSHAP（およびTimeSHAPのような時系列拡張）は、自己相関によって偽のエッジを生成するため、一般にDAG適合的ではないことを証明した。
   • 命題 1 & 2: 周辺的影響度に基づく手法（KernelSHAP, ShapTime）は条件付き分離（C2）に失敗し、勾配ベースの手法（Saliency, Integrated Gradients）はオンマニフォールド評価（C1）に失敗することを示した。
4. 既存の拡張手法の評価: 時間的性質を考慮した手法（FIT, WinIT, Dynamask）を評価した。これらは、分布内の置換を用いることで部分的に許容性を満たしているが、真の直接的なエッジに対する感度が低い（偽陰性）という問題を抱えており、構造的にはフラットな手法よりも許容性に近い。
5. 許容可能なインスタンス化の提案: 有効な説明は、C1とC2の両方を満たす許容関数（admissible functional）によってインスタンス化された遷移テンソルであるべきだと提案している。具体的には、マニフォールドを考慮したヤコビアン（C1用）と、条件付き分布シフトの尺度（C2用）の組み合わせを提案している。

4. 結果と実証的証拠

本論文は、様々な手法を真の依存グラフと比較する合成ベンチマークを通じて、実証的な証拠を提供している。

• フラットな手法 (SHAP, TimeSHAP, ShapTime, TS-MULE): 直接的影響と媒介された影響を区別することに一貫して失敗している。シナリオIでは、完全に媒介された変数に非ゼロのスコアを割り当てる。シナリオIIでは、オンマニフォールド制約を遵守できていない。
• 勾配手法 (Saliency, IG, TIG, SmoothGrad): いくつかのケースでは直接的対媒介的影響を正しく区別できるが、オフマニフォールドの感度のために、データマニフォールド上で条件付き独立である変数に対して非ゼロの関連性を割り当てることで、一貫してシナリオIIに失敗する。
• 摂動手法 (FIT, WinIT, Dynamask): これらの手法は、失敗シナリオにおいてエッジを幻覚させない（C1およびC2をより良く遵守する）が、感度が低く、真の直接的なエッジに対してしばしばゼロに近いスコアを割り当てる（偽陰性）。

テストされた既存の手法の中で、すべてのシナリオにおいて正解に到達したものは存在せず、現在のパラダイムが構造的に不適切であるという本論文の主張を裏付けている。

5. 意義と主張

本論文は、時系列XAIの分野が、出力中心の忠実度（特徴量を摂動すると出力が変化するか？）から、構造中心の忠実度（説明がモデルの内部的な条件付き独立構造を復元するか？）へと移行しなければならないと主張している。

• 理論的転換: 著者らは、スカラー形式自体が主要な失敗モードではなく、現在のアルゴリズムに内在する周辺的条件付けとオフマニフォールド評価が問題であると論じている。
• 新しい基準: 彼らは、DAG適合性がグローバルな説明のための必要な基準であり、遷移テンソルがこれらの依存関係を符号化できる最小限の表現オブジェクトであると断じている。
• オープンな課題: 遷移テンソルの具体的な許容可能なインスタンス化を、実用においてC1とC2の両方を満たすように構築することが、将来の研究における中心的な課題であると特定している。また、テンソルが正しい内部表現である一方で、この高次元構造を人間が解釈可能にするための可視化戦略が必要であることも明記している。

本論文は、XAIコミュニティに対し、この構造中心のフレームワークを採用し、時間領域においてフラットな属性付与スコアを超えた議論を行うよう呼びかけて締めくくっている。