🤖 machine learning

The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations

本文认为，现有时间序列归因方法的主要缺陷并不在于其标量输出格式，而在于一种根本性的计算失配，即边际条件化（marginal conditioning）与流形外梯度（off-manifold gradients）将直接的时间依赖性与中介的时间依赖性混为一谈，从而使其无法忠实于模型的底层因果结构。

原作者： Amadeo Tunyi

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amadeo Tunyi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

时光旅行侦探之谜

想象一下，你是一名正在试图破案的侦探，但你唯一的线索只有一张模糊的嫌疑人照片。你知道嫌疑人出现在现场，但你不知道他们是如何到达那里的，途中和谁交谈过，甚至不知道他们是否真的是扣动扳机的那个人。在人工智能（AI）的世界里，这正是科学家们在试图理解计算机模型如何对未来做出预测时所面临的问题。这些模型驱动着从股市预测到医疗监测的一切，但它们往往是“黑盒”。我们知道输入了什么（来自过去的数据）以及输出了什么（一个预测），但我们不知道其内部逻辑。

为了解决这个问题，研究人员开发了“可解释人工智能”（XAI）。可以将 XAI 想象成一种试图突出最重要线索的工具。对于基于时间的数据（如天气模式或心率），目前的标准方法就像是给每一个线索打分，分值为 1 到 10 分。如果下午 2:00 的温度读数得到了 9 分，该工具就会说：“这非常重要！”但问题在于，在现实世界中，事件是相互关联的。下午 2:00 的温度并非在真空中发生的；它是由于 1:00 的风引起的，而 1:00 的风又是由于 12:00 的风暴引起的。如果你的侦探工具只是给 2:00 的温度打分，而不理解它只是风暴的一个“信使”，你可能会误判原因。这篇论文深入探讨了为什么我们目前的侦探工具无法看清时间的完整图景。

论文：为什么我们的“计分卡”是错误的

这篇题为《边际影响归因方法在全局时间序列解释中的失效》（The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations）的论文指出，我们试图解释 AI 预测的最流行方法在处理时间问题时从根本上是失效的。由 Amadeo Tunyi 领导的作者们证明，标准方法——即给每个数据点一个单一的“重要性得分”——就像试图仅通过列出每一帧画面的亮度来描述一部复杂的电影一样。它遗漏了剧情。

核心问题：“中介者”陷阱
作者使用了一个巧妙的连锁事件类比。想象一个多米诺骨牌装置：

你推倒第一个骨牌（事件 A）。
它撞倒第二个骨牌（事件 B）。
第二个骨牌撞倒第三个（事件 C）。

在这个链条中，事件 A 导致了 事件 C，但它必须通过事件 B。事件 B 是“中介者”。论文表明，目前的 AI 解释工具很难区分直接原因和中介原因。它们看到事件 A 发生了，事件 C 也发生了，于是给事件 A 打了高分，认为它直接导致了结果。但实际上，事件 A 之所以重要，是因为它推动了事件 B。这些工具在忽略中间人的情况下，“幻觉”出了一个并不存在的直接联系。

“偏离流形”的错误
论文还指出了第二个隐蔽的错误。想象你正在走钢丝（即“流形”）。这是数据唯一有意义的路径。如果你踏出绳索进入虚空，你就进入了一个在现实生活中从未发生过的状态。作者发现，许多流行的方法（如 SHAP 和基于梯度的工具）会不小心观察到这些“偏离绳索”的情景。它们会问：“如果湿度为 0% 时温度为 100 度会怎样？”尽管这种组合在现实世界中是不可能的，但数学计算仍会为此计算出一个分数。这导致 AI 将重要性归于那些在数学上可能但在物理上不可能的事物，从而混淆了解释。

论文证明了什么
作者不仅是在猜测；他们通过运行模拟和数学证明来展示：

标准方法失效： 当数据具有“自相关性”（即今日的数据高度依赖于昨日的数据）时，像 SHAP、TimeSHAP 和显著性图（Saliency maps）这样的流行工具会持续将功劳归于错误的变量。
无法区分差异： 在测试中，无论一个变量是直接原因还是仅仅是一个信使，这些工具都会给出相同的“重要性得分”。它们无法区分直接联系与连锁反应。
违反现实规则： 通过观察不可能的数据组合，它们违反了“在流形上”的规则，这意味着它们的解释并不尊重其分析数据的实际规律。

提出的解决方案：“转移张量”
那么，如果计分卡坏了，我们该用什么呢？作者提出了一个名为 DAG-忠实度（DAG-faithfulness） 的新思维方式。与其问“这个单一数字有多重要？”，不如问“连接的地图是什么样的？”

他们建议用 转移张量（Transition Tensor） 取代简单的得分列表。想象一个 3D 网格或一个复杂的电子表格，它不仅仅说“A 很重要”，而是绘制出：“时间 1 的 A 影响时间 2 的 B，进而影响时间 3 的 C”。

它捕捉了影响的方向。
它捕捉了时间（滞后）。
它捕捉了变量之间的关系。

论文认为，对于一个解释来说，要实现真正的“忠实”，它必须能够精确地重建 AI 模型所学习到的这个连接图谱（即有向无环图，或 DAG）。如果解释说“A 连接到 C”，但模型实际学到的是“A 连接到 B，且 B 连接到 C”，那么即使最终预测是正确的，这个解释也是谎言。

现状
作者谨慎地指出，虽然他们已经识别了问题并定义了完美的解决方案（DAG-忠实度），但他们尚未完全构建出完美的工具。他们展示了某些较新的方法（如 FIT 和 WinIT）更接近目标，因为它们试图遵守“交通规则”（留在流形上），但仍然在敏感性方面存在困难。论文总结道，该领域需要停止尝试将复杂的时间逻辑挤进简单的数字中，转而开始构建这些 3D 的“连接地图”。

简而言之，这篇论文是一个警钟：我们不能再信任时间序列 AI 的简单“重要性得分”。它们遗漏了事件如何连接的故事，直到我们转向能够绘制这些连接的方法之前，我们的解释将始终是不完整的，甚至可能是误导性的。作者已经绘制出了问题的地图并指明了解决方案的方向，但构建完美地图的旅程才刚刚开始。

技术摘要：基于边际影响力的归因方法在全局时间序列解释中的失效

1. 问题陈述

本文探讨了当前可解释人工智能（XAI）方法在处理时间序列模型时存在的根本性结构缺陷。虽然主流的 XAI 范式依赖于平坦归因评分（flat attribution scoring）——即为每个时间步的每个特征分配一个标量值来表示其“直接”贡献——但这种方法无法捕捉时间推理中的关系性和条件性本质。

作者认为，现有的方法（包括基于梯度、基于扰动和基于注意力的方法）混淆了直接时间依赖（direct temporal dependencies）与由自相关引起的中介依赖（mediated dependencies）。通过将高维关系结构压缩为一维摘要，这些方法丢弃了构成模型实际推理过程的条件依赖信息。因此，它们无法区分一个特征是直接影响预测，还是仅通过中间变量间接影响预测。

2. 方法论与理论框架

定义与符号：

平坦归因（定义 1）： 通过边际调节或梯度，为变量-时间对 $(X_i, t)$ 生成标量分数 $\phi_i^{(t)}(x)$ 的方法，且未对可能中介效应的其他输入进行条件化处理。
模型依赖图（MDDAG, $G_f$ , 定义 2）： 一个有向无环图（DAG），代表模型 $f$ 学习到的真实依赖关系。当输入 $X_i^{(t_1)}$ 在给定所有其他输入的情况下与预测目标 $X_j^{(T+w)}$ 条件相关时，存在一条从 $X_i^{(t_1)}$ 到 $X_j^{(T+w)}$ 的边。
DAG-忠实度（DAG-Faithfulness, 定义 3）： 一种新的忠实度准则，要求解释方法诱导的依赖图 $G_T$ 编码与 MDDAG $G_f$ 相同的条件独立性（马尔可夫等价性）。

计算差距（The Computational Gap）：
论文指出存在一个“计算差距”，即平坦方法无法满足两个必要的容许条件（admissibility conditions）：

流形内评估（On-manifold Evaluation, C1）： 归因必须仅取决于模型在数据分布支持集（ $\text{supp}(p)$ ）内的行为，而非取决于流形外的重参数化。
条件分离（Conditional Separation, C2）： 如果某个输入在给定剩余输入的情况下与预测目标条件独立，则该输入的归因值必须为零。

案例研究与证明：
作者构建了特定场景来展示标准方法的失效情况：

场景 I（自相关）： 模型中 $X^{(2)}$ 中介了 $X^{(1)}$ 对预测的影响。平坦方法（如 SHAP 变体）由于未能对 $X^{(2)}$ 进行条件化，错误地为 $X^{(1)}$ 分配了非零分数，违反了 C2。
场景 II（流形内约束）： 一个确定性过程，其中 $X^{(2)} = \delta X^{(1)}$ 。在此场景下， $X^{(1)}$ 在数据支持集内对预测没有直接影响。然而，基于梯度的方法（Saliency, Integrated Gradients）检测到了非零导数，因为它们探测了流形外的点，从而违反了 C1。

提出的表示形式：
为了克服这些局限性，论文建议使用转移张量（Transition Tensor）（定义 4）取代标量分数。这是一个三维数组 $T_{loc} \in \mathbb{R}^{D \times D \times T}$ （对于多步预测则为 $D \times D \times T \times W$ ），用于量化源变量 $i$ 在滞后 $t_1$ 时对目标变量 $j$ 的影响。全局解释由聚合后的全局张量的支撑集导出，从而将结构存在性与强度量级分离。

3. 核心贡献

形式化计算差距： 论文严谨地定义了平坦归因方法与时间模型条件依赖结构之间的不匹配，并证明了标量分数无法捕捉必要的条件独立性结构。
定义 DAG-忠实度： 引入了 DAG-忠实度 作为全局时间序列解释的适用准则，其基础是与模型学习到的依赖图的马尔可夫等价性。
标准方法的失效证明：
- 定理 1： 证明了标准 SHAP（及其时间序列扩展如 TimeSHAP）在一般情况下不具备 DAG-忠实度，因为它们会因自相关产生伪边。
- 命题 1 & 2： 证明了边际影响法（KernelSHAP, ShapTime）无法满足条件分离（C2），而基于梯度的方法（Saliency, Integrated Gradients）无法满足流形内评估（C1）。
对现有扩展方法的评估： 论文评估了具有时间感知能力的方法（FIT, WinIT, Dynamask）。虽然它们通过使用分布内替换部分满足了容许性，但存在对真实直接边的敏感度较低（假阴性）的问题，尽管它们在结构上比平坦方法更接近容许性。
提出容许的实例化方案： 作者建议，有效的解释必须是一个通过满足 C1 和 C2 的容许泛函（admissible functional）实例化的转移张量。他们建议将流形感知的雅可比矩阵（针对 C1）与条件分布偏移度量（针对 C 2）相结合。

4. 结果与经验证据

论文通过对比各种方法与地面真值（ground-truth）依赖图的合成基准测试提供了经验证据：

平坦方法（SHAP, TimeSHAP, ShapTime, TS-MULE）： 一致性地无法区分直接效应与中介效应。在场景 I 中，它们为完全中介的变量分配了非零分数；在场景 II 中，它们未能遵守流形内约束。
梯度方法（Saliency, IG, TIG, SmoothGrad）： 在某些情况下能正确区分直接与中介效应，但在场景 II 中表现一致失败，由于流形外敏感性，它们会对在数据流形上条件独立的变量分配非零相关性。
扰动方法（FIT, WinIT, Dynamask）： 这些方法在失效场景中不会幻觉出边（它们更好地遵守了 C1 和 C2），但表现出低敏感度，经常将真实的直接边分配为近乎零的分数（假阴性）。

没有测试过的现有方法能在所有场景中实现正确性，这证实了论文的观点：当前的范式在结构上是不充分的。

5. 意义与主张

论文声称，时间序列 XAI 领域必须从以输出为中心的忠实度（扰动特征是否改变输出？）转向以结构为中心的忠实度（解释是否恢复了模型的内部条件独立结构？）。

理论转向： 作者认为，标量格式本身不是主要的失效模式，而是当前算法中固有的边际调节（marginal conditioning）和流形外评估（off-manifold evaluation）。
新标准： 他们断言 DAG-忠实度 是全局解释的必要准则，并且 转移张量 是能够编码这些依赖关系的最小表示对象。
开放挑战： 论文指出，构建一个在实践中同时满足 C1 和 C2 的具体的、容许的转移张量实例化是未来研究的核心问题。论文明确指出，虽然张量是正确的内部表示，但仍需要可视化策略来使这种高维结构具备人类可解释性。

论文最后呼吁 XAI 社区采用这种以结构为中心的框架，并超越针对时间领域的平坦归因分数。