🤖 machine learning

Global Explanations for Multivariate Time Series Forecasting Models via $K$ -Order Markov Approximations

本文介绍了 KARMA，这是一种通过构建能够捕捉时间依赖性并比现有归因技术更有效地恢复因果结构的 $K$ 阶马尔可夫代理模型，从而为多元时间序列预测模型生成全局解释的新方法。

原作者： Amadeo Tunyi

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Amadeo Tunyi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明但完全不透明的晶体球，它根据数据流（如天气、股票价格或心率）来预测未来。你知道它运行得很好，但你完全不知道它是基于什么逻辑做出这些预测的。这是一个“黑盒”。

目前尝试窥探这个黑盒的方法大多是在问：“如果我神奇地抹除掉这一个数据点，会发生什么？”问题在于，在时间序列数据中（比如天气预报），你不能直接抹除昨天的温度，因为这违反了物理定律；今天的天气与昨天是深度关联的。抹除它会创造出一个现实中从未发生过的虚假场景，从而导致混乱或错误的答案。

KARMA 正式登场。

这篇论文介绍了一种名为 KARMA（多元时间序列的 K 阶马尔可夫近似）的新方法。它不再尝试抹除数据，而是提出了一个更简单、更自然的问题：“如果系统在过去的几步中处于这种特定的状态，模型预期接下来会发生什么？”

以下是 KARMA 的工作原理，通过简单的概念进行拆解：

1. “记忆极限”侦探（支柱 1）

想象你正在尝试猜测句子中的下一个词。你需要记住整个段落，还是只需要记住最后几个词？
KARMA 扮演着一个侦探的角色，去寻找模型的“记忆极限”。它测试模型以观察：“这个模型实际上需要回顾多远的过去才能做出好的预测？”

它找到了一个特定的数字，我们称之为 K。
如果模型只需要过去 4 小时的数据就能预测下一小时，那么 KAR中证明了回顾 100 小时是毫无意义的。
结果： 它会告诉你：“这个模型只关心最后 4 个步骤。在此之前的所有信息都是噪声。”

2. “认证零值”基准（支柱 2）

一旦 KARMA 知道了模型只回溯 K 步，它就会做一件强大的事情。它创建了一个在数学上被证明是最优拟合的“基准”（默认起点）。

因为模型会忽略任何早于 K 的数据，KARMA 可以以 100% 的确定性说：“任何早于 K 的数据的权重恰好为零。”
其他大多数方法会说：“这段旧数据有微乎其微的影响。”而 KARMA 则说：“不，它完全没有影响。”这是一个“认证零值”，这对于建立信任至关重要。

3. “五层级”解释图谱（支柱 3）

一旦 KARMA 构建了这个简化的“记忆图谱”（称为马尔可夫代理模型），它就会生成一份包含五个层级的报告来解释模型的行为，就像剥洋葱一样：

第一层：谁在起作用？（变量重要性）
- 类比： 在一支乐队中，谁是主唱？
- KARMA 对变量（例如：温度、风速、气压）进行排名，以观察哪些变量驱动了预测。它会告诉你：“温度是主角；风向只是背景噪音。”
第二层：什么时候起作用？（滞后剖面）
- 类比： 主唱的声音回响有多远？
- 它展示了一个变量的影响力是如何随时间消退的。模型关注的是 1 小时前的温度，还是 3 小时前的温度？它揭示了模型是在寻找“动量”（事物持续上升/下降）还是“均值回归”（事物弹回原位）。
第三层：什么是“特殊时刻”？（模态解释）
- 类比： 乐队何时从民谣切换到摇滚乐？
- 它识别出在特定模式（历史情况）下，模型表现异常或独特的时刻。例如：“当天气又热又大风时，模型预测会下雨；但当天气又热又平静时，模型预测会晴天。”
第四层：如果我们改变某些东西会怎样？（干预效应）
- 类比： 如果我们强迫鼓手换一种节奏，歌曲会发生什么变化？
- 它模拟改变特定的过去数值（例如：“如果昨天的风力更强一些？”），并测量预测值会发生多大的偏移。这构建了一张模型学习到的因果关系图。
第五层：我们有多确定？（不确定性）
- 类比： 乐队是在演奏他们烂熟于心的曲目，还是在即兴发挥？
- 它测量两种类型的不确定性：
  1. 偶然不确定性（Aleatoric）： 未来是否本质上是混沌的？（模型之所以不确定，是因为数据存在噪声）。
  2. 认知不确定性（Epistemic）： 模型是否从未见过这种情况？（模型之所以不确定，是因为缺乏数据）。
- 这充当了一个“可靠性徽章”，告诉你在何时应该信任该解释，何时应该保持怀疑。

如何测试

作者通过两种主要方式测试了 KARMA：

合成数据（“虚构世界”）： 他们创造了一个已知确切规则（真实原因和结果）的虚构世界。KARMA 能够完美地重建这些规则，找到所有的真实连接并忽略虚假的连接。其他方法则会被复杂性搞混。
真实世界数据（“现实世界”）： 他们使用了真实的空气质量数据（北京 PM 2.5）和金融数据。KARMA 在识别哪些时间步对预测真正重要的方面，表现得与现有最佳方法一样出色，甚至更好。

核心结论

KARMA 是一种新的解释时间序列模型的方法，它尊重时间按顺序流动的事实。它不是通过破坏时间线来观察什么是有意义的，而是构建了一个简化的概率图谱，展示模型如何将过去与未来联系起来。它为你提供一份重要因素的排名列表，告诉你模型到底向后看了多久，甚至还给了你一个“信任分数”。

论文中提到的局限性：
该方法在变量数量和“记忆长度”不是过于庞大时效果最好。如果你拥有数千个变量，计算量会变得非常沉重（呈指数级增长），尽管作者使用了各种技巧，使其在处理大多数现实世界的案例时仍能保持在可控范围内。

技术摘要：KARMA —— 基于 K 阶马尔可夫近似的多变量时间序列预测全局解释

1. 问题陈述

在金融、临床监测、工业传感等高风险领域，部署深度学习模型（如 RNN、TCN、Transformer）用于多变量时间序列预测面临着显著的透明度问题。现有的可解释人工智能（XAI）方法（如 LIME、SHAP 和基于梯度的归因方法）主要针对静态、独立同分布（i.i.d.）数据设计。当应用于时间序列时，这些方法往往违反了基本的时序特性：

独立性假设： 它们隐式地假设时间戳特征是独立的，忽略了时间自相关性和变量间的格兰杰因果关系（Granger causality）。
偏离流形的扰动（Off-Manifold Perturbations）： SHAP 或 LIME 中的随机扰动会破坏序列结构，产生在数据分布中并不存在的反事实情况。
局部与全局： 基于梯度的方法描述的是单个点的局部几何结构，而非模型所学习到的系统性的全局条件结构。
基准选择问题： 像 TimeSHAP 这样的方法在序列语境下难以解决“基准选择问题”，因为在序列背景下选择基准并非易事。

本文认为，时间序列的解释必须尊重数据的序列和因果结构，应从基于扰动或基于梯度的局部近似，转向一种概率性的、全局的代理（surrogate）方法。

2. 方法论：KARMA 框架

作者提出了 KARMA（K 阶马尔可夫近似），该框架通过构建一个 K 阶马尔可夫代理模型 来解释黑盒时间序列预测器 $f$ 。其核心前提是：复杂预测器在多变量时间序列上的行为，可以被特定阶数 $K$ 的马尔可夫链精确近似。

该方法围绕三大支柱展开：

支柱 1：马尔可夫代理与阶数选择

离散化： 使用基于训练数据分位数的边界，将连续的时间序列变量离散化为 $N$ 个箱体，从而创建离散状态空间 $S = [N]^D$ 。
阶数选择 ( $K^*$ )： 该方法识别出具有预测充分性的最小历史长度 $K^*$ 。这是通过代理预测有效性停止规则实现的。算法通过测试不断增加的滞后长度 $K$ ，用基准 $b$ 替换输入窗口的前缀，并测量预测差异 $\hat{\Delta}_{pred}(K, b)$ 。
停止准则： $K^*$ 是使最小差异降至容差 $\epsilon$ 以下的最小 $K$ 值。这证明了模型对超过滞后长度 $K^*$ 的输入是不敏感的。

支柱 2：压缩与认证归因

模型压缩： 如果 $K^* < W$ （模型的输入窗口），则证明模型对超过滞后 $K^*$ 的输入是不敏感的。由此产生压缩比 $W/K^*$ 。
认证基准 ( $b^*$ )： 基准 $b^*$ 不是由分析师选定的，而是模型认证的；它是替换后能使预测差异最小化的特定前缀。
认证零归因（Certified-Zero Attributions）： 对于所有滞后 $k > K^*$ ，其归因在数学上为零（在近似误差范围内），这解决了其他方法中“微小”与“零”重要性难以区分的问题。

支柱 3：五级全局解释层级

一旦估计出 $K^*$ 阶马尔可夫转移核 $\hat{T}^f_{K^*}$ ，KARMA 可以在无需额外 oracle 查询的情况下导出五个层级的全局解释：

第一级（变量重要性）： 计算源变量对目标预测的总分布影响，按变量的边际总变分影响进行排序。
第二级（滞后剖面）： 通过特定的滞后 $k$ 解析影响，揭示每个变量的时间动态（例如：动量、均值回归）。
第三级（模态显著性）： 识别独特的历史模态（路径），在这些路径下，模型的条件预测与其典型行为发生显著偏差，使用边际相互依赖指数进行衡量。
第四级（干预效应）： 计算平均干预效应（AIE）和边贡献，以填充模型诱导的因果图，并直接与第一级的变量重要性相连。
第五级（不确定性量化）： 提供可靠性证书：
- 偶然不确定性（Aleatoric Uncertainty）： 预测分布的熵（真实的模型不确定性）。
- 认知不确定性（Epistemic Uncertainty）： 核估计的方差（标记出数据覆盖不足的历史记录）。

核估计： 为了避免估计完整联合核（ $N^{DK^*}$ ）带来的指数级复杂度，KARMA 估计 $D$ 个分解后的边际核。它默认采用 策略 B（ $b^*$ -前缀蒙特卡洛法），将估计限制在观测到的历史支持集 $H^+_{K^*}$ 内，使其规模随序列长度 $T$ 线性缩放，而非随维度呈指数增长。

3. 关键结果

合成数据 (VAR Oracle)

因果结构恢复： 在具有已知地面真值因果边的合成向量自回归（VAR）数据上，除了最复杂的配置（xlarge，召回率为 0.71）外，KARMA 在所有配置中均实现了完美召回（1.00）。它保持了高精确度，有效地排除了伪造的边。
特征排序： 在中、大、超大配置下，KARMA 是唯一的顶级方法（拥有最高的 Kendall's $\tau$ ）。竞争方法（TimeSHAP、WinIT、特征遮蔽法）随着图密度的增加而性能下降。
对比： 积分梯度（IG）在合成测试中被排除，因为它在处理线性 VAR 时会退化为精确系数，使得比较失去意义。

现实世界基准测试

实验在三个数据集（ETTh1、北京 PM2.5、汇率）和三种架构（GRU、LSTM、TCN）上进行，使用了时间感知滞后 AUC 分数（ $AUClag@25\%$ ）。

ETTh1： KARMA 在所有架构中均取得了最高分，尤其是在 TCN 上显著优于次优方法（0.71 对比 0.49）。
北京 PM2.5： KARMA 表现具有竞争力，与最强的基准方法持平或略微落后。
汇率： 所有方法的分数都趋近于零。作者对此解释正确：该数据集近似于随机游走，几乎没有可学习的时间结构，这意味着没有任何方法能识别出哪些时间步的移除会改变预测。这验证了该指标的行为，而非表明解释器失效。

4. 重要性与主张

本文将 KARMA 定位为时间序列领域现有 XAI 方法的一种原则性替代方案，原因如下：

尊重时间几何结构： 不同于会破坏序列结构的基于扰动的方法，KARMA 的马尔可夫近似在领域的原生语言（条件依赖）内运行。
提供统计保证： 它提供了认证零归因（针对无关滞后）以及针对解释的显式可靠性证书（第五级），这是此前研究中缺失的特性。
全局 vs 局部： 它通过单一估计的核导出全局解释层级，而非仅提供实例级的局部近似。
模型无关的有效性： $K^*$ 和基准 $b^*$ 的选择直接源于模型的行为，而非分析师的假设。

承认局限性：
作者指出，状态空间随 $N^{DK^*}$ 指数级增长，使得完整的核估计具有挑战性。KARMA 通过边际核和采样策略来缓解这一问题，但在极高维系统中进行扩展仍是一个开放的研究方向。

论文总结道，马尔可夫近似范式为序列领域（如金融、神经科学和基因组学）提供了一个稳健且尚未被充分探索的 XAI 新方向。