🔢 mathematics

Horizon Activation Mapping for Neural Networks in Time Series Forecasting

本文介绍了地平线激活映射（HAM），这是一种与模型无关的视觉可解释性技术，它通过分析时间序列子序列的梯度范数平均值，从而为时间序列预测中多样化的神经网络架构实现细粒度的模型选择、验证及跨家族比较。

原作者： Krupakar Hans, V A Kandappan

发布于 2026-05-29

📖 1 分钟阅读🧠 深度阅读

原作者： Krupakar Hans, V A Kandappan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人预测未来几周的天气。你有许多不同类型的机器人（神经网络）可供选择，但它们都说着不同的语言，并使用不同的内部齿轮。通常，为了判断哪个机器人表现最好，你只需查看最终得分：“预测结果与实际天气有多接近？”

但如果你想知道机器人是如何思考的呢？如果你想知道它关注了哪些日子，又忽略了哪些日子呢？这正是本文所介绍的内容：一种名为**视界激活映射（Horizon Activation Mapping, HAM）**的工具。

以下是使用日常类比对本文内容的简单拆解。

1. 问题： “黑盒”预测器

在时间序列预测（基于过去数据预测未来数值）的世界里，有许多不同的 AI 模型“家族”。有些像短跑运动员（多层感知机 MLPs），有些像细心的读者（自注意力机制 Self-Attention），还有些像穿越时空的侦探（扩散模型 Diffusion models）。

目前，如果你想比较它们，你只能查看最终的误差得分。这就像仅凭菜肴的最终味道来评判两位厨师，却从未见过他们的烹饪过程。你不知道一位厨师是否在完美地切菜，而另一位却在烧焦酱汁。作者希望找到一种方法，能够“透视”这些不同的机器人，以理解它们的学习过程，而不管其内部设计如何。

2. 解决方案：HAM（时间的“热力图”）

作者创建了视界激活映射（HAM）。将其想象成一张时间的热力图。

类比：想象你在看电影。标准的“热力图”（如图像 AI 中使用的 Grad-CAM）会向你展示 AI 正在注视屏幕的哪些部分。HAM 做的事情类似，但是针对时间。
工作原理：HAM 不是查看图像，而是查看时间序列数据（即“视界”）。它会问：“当 AI 试图预测未来时，它对时间线的开始部分投入了多少精力（梯度），而对结束部分又投入了多少？”
两种模式：
- 因果模式（Causal Mode）：AI 观察过去以预测未来（就像从第 1 页读到结尾）。
- 反因果模式（Anti-Causal Mode）：AI 观察未来以理解过去（就像从最后一页倒着读回开头）。
- HAM 为这两种模式都绘制了一条线。如果线条是直的，说明 AI 平等地对待所有日子。如果线条向上或向下弯曲，则意味着 AI 更专注于时间线的特定部分。

3. 他们的发现（“实验”）

作者使用能源消耗数据集（ETTm2）在各种模型上测试了这一工具。以下是他们关键发现的通俗解读：

丢弃法（Dropouts，即“分心”测试）：
他们添加了“丢弃法”（随机关闭网络的部分）来观察这是否有帮助。他们发现，对于复杂的多变量任务，添加丢弃法会使 AI 工作得更努力（梯度幅度更高），尤其是在长期预测方面。这就像告诉学生每隔几分钟休息一下；令人惊讶的是，这反而让他们更专注地对待长期作业。
批量大小（Batch Size，即“班级规模”效应）：
他们改变了 AI 一次学习的数据点数量（批量大小）。
- 发现：当“班级规模”（批量大小）改变时，AI 的行为以一种非常可预测、平滑的方式发生变化。就好像 AI 的“努力曲线”遵循一个特定的数学配方（多项式），这取决于它一次看到多少个样本。这表明，即使最终得分看起来相同，AI 学习的方式也会因批量大小而异。
早停（Early Stopping，即“过早放弃”测试）：
他们在 AI 完全训练完成之前停止了训练。
- 发现：当训练过早停止时，AI 的“努力”显著下降。该工具显示，AI 停止尝试学习时间线的长期模式（时间线的末端），而只是满足于一个“足够好”的局部解。这就像一名学生在考试前一周停止学习，只背诵了第一章。
不同的模型家族：
他们比较了不同类型的 AI（如N-HITS、FEDformer、SpaceTime和扩散模型）。
- N-HITS：该模型显示出与其数学理论相符的特定模式：它将未来视为过去的线性组合。HAM 图证实了这种“神经近似”。
- SpaceTime：随着预测视界的延长，该模型显示出从直线向指数曲线的转变。这意味着随着预测窗口变宽，该模型自然地更加关注遥远的未来。
- 扩散模型：这些利用噪声进行学习的模型显示，它们以极高的强度处理小的时间片段，几乎像是一种持续的嗡嗡声，无论它们预测的是多远的未来。

4. 为什么这很重要

本文认为，HAM 是一个通用翻译器。

以前：你只能通过最终得分（MSE/MAE）来比较模型。
现在：你可以查看 HAM 图并说：“啊，模型 A 忽略了时间线最后 20% 的部分，而模型 B 则高度关注中间部分。”

这使得研究人员能够：

为特定任务选择合适的模型（例如，如果你需要预测遥远的未来，就选择 HAM 曲线显示其关注长期部分的模型）。
选择更好的数据划分（决定哪些数据用于训练，哪些用于测试），通过观察 AI 对不同数据块的反应。
理解“优化景观”：他们可以看到 AI 是陷入了“局部低谷”（平庸的解决方案），还是正在攀登正确的山峰。

总结

本文介绍了HAM，这是一种可视化工具，如同时间序列 AI 的 X 光机。它不再仅仅查看最终成绩，而是向你展示 AI 在整个时间线上在哪里以及多么努力地工作。它揭示了不同的 AI 家族在学习方式上具有独特的“个性”，而这一工具有助于我们清晰地看到这些差异，无论模型的内部架构如何。

标题：时间序列预测中神经网络的视界激活映射

问题陈述
用于时间序列预测的神经网络模型已取得显著的性能提升，特别是在长视界任务中。然而，该领域缺乏一个与特定层类型或模型家族无关的、用于模型选择和可解释性的统一框架。现有的可解释性方法（如 Grad-CAM）专为计算机视觉设计，依赖于空间注意力图，无法直接转化为多变量预测的时空特性。此外，尽管存在各种模型家族（例如基于 MLP 的、自注意力机制的、基于 SSM 的、扩散模型），但目前尚无大规模监督数据集或分析框架能够比较不同架构内部的学习动态和梯度活动。当前的模型选择通常依赖于误差指标（MSE、MAE），这些指标在不同家族间可能相似，从而掩盖了底层的优化景观和学习策略。

方法论：视界激活映射 (HAM)
作者引入了视界激活映射 (HAM)，这是一种受 Grad-CAM 启发但专为时间序列预测调整的视觉可解释性技术。HAM 通过分析预测视界内子序列的梯度更新幅度来识别模型特性。

因果与反因果模式：对于大小为 $H$ $H$ 的视界，HAM 在反向传播前通过两种掩码模式应用于损失函数，计算梯度范数的平均值：
- 因果模式 ( $c$ )：包含从时间步 0 到 $h$ 的子序列。
- 反因果模式 ( $a$ )：包含从时间步 $h$ 到 $H$ 的子序列。
梯度范数平均值：该框架计算针对模型参数 $\theta$ 的上述掩码子序列的平均梯度范数。
可视化：
- HAM 图：展示相对于时间步的梯度范数平均值，并与代表梯度范数均匀分布的“比例线”进行对比。
- 差异图：显示因果与反因果梯度平均值之间的差异，缩放至 $[-1, 1]$ 范围，以突出视界内学习的不均衡性。
- 插值面积图：将每个模型的最大面积归一化至 $[0, 1]$ 范围，以比较不同视界大小的模型。
关键指标：该框架识别梯度等变点，即前 $h$ 个时间步的梯度范数平均值等于剩余 $H-h$ 个时间步的平均值。它还计算曲线与比例线之间的有符号面积，以放大变化。

实验设置
本研究在 ETTm2 数据集（60-20-20 的训练 - 验证 - 测试划分）上评估了 HAM，使用 NVIDIA A40 GPU 训练了多种模型家族，包括：

基于 MLP 的：CycleNet, N-Linear, N-HITS。
自注意力机制：FEDformer, Pyraformer。
状态空间模型 (SSM)：SpaceTime。
扩散模型：多分辨率 DDPM。

实验涵盖了多种视界大小（ $H = \{96, 192, 336, 720\}$ ），并研究了以下因素的影响：

Dropout 比率。
批量大小。
早停（停止后的 epoch 数）。
数据集划分（训练集 vs. 验证集 vs. 测试集）。
单变量与多变量预测。
架构超参数（例如，循环队列长度、归一化策略）。

关键结果与观察

Dropout 效应：在多变量模型（特别是 N-HITS）中，添加 Dropout（0.2）使整体梯度幅度增加了 3 倍以上，特别是在视界的较长区域。
批量大小动态：
- 梯度幅度与误差指标显示出与批量大小之间复杂的相互关系。
- 在收敛模型（N-HITS, N-Linear, CycleNet）中，跨批量大小插值的梯度范数平均值表现出多项式饱和趋势，暗示每个 epoch 内跨批量大小可能存在指数近似。
- CycleNet 显示出基于批量大小的细微性能差异，反因果活动在较小批量大小（50）时增加，而因果活动在较大批量大小（100）时减少。
早停：早期停止的模型显示出降低的梯度幅度，特别是在因果模式中。早停模型的梯度等变点向 $H/2$ 移动，表明一旦模型达到局部最小值，视界较长区域的活动并未提升性能。
数据集划分：训练数据将曲线推向更接近比例线。N-HITS 中的验证集比 CycleNet 更明显地显示出“分布外”特征。
单变量与多变量：多变量预测呈现出更大的空间学习困难。在多变量子序列中移除初始时间步会将反因果曲线推向比例线以下，这种行为在单变量情况下未曾出现。
架构特异性：
- N-Linear：归一化（减去最后一个时间步的值）将误差降低了 16%，并改变了梯度幅度，在视界的前 23% 因果方向上减少，随后增加。
- CycleNet：循环队列长度影响了值的排序。最小的循环长度（64）对应最佳性能，并显示出子序列长度之间更大的幅度相互作用。
- SpaceTime：表现出指数自回归活动。其因果模式从线性（在 $H=96$ 时）转变为指数趋势（在 $H=\{192, 336, 720\}$ 时），突出了视界的较长区域。
- N-HITS：其行为与神经近似定理一致，反因果的增加支持了无限视界的假设。
- 扩散模型（多分辨率 DDPM）：与比例预期相比，显示出较小子序列具有特征性地更大的梯度范数，这表明了基于扩散的预测的一种特性。

意义与主张
本文主张 HAM 提供了一个细粒度的、与模型无关的框架，用于：

模型选择：超越简单的误差指标，比较不同神经网络家族（MLP、Attention、SSM、Diffusion）的学习策略和优化景观。
验证集选择：利用 HAM 图中的相对变异性来选择适当的验证集。
架构洞察：将 HAM 图中的特定趋势归因于理论特性，例如 N-HITS 的神经近似定理和 SpaceTime 的指数自回归性质。
泛化性：该框架适用于模型中使用的任何层类型，解决了以往方法仅限于特定架构的局限性。

作者指出，虽然 HAM 使用整体范数平均值，但分层图可以进一步阐明较短和较长子序列的学习动态。研究结论认为，HAM 是理解时间序列预测“优化景观”的工具，能够实现可解释的架构变更和跨家族比较。

1. 问题： “黑盒”预测器

2. 解决方案：HAM（时间的“热力图”）

3. 他们的发现（“实验”）

4. 为什么这很重要

总结

类似论文