技术摘要：超越模型排名：面向可预测性对齐的时间序列预测评估

1. 问题陈述

时间序列预测领域面临一个关键的评估困境：标准聚合指标（如均方误差，MSE）将模型局限性与被评估数据实例的内在难度混为一谈。当前的排行榜通常基于聚合误差的边际改进对模型进行排名，从而掩盖了误差产生的原因。一个复杂的模型可能仅仅因为测试序列规律且易于预测而显得不如基线模型；反之，一个模型也可能在一个本质上容易的数据集上显得成功。

现有的可预测性量化工具（如熵率估计器和 Lempel-Ziv 复杂度）并不适用于现代深度学习预测，原因如下：

1. 范式不匹配：它们是为符号动力学和单步分类（0–1 损失）设计的，而非针对平方误差下的多步回归。
2. 计算成本：它们通常涉及二次方到三次方的复杂度，使其在大规模、高维时间序列中难以应用。
3. 缺乏诊断洞察：它们通常只产生一个全局分数，无法揭示模型在时间、通道或频带上的具体失效位置。

本文认为，该领域需要一个诊断框架，以与预测目标一致的方式量化实例难度，从而实现分层评估，并揭示模型在何处未能充分利用可用信息。

2. 方法论

作者提出了一个基于**谱相干性（Spectral Coherence）**的诊断框架，包含两个核心组件：谱相干可预测性（SCP）和线性利用率（LUR）。

2.1 谱相干可预测性（SCP）

SCP 作为一个计算高效且与任务对齐的代理指标，用于衡量理论贝叶斯风险（内在可预测性）。它量化了针对特定实例进行预测时可利用的线性信息量。

• 机制：SCP 通过 Welch 方法在频域中运行，计算历史 $x$ 与未来 $y$ 之间的平方相干性 $\gamma^2_{xy}(f)$。
• 线性下界：它通过聚合残差谱（未解释功率）并添加均值偏移项以考虑边界均值不匹配，推导出保守的线性均方误差下界（$MSE_{lb}$）：
  $$MSE_{lb} = \Delta^2 + \sum_{f} \hat{S}_{e}(f)$$
  其中 $\hat{S}_{e}(f) = \hat{S}_{yy}(f)(1 - \gamma^2_{xy}(f))$。
• 可预测性分数：可预测性 $P_{xy}$ 定义为不确定性的归一化减少量：
  $$P_{xy} = \max\left(0, 1 - \frac{MSE_{lb}}{\widehat{Var}(y)}\right)$$
• 效率：该方法利用快速傅里叶变换（FFT）在每个样本上以 $O(N \log N)$ 的时间复杂度运行，显著快于基于匹配的复杂度估计器。

2.2 线性利用率（LUR）

虽然 SCP 衡量实例难度，但 LUR 诊断特定模型利用线性可预测结构的有效性。

• 机制：LUR 将模型预测 $\hat{y}$ 与目标 $y$ 之间的功率加权相干性，与历史 $x$ 与目标 $y$ 之间的相干性进行比较。
• 定义：
  $$LUR = \frac{P_{model}}{P_{linear}} = \frac{\sum \gamma^2_{y\hat{y}}(f) \hat{S}_{yy}(f)}{\sum \gamma^2_{yx}(f) \hat{S}_{yy}(f)}$$
• 解释：
  • $LUR < 1$：表示利用不足（模型未能捕捉历史中存在的线性相关性）。
  • $LUR \approx 1$：表示模型已达到线性信息上限。
  • $LUR > 1$：表明模型通过非线性动力学或全局归纳偏置捕捉到了额外的预测增益。
• 分层：该框架允许进行带间分析（低频/中频/高频），从而实现对模型在频谱带间行为的细粒度评估。

3. 主要贡献

1. 可预测性感知诊断框架：本文提出了一种系统方法，将模型性能与实例难度分离，解决了当前评估协议中的模糊性问题。
2. SCP 和 LUR 指标：
   • SCP：一种计算高效（$O(N \log N)$）、与任务对齐的实例难度参考指标，提供线性 MSE 下界。
   • LUR：一种频率分辨的诊断指标，量化模型利用线性结构的效率。
3. 实证验证：在合成和现实世界基准（ETTh1/2, ETTm1/2, ECL, Weather, Traffic, ILI）上的广泛实验表明，SCP 校准良好，且与各种最先进（SOTA）模型的实际预测误差高度相关。

4. 实验结果

• 校准：在合成设置中，SCP 随信噪比（SNR）单调增加，且 $MSE_{lb}$ 紧密跟踪最优线性预测器的误差。在现实世界数据集上，SCP 与跨模型的归一化均方误差（NMSE）显示出强烈的负相关（Pearson $R \ge 0.8$）。
• 可预测性漂移：分析揭示任务难度并非静态。“可预测性漂移”现象表明，可利用的信息量随时间推移和变量不同而显著波动。聚合测试集统计量可能具有误导性，因为它们平均了这些变化的难度机制。
• 分层评估：
  • 频带：线性模型（如 DLinear）通常在高频带中表现出更高的 LUR，而基于 Transformer 的模型（如 iTransformer, PatchTST）则在低频、高能量带中表现优异。
  • 难度机制：非线性模型往往在低可预测性（困难）机制中优于线性基线，而线性模型在高可预测性（容易）机制中极具竞争力。
• 鲁棒性：该框架在不同 Welch 参数（窗口长度、重叠）和历史窗口长度下保持稳定。它还可扩展到多变量设置和非线性特征空间（通过核映射）。

5. 意义与主张

本文倡导从“排行榜式排名”向“可预测性感知诊断”的范式转变。作者主张：

• 更公平的比较：通过基于实例难度（SCP）对评估进行分层，研究人员可以发现聚合分数所掩盖的互补架构优势。
• 可操作的洞察：该框架识别了具体的失效模式（例如，线性信号利用不足与无法建模非线性漂移），从而指导开发更鲁棒的预测模型。
• 效率：所提出的指标提供了一种严谨且低成本的替代方案，以取代复杂的基于熵的方法，使得大规模基准测试中的实例级难度评估成为可能。

作者总结道，从简单的误差最小化转向理解数据实例的可预测性，对于科学迭代和理解时间序列预测模型的真实能力至关重要。