技术摘要：用于多元时间序列预测的跨变量损失（Cross-Variable Loss）

1. 问题定义与动机

多元时间序列预测（Multivariate Time Series Forecasting, MTSF）旨在预测多个相互关联变量的未来数值。尽管近期的研究进展主要集中在建模输入侧通道依赖性（从历史特征中提取表示），但本文指出，输出侧依赖性（即未来预测值之间的内在相关性）在很大程度上被忽视了。

目前主流的方法主要遵循直接预测（Direct Forecasting, DF）范式。在这种范式下，模型学习一个映射 $f_\theta: \mathbb{R}^{H \times D} \to \mathbb{R}^{T \times D}$，以同时生成 $D$ 个变量的 $T$ 步预测。然而，标准的 DF 训练依赖于逐点损失函数（例如均方误差，MSE），这类函数将每个时间步和每个变量条目视为独立的标量预测。

作者识别了这种方法的一个关键局限性：

1. 物理失配（Physical Mismatch）： 现实世界的多元系统（如金融市场、交通网络）表现出共享的系统动力学特征，即变量共同演化。盲目地解耦未来预测违反了这些物理定律，可能导致预测结果在数值上虽然点对点准确，但在结构上却存在矛盾（例如，违反了市场规则或物理约束）。
2. 目标差距（The Objective Gap）： 从概率角度来看，标准的逐点 MSE 优化假设预测残差遵循完全独立、各向同性的高斯分布（对角协方差矩阵）。然而，由于跨变量和滞后依赖的存在，残差的真实时空协方差矩阵包含显著的非零非对角元素。这导致标准损失函数与数据真实的联合分布之间存在理论上的“目标差距”（$\Delta \neq 0$）。因此，最小化逐点 MSE 无法捕捉原始数据的联合几何拓扑结构。

2. 方法论：跨变量损失（Cross-Variable Loss, CvLoss）

为了解决目标差距，作者提出了跨变量损失（CvLoss），这是一种插件式的结构正则化项，通过显式约束跨变量预测残差的一致性来发挥作用。

2.1 理论基础

作者使用图结构视角对问题进行了形式化定义。他们定义了预测误差向量 $e$，并假设真实的残差遵循具有结构化精度矩阵 $\Sigma_{ST}^{-1}$ 的多元高斯分布，该矩阵包含非零的非对角元素。

• 命题 3.2 阐明，最小化具有结构化精度矩阵的高斯负对数似然，等价于最小化标准 MSE 加上一个基于跨变量图的平方图全变分（Graph Total Variation, TV）惩罚项。
• 虽然理论建议使用 $\ell_2$（平方）惩罚，但作者在经验上选择了 $\ell_1$ 范数作为惩罚项。这一选择的动机在于：$\ell_1$ 范数对局部异常值或可能主导平方惩罚的特定变量冲击不那么敏感，同时仍能促进图层级的残差一致性。

2.2 损失函数公式化

CvLoss 作用于补丁节点（Patch Nodes）。预测长度 $T$ 被划分为 $P$ 个长度为 $L$ 的非重叠补丁。每个节点 $v$ 代表特定变量的一个补丁。

• 图构建： 构建一个连接变量的跨变量图。作者定义了三种边类型：
  1. 同步边（Synchronous edges）： 连接相同时间步的变量（捕捉并发交互）。
  2. 异步边（Asynchronous edges）： 连接不同时间步的变量（捕捉滞后传播）。
  3. 全连接边（Fully connected edges）： 默认设置，包含同步和异步交互，以在没有领域先验的情况下实现最大覆盖。
• 损失计算： 对于图中的每条边 $(i, j)$，损失函数会对预测值与地面真值之间的结构差异进行惩罚。
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| (\hat{z}_i - \hat{z}_j) - (z_i - z_j) \|_1$$
  利用节点级残差 $e_i = \hat{z}_i - z_i$，该式可简化为跨图的残差全变分：
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| e_i - e_j \|_1 = \frac{1}{|E| \times L} \| \tilde{A} \text{vec}(E) \|_1$$
  其中 $\tilde{A}$ 是图的提升关联矩阵（Lifted Incidence Matrix）。

2.3 训练目标

最终的训练目标结合了标准的逐点 DF 损失（$L_{df}$）与结构正则化项（$L_{cv}$）：
$$L_\alpha = (1 - \alpha) \cdot L_{df} + \alpha \cdot L_{cv}$$
其中 $\alpha \in (0, 1)$ 是在验证集上调优的固定超参数。至关重要的是，CvLoss 是**模型无关（Model-agnostic）且即插即用（Plug-and-play）**的，它可以无缝集成到各种骨干网络（如 Transformer、MLP 等）中，且无需改变推理过程。

3. 主要贡献

1. 识别了目标差距： 本文证明了标准的逐点学习目标忽略了未来预测之间固有的通道间误差依赖关系，从而导致与现实世界时空相关性的理论失配。
2. 提出 CvLoss： 一种新型结构正则化项，通过跨变量图上的残差一致性公式，显式约束通道间关系。它同时促进了同步和异步交互的一致性。
3. 实验验证： 广泛的实验表明，CvLoss 在多种数据集（ETT, ECL, Traffic, Weather, PEMS）和架构（iTransformer, TimeFilter, TQNet 等）上一致地提升了最先进（SOTA）模型的性能，并实现了卓越的预测表现，且计算开销极小。

4. 实验结果

作者在 12 个标准基准测试集上使用各种骨干网络评估了 CvLoss。主要发现包括：

• 性能增益： 加入 CvLoss 后，预测误差（MSE 和 MAE）一致下降。例如，在 Traffic 数据集上，MAE 下降了 0.014。在 114 次受骨干网络控制的对比实验中，CvLoss 在 111 例中提升了结果，2 例持平，1 例下降，平均相对误差降低了 3.39% (MSE) 和 3.61% (MAE)。
• 结构恢复： 跨变量相关矩阵的可视化显示，使用 CvLoss 训练的模型比基线模型能更好地恢复真实的关联结构。在 ECL 数据集上，与纯 iTransformer 基线相比，CvLoss 在 84.83% 的跨变量条目上改善了结构误差。
• 与其他目标的比较： CvLoss 的表现优于包括形状对齐损失（Soft-DTW）、似然最大化（QDF, Time-o1）和分布平衡方法在内的 11 种其他学习目标。
• 消融研究：
  • 拓扑结构： 全连接图（结合了同步和异步边）取得了最佳性能，证实了建模这两类交互的必要性。
  • 超参数： 该方法对 $\alpha$ 的选择具有鲁棒性，通常在 $\alpha \approx 0.5$ 附近达到最佳性能。它对补丁长度的变化也具有鲁棒性。
• 效率：
  • 推理： CvLoss 在推理阶段产生 零额外开销，因为在训练完成后它会从计算图中移除。
  • 训练： 虽然全图引入了二次复杂度 $O(P^2D^2)$，但作者证明，通过随机边采样（将每批次的边限制在 1000 条以内），可以有效地将训练时间降低到常数水平，且不会牺牲预测精度。

5. 意义与局限性

意义：
本文认为，建模未来变量的结构几何特性是提升 MTSF 性能的一个简单且有效的方向。通过将关注点从单纯的输入侧依赖转向输出侧的结构一致性，CvLoss 弥合了标准损失函数的数学假设与协同演化系统的物理现实之间的差距。它提供了一种通用、轻量化的机制，可以在不改变架构的情况下增强现有的预测模型。

局限性：

• 图构建： 默认方法使用全连接图，这在超高维系统中可能会包含无信息的交互。虽然随机采样解决了扩展性问题，但学习自适应图结构仍是一个未来的研究方向。
• 适用范围： 本工作专注于常规基准数据集上的确定性预测。尚未涉及概率预测、不规则采样以及缺失值场景的扩展。
• 理论与经验： 作者承认，虽然理论推导（命题 3.2）支持 $\ell_2$（平方）惩罚，但基于经验证据，部署的方法使用了 $\ell_1$ 范数。理论说明了需要一个关系感知的约束，但并未严格推导出所使用的特定 $\ell_1$ 形式。

总之，CvLoss 提供了一种原则性的方式来正则化多元预测，确保预测的未来变量能够按照其潜在的物理和统计依赖关系进行演化。