技术摘要：基于线性模型的在线预测协调

问题陈述

预测协调是一种用于确保具有层级结构的序列时间序列预测一致性的技术。这些结构施加了线性约束（例如，子区域负荷之和必须等于区域总负荷）。虽然传统的协调方法（如最优组合法）在离线设置中取得了成功，但它们通常依赖于需要对历史数据进行批处理的普通最小二乘法 (OLS) 或广义最小二乘法 (GLS)。

在实际应用中（如区域供热负荷预测），必须随着新观测值的出现定期更新预测。现有的在线和自适应层级预测方法通常依赖于特定的收缩估计量（例如，带有 Ledoit-Wolf 收缩的 MinT），但可能缺乏用于递归参数估计、不确定性量化以及在多元设置中显式建模误差相关性的统一框架。挑战在于开发一个能够支持层级时间序列在线自适应学习，同时为参数和预测提供严格不确定性量化的框架。

方法论

1. 通过图论形式化层级结构

作者将层级结构形式化为有向树 $H = (Y, E)$，其中节点代表系统状态，边定义了求和约束。

• 求和矩阵 ($S$)： 基于顶层节点（根节点）对底层节点（叶节点）的可达性进行定义。层级约束表示为 $Sy_{bot} = y_{top}$，其中 $y_{bot}$ 和 $y_{top}$ 分别是底层和顶层状态的向量。
• 协调目标： 目标是找到一个投影矩阵 $P$，使得协调后的预测 $\tilde{y}_t = S P \hat{y}_t$ 满足层级约束，其中 $\hat{y}_t$ 代表基准预测。

2. 基于矩阵正态分布的多元线性模型

所提框架的核心是将预测协调视为一个线性模型 (LM) 问题。

• 模型构建： 不同于假设残差相互独立，作者利用矩阵正态分布来处理一个多元线性模型，其中残差遵循：
  $$Y = X\theta + E, \quad E \sim MN(0, U, V)$$
  这里，$Y$ 是响应矩阵（底层基准预测误差），$X$ 是由顶层与底层基准预测之差构建的设计矩阵，$\theta$ 代表协调权重，$U$ 是行协方差（时间相关性），$V$ 是列协方差（横截面相关性）。
• 与 Møller 等人 (2024a) 的联系： 该框架建立在以下结果之上：协调可以表示为底层基准预测误差的线性模型 (LM)。这使得应用标准 LM 理论于层级预测成为可能。

3. 正则化与岭回归

参数估计被设定为一个岭回归问题，以处理共线性并确保稳定性。

• 目标函数： 作者最小化一个加权马哈拉诺比斯型范数：
  $$J(\theta) = \|X\theta - Y\|_{P,R}^2 + \|\theta - \theta_0\|_{Q,R}^2$$
  这种形式将岭回归、贝叶斯估计 (最大后验估计) 和收缩方法联系在一起。
• 收缩解释： 通过选择特定的先验分布 $\theta_0$ 和 $Q$，岭回归解可以恢复 MinT 收缩估计量。作者还探索了更简单的先验，例如 $\theta_0 = 0$，这在强正则化极限下对应于自下而上 (bottom-up) 的方法。

4. 在线设置下的递归推理

为了实现在线预测，作者借鉴了递归最小二乘法 (RLS) 推导出了递归更新方程。

• 假设： 该方法假设时间上的残差是独立的（$U$ 为对角矩阵），并使用指数加权（$P$ 是具有衰减权重 $\lambda^{t-s}$ 的对角矩阵）。
• 更新方程： 充分统计量 ($K_t, L_t, H_t$) 在每个时间步 $t$ 进行递归更新：
  $$K_{t+1} = \lambda K_t + x_{t+1}x_{t+1}^\top$$
  $$L_{t+1} = \lambda L_t + x_{t+1}y_{t+1}^\top$$
  $$H_{t+1} = \lambda^2 H_t + u_{t+1}x_{t+1}x_{t+1}^\top$$
  这使得无需重新处理整个历史记录即可实现高效的参数更新。
• 不确定性量化： 该框架提供了新观测值的预测分布，包括协调预测的协方差，这是通过矩阵正态性质推导得出的。

5. 实现

该方法在开源 Python 包 PyOnlineForecast 中实现。该实现将协调视为一种复合变换，具体步骤如下：

1. 将基准预测拆分为顶层和底层。
2. 构建设计矩阵和响应矩阵（处理时间层级中的滞后项）。
3. 应用递归岭回归来预测底层预测误差。
4. 聚合并平移预测值以产生连贯的协调预测。

核心贡献

1. 统一框架： 本文提出了一个将层级预测协调与多元线性模型统一起来的框架，利用矩阵正态分布来表征残差。
2. 在线与自适应算法： 推导了一种基于岭回归的递归推理方案，实现了对协调参数和不确定性估计的高效在线更新。
3. 图论形式化： 使用图论和传递闭包来定义层级结构并构建求和矩阵，提供了严谨的结构化定义。
4. 开源实现： 作者提供了 PyOnlineForecast 包，为实现这些方法提供了实用工具，该工具在很大程度上基于 R 语言的 onlineforecast 包。
5. 理论联系： 论文明确讨论了在层级预测背景下，岭回归、贝叶斯估计与收缩估计量 (MinT) 之间的联系。

结果：区域供热负荷预测案例研究

所提方法在涉及丹麦奥胡斯（Aarhus）三个区域的区域供热 (DH) 负荷预测案例研究中得到了验证，该案例采用了时间层级结构（小时、6 小时、12 小时和 24 小时聚合）。

• 性能提升： 与基准预测相比，预测协调在所有测试的区域、聚合层级和预测时界内均一致地提高了准确性。相对均方根误差 (RRMSE) 的降低在所有测试场景中均为正值。
• 更新频率： 研究比较了每小时更新参数（主案例）与每 24 小时更新参数（案例 1-3）的情况。
  • 每小时更新： 提供了最佳的预测性能和稳定的方差估计。
  • 每日更新： 导致方差估计不够稳定，且准确度普遍较低。作者将其归因于参数对系统变化的适应频率降低。
• 正则化效应：
  • 对于短时界，较高的正则化（将权重推向零/自下而上）提高了性能，这可能是因为短时界的基准预测已经足够准确且具有动态性。
  • 对于长时界，较低的正则化效果更好，因为协调过程有效地利用了层级结构来修正基准预测误差。
• 不确定性： 递归方案成功追踪了预测误差的方差，尽管作者指出，在当前的实现中，方差矩阵 $V$ 本身估计的不确定性并未完全传播到预测分布中。

意义与声明

本文声称其主要意义在于为通过多元线性模型在在线设置下实现预测协调提供了参考。

• 实际效用： 该框架解决了动态系统（如区域供热）中定期更新预测的实际需求，在这些系统中数据是顺序到达的。
• 灵活性： 通过将协调建模为正则化线性模型，该方法允许使用各种正则化技术（如 Lasso、Elastic Net）和超越标准 MinT 的不确定性量化方法。
• 局限性说明： 作者承认存在一些局限性，例如在递归推导中假设残差独立，以及由于重复观测在时间层级中可能产生的人工自相关。他们建议未来的工作可以探索更通用的协方差结构（如张量正态分布）和更复杂的方差估计先验。

这项工作证明了在线层级预测是可行且有益的，特别是当参数更新频繁且正则化根据预测时界和聚合层级进行调整时。