Hierarchical Bayes meets hierarchical forecasting: A flexible framework for level-focused forecasts

技术摘要：层级贝叶斯与层级预测的结合

问题陈述
层级预测对于复杂系统中的决策至关重要，因为在这些系统中，低层级的预测必须能够连贯地聚合到高层级（例如，区域需求之和应等于全国总量）。目前的先进方法，如最小迹（Minimum Trace, MinT）协调法，通常将其作为一种后处理步骤。它们生成独立的基准预测，然后通过协调过程来确保一致性。这种方法存在以下几点局限性：

1. 估计与一致性的分离： 一致性要求并未纳入底层的参数估计过程中，这意味着模型在训练期间无法从层级结构中学习。
2. 协方差估计的挑战： 概率协调（例如将 MinT 扩展到分布层面）需要估计预测误差的协方差矩阵，这在多步预测时计算极其困难且往往不稳定。
3. 缺乏决策导向： 现有方法通常对所有层级一视同：同，或旨在优化全局误差减少，未能考虑到在某些场景下，特定层级对决策结果更为关键，或者在某些情况下，严格的一致性不如特定层级的准确性重要。
4. 校准问题： 事后协调可能会以牺牲预测校准度为代价来强制实现一致性，即使基准模型本身设定良好，也会导致概率预测的校准效果不佳。

方法论
作者提出了一种全贝叶斯层级预测框架，该框架将信息共享、一致性约束和决策导向权重直接集成到模型的训练过程中。该方法由三个核心部分组成：

1. 贝叶斯层级先验：
   与其为每个序列独立估计参数，作者采用了层级先验结构，其中单个序列的参数 ($\theta_i$) 是从由超参数 ($\phi$) 定义的总体分布中抽取的。这促进了部分信息聚合，使得同一层级以及不同层级（父节点-子节点）之间的序列能够共享信息。这对于数据噪声大或不完整的序列特别有益，因为它们可以受到相关序列的信息启发。

2. 软一致性惩罚：
   该框架并未强制执行硬约束，而是在似然函数中引入了对不一致性的软惩罚。不一致性（即低层级序列之和与对应高层级序列之间的差异 $d_t$）被建模为高斯分布 $N(0, \sigma^2_{coh})$。

• 似然函数通过乘以该惩罚项进行调整：$p(d|\sigma^2_{coh}I_T)$。
• 参数 $\sigma_{coh}$ 控制惩罚的严格程度。较小的 $\sigma_{coh}$ 会强制执行更严密的一致性。
• 这种“软性”方法允许模型在准确性与一致性之间进行权衡，避免了在模型设定错误时出现不切实际的预测。它消除了 MinT 在多步预测中所需的复杂协方差矩阵估计问题。

3. 层级权重（幂后验）：
   为了解决不同层级在决策中重要性各异的问题，作者对特定序列或层级的似然函数应用了权重因子 $\lambda_i$。

• 通过设置 $\lambda_i > 1$，模型会优先考虑特定层级（例如全国总量或特定的旅游目的）的准确性。
• 这通过幂后验（power posterior）方法实现，实际上是提高了关注层级相对于其他层级的数据权重。
• 这使得全球模型能够在保持软一致性约束的同时，针对特定的决策结果进行优化。

完整的后验分布结合了层级先验、加权似然和一致性惩罚。

主要贡献

• 集成框架： 本文引入了一个统一的贝叶斯框架，能够同时进行参数估计、信息聚合和一致性强制执行，而非仅仅作为事后修正。
• 软一致性： 它提出了一种分布约束，对不一致性进行软惩罚，在模型拟合度与聚合约束之间提供了灵活的权衡，且无需估计多步预测的协方差矩阵。
• 决策感知聚焦： 该方法引入了一种机制，可以根据层级对决策结果的相关性进行差异化加权，从而针对感兴趣的特定层级优化层级结构。
• 诊断能力： 该方法也可作为一种诊断工具；如果模型即使在严密的惩罚下也无法实现一致性，则表明存在模型设定错误，而非仅仅是协调失败。

结果
该框架在模拟数据（设定良好且设定错误的 ARMA/ETS 模型）和真实世界的澳大利亚国内旅游数据（包含区域、区带、州和旅游目的的 5 层层级结构）上进行了评估。

• 一致性： 与独立模型相比，贝叶斯层级方法即使在未应用惩罚的情况下，也本质上降低了均值和分布的不一致性。应用软惩罚进一步显著降低了不一致性。
• 准确性（模拟数据）：
  • 在设定良好的模型中，独立贝叶斯模型表现最好，因为层级收缩会略微使估计偏离真实参数。然而，带有一致性惩罚的贝叶斯方法在概率覆盖度方面优于 MinT。
  • 在设定错误的模型中，层级方法显示出优势，特别是当对数据质量较好（如底层）的层级进行加权时。在设定错误的情况下，对顶层进行加权会恶化整体性能，这凸显了关注层级数据/模型质量的重要性。
• 准确性（澳大利亚旅游数据）：
  • 层级贝叶斯模型在大多数指标（RMSSE, ES, CRPS）上均优于独立贝叶斯模型和 MinT 协调法。
  • 层级权重： 向特定层级（如“总量”或“目的”）倾斜的模型在这些特定层级上取得了最佳表现，并且通常比未加权模型提升了相邻层级的性能。
  • 校准： MinT 协调法导致高层级出现显著的覆盖不足（校准度差）现象。所提出的贝叶斯方法保持了更好的校准度，尽管由于置信度增加，层级加权模型在关注层级表现出轻微的覆盖不足，但仍保持在可接受范围内（与 95% 的目标值偏差在 5% 以内）。
  • 设定错误检测： 模型在旅游数据上无法在极严的一致性惩罚下收敛，这表明存在模型设定错误（可能是由于 ETS 模型中未建模的协变量），展示了该框架在诊断模型局限性方面的效用。

意义与主张
本文声称其主要意义在于将层级预测从一个后处理的协调任务转变为一个集成的建模过程。通过将一致性和决策优先级嵌入到贝进制参数估计中：

1. 它改进了层级内及跨层级的信息共享，从而获得了更好的参数估计，尤其是在数据稀缺或噪声较大的场景下。
2. 它提供了对准确性与一致性之间权衡的灵活控制，允许预测者在不强制执行会导致预测质量下降的硬性一致性的前提下，优先考虑特定的决策相关层级。
3. 它避开了多步概率协调中协方差矩阵估计的计算和统计陷阱。
4. 它提供了一个诊断视角：如果软惩罚无法实现一致性，则信号表明底层模型设定错误，促使人们重新评估模型选择，而不是强行进行次优的协调。

作者总结道，虽然其方法在平衡准确性和一致性方面表现出色，但其最有效的情况是底层模型设定相对合理，或者关注的是高质量数据的层级。他们承认，在小样本量下，加权方法可能会导致一定的后验失校准，但认为其在提升特定预测性能方面的收益超过了这一成本。