End-to-end probabilistic hierarchical forecasting of large hierarchies via probabilistic top-down
本文介绍了 e2eTD，这是一种用于生成大规模层级时间序列连贯概率预测的快速且可扩展的方法，该方法通过直接预测一小部分聚合序列，并利用一种新颖的概率自顶向下采样算法将其传播至底层，在保持极低计算成本的同时，在主要零售数据集上实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是某大型连锁超市的经理。你需要每天为每一家门店订购多少牛奶、面包和谷物类产品。
这是一个数字噩梦。你拥有成千上万种产品（SKU）和数百家门店。如果你试图为每一个单独的商品在每一家店的销售进行预测，数据会变得非常混乱。有些天某个特定商品卖了100件，而另一些天可能一件也没卖。这就像是在试图预测暴雨中每一颗雨滴的确切路径——太嘈杂、太具有“间歇性”，而且极难做准。
然而，如果你从宏观角度来看——比如看全国范围内的牛奶总销量——这个数字就会变得平滑且容易预测。这就像是从太空观察风暴：即使无法追踪每一滴雨水，也能看到整体的模式。
问题所在：“冲突地图”的困境
零售商通常尝试用两种方法来解决这个问题，但两者都有缺陷：
- “自下而上”（Bottom-Up）的方法： 先预测每一个单品，然后再将它们相加。这种方法速度慢、成本高，而且由于单个单品的数据非常混乱，最终的总数往往是错误的。
- “自上而下”（Top-Down）的方法： 先预测宏观总量，然后再猜测如何拆分。这种方法很快，但其“拆分”过程通常依赖于僵化的旧规则，无法考虑到不确定性。
结果就是，你会得到一个计划：全国的总量显示是“100万件”，但所有门店计划的总和却是“90万件”。这就是一个一致性问题（Coherence Problem）。这就像是一张地图，上面显示纽约到波士顿的距离是200英里，但纽约到费城加上费城到波士顿的距离却是300英里。你无法用一张破碎的地图做出明智的商业决策。
解决方案：e2eTD（“聪明的中间人”）
论文介绍了一种名为 e2eTD 的新方法。你可以把它看作是一个聪明的、概率性的中间人，它架起了平滑的宏观图景与混乱的微观细节之间的桥梁。
它是这样运作的，步骤如下：
- 选取“容易”的目标： e2eTD 不去预测那些混乱的单个商品（底层），它只预测极其有限且易于处理的“平滑”中间层（仅占数据的约0.3%）。这就像一位气象预报员，他只预测整体的风暴前线，而不是每一滴雨水。
- 制定“集团计划”： 它为这些平滑层创建一个概率性预测。这意味着它不仅仅是说“我们将卖出1,000件”；它还会说“我们有90%的把握销量会在900到1,100件之间”。
- “智能拆分”（概率性自上而下）： 这是该论文的核心秘诀。通常，当你把一个大数字拆分到小数字时，你会使用固定的比例（例如，“A店始终占10%”）。e2eTD 则要聪明得多。它会观察历史数据并表示：“当总量为1,000时，A店通常占9%到11%，B店占剩余部分，且它们倾向于同步变动。”
- 它使用了一种叫做 Copula 的数学工具（可以将其视为将各门店之间的关系“粘合”在一起的胶水）来模拟成千上万种可能的场景。
- 它将大额预测随机拆分为小块，但会遵循历史记录中门店之间的“舞蹈步调”。如果A店在B店下降时通常会激增，那么模拟过程也会识别这一点。
- “校验”（协调）： 最后，它将所有的小块重新求和。因为它始于一个具有一致性的宏观数字，并进行了精细的拆分，所以这些小块会自动加总成那个宏观数字。不存在冲突，也没有破碎的地图。
为什么这很重要？
- 速度： 论文声称这种方法速度极快。在一台标准笔记本电脑上，它可以在大约20分钟内处理包含30万个时间序列的数据集（如 Favorita 数据集）。其他试图通过复杂神经网络实现此类功能的方法可能需要超级计算机或耗费数小时。
- 准确性： 在使用真实世界数据（M5 和 Favorita 数据集）进行测试时，e2eTD 击败了几乎所有其他方法。如果这种方法参加过著名的 M5 预测竞赛，它的排名将位列 892 支参赛队伍中的第 11 名。
- 风险管理： 由于它能生成“概率性”预测（即范围的可能性），零售商可以做出更安全的决策。他们可以说：“我们需要足够的库存来覆盖 95% 的最坏情况场景”，而不是仅仅猜测平均值。
总结
e2eTD 是一种为大规模零售连锁店预测需求的高效、快速的方法。它通过专注于平滑且可预测的总量，避开了预测每一个单品的混乱局面。然后，它利用一种基于历史记录的聪明“拆分”算法，将这些总量分配到各个单品，确保小数字的总和始终完美等于大数字。这就像是通过先打好完美的根基，再仔细放置每一块砖头，而不是试图猜测每块砖的位置并祈祷屋顶能严丝合缝。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。