📊 statistics

Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

本文通过在 PyMC 中对 Facebook Prophet 进行完整的重新实现，旨在克服其默认推断方法的局限性，从而能够在时间序列预测问题上对包括 MCMS、MAP 和变分推断在内的多种贝叶斯技术进行详细比较。

原作者： Jovan Krajevski, Biljana Tojtovska Ribarski

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Jovan Krajevski, Biljana Tojtovska Ribarski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：试图预测未来

想象一下，你正试图预测明天会有多少人访问某个特定的维基百科页面。你有一个名为 Facebook Prophet 的工具，它非常擅长做这件事。它通过观察过去的数据，并将问题分解为三个部分来尝试预测未来：

趋势 (The Trend)： 该页面的受欢迎程度是否随时间增加？（就像一座缓缓上升的小山丘）。
季节性 (The Seasons)： 人们是在周末还是在节假日访问更多？（就像潮汐的涨落）。
噪声 (The Noise)： 数据中随机、不可预测的波动。

这篇论文的作者想要使用这个工具来测试不同的“解决”预测背后数学问题的方法。他们发现原始工具有点过于僵化，因此使用了一个名为 PyMC 的新工具包，从零开始重新构建了它。

解开谜题的三种方法

论文对比了三位试图解开未来数据之谜的“侦探”（推断方法）。你可以把它们想象成三种寻找穿越迷雾山脉最佳路线的方法。

1. “最佳猜测”侦探 (MAP Estimation)

类比： 想象你正在寻找山脉中的最高峰。这位侦探观察地图，找到了一个最高点，然后说：“答案就在这里。”
论文内容： 这种方法非常快。它会给你一个关于答案的具体数值。然而，它忽略了附近可能还有其他高耸的山峰，或者地面可能并不稳固这一事实。它告诉你答案在“哪里”，但没告诉你有多“确定”。
结果： 它速度很快且给出了不错的预测，但它没有完整地讲述关于不确定性的故事。

2. “穷举徒步者” (Full MCMC / NUTS)

类比： 这位侦探不只是挑选一个点。他们派出了一整支徒步队，走遍山脉中的每一条路径，迈出数千步来绘制出整个地形图。他们想要了解整座山的形状，而不仅仅是顶峰。
论文内容： 这是最准确的方法。它探索了“后验分布”（即所有可能答案的完整形状）。作者测试了三种类型的徒步者：
- Metropolis-Hastings (MH)： 一位采取随机、缓慢步伐的徒步者。他们迷路了，没能很好地探索整座山。
- DMZ： 一位试图模仿他人步伐的徒步者。他们同样在高效覆盖地面方面遇到了困难。
- NUTS (No-U-Turn Sampler)： 一位使用地图和指南针（梯度）进行高效行走的高级智能徒步者。这是赢家。 它能快速找到最佳路径，并完美地绘制出山脉形状，不会浪费时间。
结果： NUTS 最可靠，但它运行起来比“最佳猜测”侦探要慢。

3. “快速近似者” (Variational Inference / VI)

类比： 这位侦探不去走完全部山路，而是从直升机上俯瞰整座山，并画出一个看起来像这座山的简单、平滑的椭圆形。这是一种捷径。
论文内容： 这种方法试图将一个简单的形状（如钟形曲线）拟合到复杂的数据中。它比“穷举徒步者”快得多。
- ADVI： 画了一个简单的椭圆。它很快，但显得过于自信（椭圆太窄了）。
- FullRank ADVI： 画了一个更复杂、更拉伸的椭圆。它也很快，但显得有些过于不确定（椭圆太宽了）。
结果： 它是最快的方法，但与“穷举徒步者”相比，其答案的“形状”并不是完美的。

比赛结果

作者使用关于一位著名足球运动员的维基百科页面的数据对这些侦探进行了测试。以下是对比情况：

速度： “快速近似者” (VI) 最快。“最佳猜测” (MAP) 也非常快。“穷举徒步者” (NUTS) 较慢，但仍在可接受范围内。其他的徒步者 (MH 和 DMZ) 则非常缓慢且效率低下，甚至没能很好地完成任务。
准确度： “穷举徒步者” (NUTS) 提供了最值得信赖的未来地图。“快速近似者”很接近，但在衡量不确定性方面存在一些缺陷。“最佳猜测”对于快速获取答案很好，但错失了细节。
赢家： 对于这个特定问题，NUTS 是整体最佳选择。它不是最快的，但它是唯一一个能够成功绘制出整座山脉形状而不会迷路或做出错误猜测的方法。

新工具 (重建的 API)

作者还提到，原始的 Facebook Prophet 工具就像一份预包装好的餐食：你可以食用它，但你无法轻易改变其中的食材。
他们用 PyMC 重建了这个工具，使其变得像一套模块化的乐高积木。现在，你不再只是遵循食谱，而是可以把不同的部件（比如“线性趋势”+“年度季节性”）拼接在一起，从而构建出你想要的精确模型。这种构建模型的“直觉式”新方法让实验不同的想法变得更加容易。

总结

这篇论文本质上是一场关于如何利用特定的数学模型来最好地预测未来的竞赛。

如果你需要速度和一个单一的答案，请使用最佳猜测 (MAP)。
如果你需要一个快速的不确定性近似值，请使用快速近似者 (VI)。
如果你需要最准确、最可靠的未来及其不确定性的全景图，那么穷举徒步者 (NUTS) 是最佳选择，即使它需要多花一点时间。

作者得出结论，虽然快速方法很有吸引力，但智能且彻底的方法 (NUTS) 在他们的时序预测问题中提供了准确性和可靠性的最佳平衡。

技术摘要：通过 ADVI 探索多种贝叶斯推理技术：使用 Facebook Prophet 进行研究

问题陈述
Facebook Prophet 因其可分解的模型结构和内置的推理方法（通过 L-BFGS-B 进行最大后验概率 (MAP) 估计，以及通过 No-U-Turn Sampler (NUTS) 进行马尔可夫链蒙特卡洛 (MCMC) 采样）而在时间序列预测领域获得了广泛关注。然而，作者指出了原始实现中的两个主要局限性：

缺乏灵活性： 流式 API 设计限制了引入自定义建模组件或除默认设置之外的其他推理技术的能力。
推理约束： 全量 MCMC 采样对于快速实验而言计算成本过高，而 MAP 估计则将后验分布坍缩为单个点，丢弃了关于参数不确定性的关键信息。

为了解决这些问题，作者试图在一个特定的时间序列预测场景中，评估并比较多种贝叶斯推理技术（全量 MCMC、MAP 和变分推理）。

方法论
这项工作的核心工作是使用 PyMC（一个概率编程库）对 Facebook Prophet 模型进行完整的重新实现。

模型重构： 作者在 PyMC 框架内重建了 Prophet 模型 ( $y(t) \sim g(t) + \sum s(t; p_i, c_i) + h(t) + \epsilon(t)$ )。他们用一个模块化、直观且镜像数学符号的 API 取代了原有的流式 API。这使得用户可以分别定义组件（例如 LinearTrend、FourierSeasonality），并使用标准算术运算符（例如 model = trend * (1 + yearly + weekly)）将它们组合起来。
评估的推理技术：
- 全量 MCMC： 测试了三种算法：Metropolis-Hastings (MH)、NUTS 以及 Z-score 改良的 DEMetropolis (DMZ)。
- MAP 估计： 使用 L-BFGS-B 算法执行。
- 变分推理 (VI)： 研究了两种算法：自动微分变分推理 (ADVI) 和全秩 ADVI (FR ADVI)。
实验设置：
- 数据集： 维基百科页面 Peyton Manning 的两年每日日志页面浏览量（用于预测随后的一年）。
- 模型配置： 默认 Prophet 设置（带有 25 个变点的分段线性趋势，以及加法形式的年度和每周季节性）。
- 诊断指标： 使用 R-hat (Gelman-Rubin)、有效样本量 (ESS) 和自相关图来评估 MCMC 的收敛性；使用负证据下界 (Negative ELBO) 收敛性来评估 VI。
- 度量标准： 通过 MSE、RMSE、MAE 和 MAPE 来衡量预测性能，并同时分析执行时间和计算效率（每秒有效样本数）。

核心贡献

基于 PyMC 的 Prophet 重构： 一个灵活、模块化的框架，实现了模型定义与推理引擎的解耦，从而能够集成自定义组件和多样化的推理算法。
对比分析： 在标准的时序问题上，对 MAP、全量 MCMC (MH, DMZ, NUTS) 和 VI (ADVI, FR ADVI) 进行了详细的实证比较，分析了统计质量和计算效率。
诊断见解： 本文提供了关于不同采样器在 Prophet 模型结构上收敛行为的具体诊断发现，强调了标准 MH 和 DMZ 与 NUTS 相比，在收敛方面表现较差。

结果

MCMC 收敛性：
- NUTS 是唯一能够高效实现收敛的 MCMC 算法（R-hat < 1.01, ESS > 400），仅需 550 个样本即可收敛。它展示了优于 MH 和 DMZ 的有效采样率（169.69 个样本/秒）。
- MH 和 DMZ 即使在 1,000,000 个样本后仍未能收敛。MH 显示出高自相关性，而 DMZ 产生了较低的 ESS 值，表明其对后验分布的探索效率低下。
- 尽管未实现收敛，但 DMZ 在 MCMC 方法中意外地产生了最佳的预测指标，但这归因于特定点估计的性质，而非可靠的后验近似。
变分推理 (VI)：
- ADVI 和 FR ADVI 均在约 80,000 次迭代后收敛。
- ADVI 在 VI 方法中产生了质量最高的预测，但低估了后验不确定性（过度自信）。
- FR ADVI 高估了后验不确定性（缺乏确定性），且预测指标表现较差。
- VI 方法比 MCMC 方法快得多（约 18–23 秒），尽管它们无法达到 NUTS 的后验保真度。
MAP 估计：
- MAP 提供了高质量的预测，且执行时间最快。
- 作者指出，MAP 等同于带有正则化的极大似然估计 (MLE)（对于 Laplace 先验使用 L1，对于 Normal 先验使用 L2）。
后验近似：
- 斜率参数的直方图显示，NUTS 提供了一个稳健的后验分布。
- 相较于 NUTS 的地面真值（Ground Truth），ADVI 表现为“过度自信”（分布较窄），而 FR ADVI 则表现为“缺乏信心”（分布较宽）。

意义与结论
本文得出结论，不存在普适的最优推理方法；选择取决于计算成本与对准确不确定性量化需求之间的权衡。

NUTS 被确定为针对该特定问题的最佳选择，它在收敛可靠性和合理的收敛时间之间取得了平衡，尽管其速度慢于 VI。
MAP 适用于那些捕捉完整后验形状不如速度和点估计准确性重要的场景。
VI（特别是 ADVI）在计算资源受限时提供了一种可行的替代方案，它能以显著降低的执行时间提供与 MCMC 相当的预测指标，尽管它在准确捕捉后验不确定性方面存在局限。

作者强调，虽然 VI 更快，但 ADVI 和 FR ADVI 分别出现的过度估计和低估不确定性的问题仍需进一步研究。未来的工作将侧重于通过 JAX/NumPyro 进行 GPU 加速，以提高似然计算的速度，尽管作者也指出，MCMC 的顺序特性限制了其相对于更易于并行化的 VI 方法的并行化收益。