📊 statistics

exdqlm: An R Package for Estimation and Analysis of Flexible Dynamic Quantile Linear Models

本文介绍了 R 程序包 `exdqlm`，该程序包利用扩展非对称拉普拉斯分布，为灵活的动态状态空间分位数模型提供贝叶斯估计与分析，并同时提供 MCMC 方法、高效的变分推理方法以及用于静态回归、预测和模型诊断的工具。

原作者： Antonio De Leon, Raquel Barata, Raquel Prado, Bruno Sansó

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Antonio De Leon, Raquel Barata, Raquel Prado, Bruno Sansó

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

不仅仅是平均值，而是整个天空的天气预报

想象一下你正在尝试预测天气。大多数传统的预测工具都痴迷于“平均”的一天。它们告诉你平均气温、平均降雨量和平均风速。但平均值可能会具有欺骗性。如果平均气温是舒适的 70°F，它可能会掩盖某些日子极度寒冷而另一些日子酷热难耐的事实。在统计学领域，这被称为“基于均值的建模”，它往往会错过那些最重要的极端情况——比如热浪、洪水和干旱——而这些正是你在计划野餐或建造大坝时最需要关注的。

为了解决这个问题，统计学家使用了一种称为**分位数回归（quantile regression）**的技术。他们不再问：“平均值是多少？”而是问：“在最热的 5% 的日子里，气温会是多少？”或者“在最干旱的 1% 的日子里，水位是多少？”这就像是在观察整个天气图，而不只是盯着房间中间的温度计。然而，当数据随时间变化时——例如股票价格、河流水平或太阳黑子周期——进行这种预测会变得极其复杂。用于处理这些“动态”情况的旧工具要么过于僵化（假设世界是完全可预测的），要么在计算机上运行速度太慢。

新型工具箱：exdqlm

于是，由加州大学圣克鲁兹分校研究团队开发的 R 语言新软件包 exdqlm 应运而生。你可以将 exdqlm 视为统计学家手中的一把高科技瑞士军刀，专门用于预测随时间变化的数据的“边缘”。它不仅仅是在猜测平均值；它构建了一个灵活的、移动的模型，可以追踪第 95 百分位数（极端高值）、第 5 百分位数（极端低值）以及两者之间的一切，并随着每一天的演变而演变。

该软件包的核心魔力在于它使用的一种描述不确定性的全新数学形状，称为扩展非对称拉普拉斯（exAL）分布。为了理解为什么这很重要，想象一下你正试图画出一条符合一堆沙子的曲线。旧工具使用了一种非常特定且僵化的形状（标准的非对称拉普拉斯分布），这种形状在处理简单的沙堆时效果良好，但在处理不对称或带有奇怪凸起的部分时却显得力不从心。exAL 分布就像是一个变形模具；它可以拉伸、挤压和扭曲，以更好地拟合现实世界数据中那种怪异、不对称的现实，同时仍能保证计算机处理的速度足够快。

论文介绍了这款软件并通几个现实世界的案例展示了它的工作原理。首先，团队研究了**休伦湖（Lake Huron）**的水位。通过为高、中、低水位拟合单独的模型，他们可以观察到湖泊的行为如何随几十年发生变化。随后，他们将这些独立的预测组合成一个单一且连贯的图景，描绘了休伦湖未来的全貌，展示了该软件如何将不同的“数据切片”缝合在一起，从而讲述一个完整的故事。

接下来，他们在太阳黑子上测试了该软件，太阳黑子是太阳表面遵循 11 年周期的暗斑。在这里，他们对比了两种版本的工具：一种使用旧的、僵化的形状（DQLM），另一种使用新的、灵活的形状（exDQLM）。结果表明，灵活的版本能更好地捕捉太阳上限处那种怪异、偏斜的行为。他们还展示了软件如何自动进行调优以找到最佳设置，就像一辆自动驾驶汽车会根据路况调整其灵敏度一样。

在第三个例子中，研究人员观察了加利福尼亚州的河流流量。他们想看看是否可以通过气候信号（如海洋温度）来预测低水位。他们测试了连接这些信号的三种不同方式：忽略它们、直接添加它们，以及使用一个考虑了海洋效应如何随时间传播的“传递函数”。软件帮助他们直观地展示了这些方法如何改变预测，显示出“传递函数”方法比简单的直接关联能更好地捕捉气候模式的延迟效应。

最后，团队进行了一次模拟实验，在实验中他们预先知道了“正确答案”。他们创建了带有隐藏模式的伪造数据，并要求软件找出这个模式。他们发现，软件的快速近似方法（称为 LDVB）速度惊人——比传统的慢速方法（MCMC）快了多达 20 倍——并且在大多数情况下都能找到正确答案。这表明对于许多问题，你不需要等待数小时才能得到结果；你可以在几分钟内得到一个非常好的答案。

该论文并未声称已经解决了统计学中的所有问题。它明确指出，该软件目前一次只能处理一个“分位数”（即一个特定的数据切片），而不是在单个巨大的模型中同时对所有切片进行建模。它也承认，虽然快速方法在速度方面表现出色，但如果你需要对极罕见的极端尾部数据保持绝对确定，那么较慢的传统方法仍然是金标准。

然而，核心结论是清晰的：exdqlm 填补了一个至关重要的空白。它架起了两座桥梁：一端是擅长处理基于时间的数据但仅关注平均值的工具，另一端是能够观察极端情况但处理时间序列过于缓慢或僵硬的工具。通过提供一种灵活、快速且用户友好的方式来对变化的数据的“边缘”进行建模，它为科学家和分析师提供了一种强大的新方法，让他们能够为不可预见的事件做好准备，无论是洪水、市场崩盘还是太阳风暴。

技术摘要：exdqlm：用于估计与分析灵活动态分位数线性模型的 R 包

问题陈述
虽然分位数回归是静态建模的标准工具，但动态分位数方法及其配套软件仍然非常有限。现有的贝叶斯方法通常依赖非对称拉普拉斯（AL）分布作为似然函数，这虽然与检查损失函数（check-loss function）相关联，但对误差分布施加了严格的假设。相反，更灵活的非参数误差模型在处理动态状态空间模型或长序列时间序列时，往往面临计算量过大的问题。此外，通用的分位数回归包（如 quantreg、bayesQR）通常将时间视为观测预测变量或滞后项，而非将系数作为潜在状态进行传播；而通用的状态空间包（如 dlm）则侧重于高斯似然，缺乏专门的分位数工作流。在广义分位数工具与需要专用贝叶斯工作流的动态分位数状态空间模型之间，存在着研究空白。

方法论
本文介绍了 exdqlm R 包，它实现了扩展动态分位数线性模型（exDQLMs）。其核心方法论组成部分包括：

扩展非对称拉普拉斯（exAL）似然： 该包利用了 exAL 分布（Yan, Zheng, and Kottas, 2025），这是标准 AL 分布的一个参数化扩展。exAL 通过涉及潜在变量（ $v_t$ 和 $s_t$ ）的混合表示保留了计算优势，同时通过偏度参数 $\gamma$ 放宽了严格的假设。观测方程定义为 $y_t = F_t^\top \theta_t + \epsilon_t$ ，其中 $\epsilon_t \sim \text{exAL}_{p_0}(0, \sigma, \gamma)$ ，状态演化遵循 $\theta_t = G_t \theta_{t-1} + \omega_t$ ，其中 $\omega_t$ 为高斯创新项。
推断算法： 该包提供了两种主要的推断引擎：
- MCMC： 一个 Gibbs 采样程序（exdqlmMCMC），用于更新潜在变量序列、动态状态（通过前向滤波-后向采样）以及尺度/偏度参数。它支持切片采样（slice sampling）和 Metropolis–Hastreys 核函数。
- 拉普拉斯–Delta 变分贝叶斯（LDVB）： 一种基于 Wang 和 Blei (2013) 非共轭变分策略的快速近似推断程序（exdqlmLDVB）。它采用均值场分解和块坐标上升法。针对非共轭的联合尺度–偏度块，该方法在转换后的坐标上使用拉普拉斯–delta 方法进行近似，从而提供确定性的收敛监测和近似不确定性汇总。
模型扩展：
- 传递函数： 该框架支持通过指数衰减率 $\lambda$ 进行传递函数状态增广，以模拟当前及滞后输入对响应分位数的影响。
- 静态回归： 该包通过将带有收缩先验（具体为 Nishimura–Suchard 正则化马蹄先验）的静态 exAL 和 AL 回归作为特例进行处理。
- 分位数合成： quantileSynthesis() 函数将分别拟合的不同分位数水平的后验预测抽样合并为一个连贯的分布，并在必要时应用单调性修正。

主要贡献
本文的主要贡献在于软件层面，提供了一个集成工作流，用于指定、拟合、诊断和预测贝叶斯动态及静态分位数分析。具体贡献包括：

一个可组合的模型构建接口，涵盖趋势、季节性、回归和传递函数组件。
协调的推断接口，支持 MCMC 和变分推断（LDVB 和 ISVB）。
一个具有标准方法（print()、summary()、plot()、predict()、diagnostics()）的 S3 对象工作流，用于拟合的模型、预测结果和诊断对象。
编译实现（通过 Rcpp），用于处理计算密集型操作（如 exAL 密度、卡尔曼递归、后验采样），并提供用于移植性的 R 后备方案。
诊断工具，包括概率积分变换（PIT）分析、用于校准的 Kullback–Leibler (KL) 散度、连续秩概率评分（CRPS）以及后验预测损失准则（PPLC）。

结果
本文通过四个案例验证了该包：

休伦湖（Lake Huron）： 展示了动态模型构建、MCMC 推断、多步预测，以及跨三个分位数水平（0.05, 0.50, 0.95）的后验预测抽样后验合成。
太阳黑子（Sunspots）： 使用 LDVB 对比了 DQLM（固定 $\gamma=0$ ）和 exDQLM（估计 $\gamma$ ）的拟合效果。它展示了用于选择折扣因子的模型诊断（PIT、KL、CRPS），并对比了 LDVB 与 MCMC 的计算效率，结果表明 LDVB 在保持竞争性预测性能的同时，速度显著更快。
大树水流（Big Tree Water Flow）： 对比了三种设定：无协变量的基准模型、直接回归模型以及传递函数模型。该示例强调了处理外部协变量和条件预测的工作流，展示了传递函数如何捕捉滞后的气候效应。
模拟稀疏基准测试： 评估了带有收缩先验的静态 exAL 回归。结果表明，虽然 MCMC 在尾部行为的后验总结方面更为精确，但 LDVB 提供了快速近似（快 7–20 倍），且在稀疏系数的信号恢复方面表现相当。

意义与范围
本文将 exdqlm 定位为填补通用分位数回归软件与高斯状态空间包之间空白的专业工具。文章明确指出，其目的并非取代广泛的通用工具包或旨在进行联合多分位数估计的包。相反，它为系数作为潜在状态进行传播的动态分位数状态空间模型提供了一个专门的贝叶斯工作流。

作者指出当前的局限性：动态模型是逐个分位数水平进行拟合的（合成在事后进行）；LDVB 提供的是近似而非精确的后验抽样（因此 MCMC 是尾部行为的参考标准）；以及传递函数的滞后率是固定的或通过网格搜索选定的，而非内部估计。提到的未来发展方向包括：多元输出模型、改进非共轭尺度–偏度块的近似方法，以及非线性动态建模。该包基于 MIT 许可证发布，并在 CRAN 上可用。

不仅仅是平均值，而是整个天空的天气预报

新型工具箱：exdqlm

类似论文