Predictively Oriented Posteriors

技术摘要：预测导向型后验分布 (Predictively Oriented Posteriors)

问题陈述
本文探讨了现代贝叶斯统计学中的一个根本性矛盾：参数推断的传统目标与预测的实际必要性之间的冲突。经典的贝叶斯推断及其泛化方法（例如 Gibbs 后验、Martingale 后验）优先考虑量化关于模型参数 $\theta$ 的不确定性。随着数据的积累，这些方法通常表现出后验集中 (posterior concentration)，即坍缩到单个“最拟合”的参数值 $\theta$ 上。当模型是适定的（即真实数据生成分布 $P_0$ 位于模型类 $\mathcal{M}_\Theta$ 之内）时，这种行为是优化的；但在模型误设 (model misspecification) 的情况下，这种行为是有害的。

在误设场景下，将分布集中在单个参数上会迫使预测分布依赖于一个无法完全解释 $P_0$ 的单一模型。这导致预测分布类似于插件估计量 (plug-in estimators)，未能捕捉到由于模型结构无法表示 $P_0$ 而产生的不可约不确定性。因此，即使样本量增加，这些方法也往往会产生过度自信的预测，并在下游任务中提供糟糕的不确定性量化。

方法论：预测导向 (PrO) 后验分布
作者提出了一种新的统计原则，其中预测是主要的推断目标，而参数不确定性则是参数对预测准确性影响的结果。这引出了预测导向 (PrO) 后验分布。

与标准贝叶斯推断（旨在最小化参数 $\theta$ 的期望损失或单个模型 $P_\theta$ 的平均得分）不同，PrO 后验最小化的是平均预测分布 $P_Q = \int P_\theta dQ(\theta)$ 的得分。形式上，对于适当的评分规则 $S$ 和学习率 $\lambda_n$，PrO 后验 $Q_n$ 是如下变分优化问题的解：

$$Q_n = \arg\min_{Q \in \mathcal{P}(\Theta)} \left( \frac{\lambda_n}{n} \sum_{i=1}^n S(P_Q, x_i) + \text{KL}(Q \parallel \Pi) \right)$$

其中 $\Pi$ 是先验。该公式的目标是寻找最佳拟合的预测分布，而非最佳拟合的参数。

与其他相关方法的关键区别：

• 与 Gibbs 后验对比： Gibbs 后验最小化单个模型的平均得分 ($\int S(P_\theta, x) dQ(\theta)$)，实际上是在寻求最佳的单个参数。而 PrO 后验最小化混合模型的得分 ($S(\int P_\theta dQ, x)$)，允许后验表示一个非退化的模型混合体，如果该混合体能带来更好的预测效果。
• 与 PAC-Bayes/VI 对比： PrO 后验并不受限于参数化变分族；它寻求的是整个 $\Theta$ 概率测度空间上的最优测度。
• 与 NPMLE 对比： 虽然在丢弃先验时与非参数最大似然估计 (NPMLE) 相关，但 PrO 保留了先验正则化，以确保概率性的不确定性量化，并避免了无正则化 NPMLE 的可识别性问题。

计算
为了计算 PrO 后验，作者提出了一种基于均值场朗之万动力学 (Mean Field Langevin Dynamics) 的采样算法。他们将优化目标重新表述为概率测度上的泛函，并利用 Wasserstein 梯度流 (WGF)。这导致了一个由随机微分方程 (SDE) 控制的相互作用粒子系统，通过对该系统进行离散化来近似后验分布。

核心理论结果
本文确立了 PrO 后验如何适应不同层级的模型误设，将其分为三个阶段：

1. 适定情况 ($P_0 \in \mathcal{M}_\Theta$)： PrO 后验的行为与经典贝叶斯和 Gibbs 后验相似，以标准速率向真实参数集中。
2. 凸恢复 (Convex Recovery，误设的一种特例)： 如果真实分布 $P_0$ 可以表示为模型类 $\mathcal{M}_\Theta$ 中模型的凸组合（即 $P_0 = P_{Q^*}$，对于某个 $Q^*$ 成立），则 PrO 后验会向最优混合测度 $Q^*$ 集中。相比之下，Gibbs 后验会坍缩到使到 $P_0$ 的散度最小化的单个参数 $\theta^*$，从而无法恢复真实的生成过程。
3. 非平凡误设 (Non-Trivial Misspecification)： 当 $P_0$ 无法通过模型类的任何凸组合来恢复时，PrO 后验会稳定为一个非退化的、预测最优的后验分布。它不会坍缩为点质量，而是维持一个代表由于模型局限性而产生的“不可约不确定性”的分布。

主要定理：

• 定理 1： 确立了在非平凡误设下，PrO 后验在预测性能（通过散度 $D_S$ 衡量）方面严格优于 Gibbs 后验。在适定和凸恢复设置下，它们达到了相当或更优的收敛速率。
• 推论 1 & 2： 证明了 PrO 后验收敛于一个明确的目标（预测最优的模型平均），并提供了预测校准 (predictive calibration) 保证。具体而言，在凸恢复条件下，其预测区间是渐近有效的，而标准的贝叶斯后验在误设情况下无法提供校准的预测。

实证结果
作者通过数值示例验证了其理论：

• 高斯位置模型与线性回归： 展示了在误设（例如重尾噪声或随机系数）下，PrO 后验能保持合理的预测分布并捕捉多峰参数不确定性，而 Gibbs 后验则会坍缩为过度自信的点估计。
• 高尔夫推杆数据： 在逻辑回归设置中，PrO 后验识别出了数据中的双峰结构（暗示存在两个高尔夫选手子群体），而标准贝叶斯和 Martingale 后验忽略了这一点，从而实现了更细致的模型批判以及对长距离推杆更好的预测区间。
• 波士顿房价 (空间数据)： 尽管存在独立数据的理论假设，PrO 后验仍成功捕捉到了空间相关的房价数据中的双峰结构，在预测似然方面优于 Gibbs 后验。
• 光度红移 (天文学)： 在具有高度偏斜数据的规模化回归任务中，与贝叶斯后验相比，PrO 后验在尾部提供了更优的覆盖率，而贝叶斯后验则表现出系统性的过度自信。

意义与主张
本文声称，PrO 后验提供了一个用于预测导向型不确定性量化的数学严谨框架。其主要意义在于其能够：

1. 适应误设： 当模型不完善时，自动提供不可约不确定性（非退化后验），而不是错误地集中在单个“最佳”参数上。
2. 预测优势： 在有限样本下，特别是在模型误设时，在预测方面优于经典及广义贝叶斯方法。
3. 校准性： 只要真实的数据生成过程可以通过模型平均来恢复，就能确保预测区间是渐近有效的，而这一性质在误设情况下是标准贝叶斯方法所缺乏的。

作者承认，计算挑战仍然存在，特别是对于高维问题，且评分规则的选择可能会在特定的非平凡误设场景中产生定性的影响。然而，他们认为 Pr o 后验代表了应用科学家的一种必要转变，即优先考虑预测准确性和诚实的不确定性量化，而非严格的参数推断。