Reconciling Bayesian and frequentist approaches to robustness against outliers

技术摘要：调和贝叶斯与频率派在鲁棒性（抗离群值）方面的差异

问题陈述
本文探讨了经典贝叶斯方法与频率派方法在回归分析中针对离群值（outliers）的鲁棒性处理上存在的根本性脱节。虽然两种范式都旨在限制离群值的影响，但它们在对模型适当性（propriety）的要求上存在分歧。

• 频率派方法： 依赖于 M-估计量（M-estimators），通过修改对数似然函数（或其导数）来降低离群值的权重。至关重要的一点是，频率派并不要求修改后的损失函数必须对应一个恰当的概率密度函数（PDF）。一个著名的例子是 Tukey 双权重（biweight）M-估计量，其损失函数在超过某个阈值后变为常数，从而产生了一个不恰当（improper）的分布。
• 贝叶斯方法： 传统上要求似然函数必须源自一个恰当的模型。为了实现鲁棒性，贝叶斯主义者使用重尾分布（如 Student's $t$ 分布、Log-Pareto-tailed Normal 或 LPTN）来替换轻尾分布（如正态分布）。然而，传统的贝叶斯方法无法利用像 Tukey 双权重这样的不恰当模型。

这种限制使得贝叶斯从业者的工具箱相比频率派受到了局限。作者证明，在现实场景中，这种局限会导致显著不同的估计结果，特别是在离群值污染严重的情况下。在这种情况下，传统的贝叶斯方法（即使是使用像 LPTN 这样超重尾的模型）受离群值的影响仍然比频率派的 M-估计量更大。

方法论
本文通过采用广义贝叶斯框架（Bissiri 等人，2016）提出了一个调和方案，该框架允许使用不恰当模型，只要使用恰当的先验分布来确保得到一个恰当的广义后验分布。

1. 广义后验构建：
   作者将此框架应用于 Tukey 双权重损失函数。他们定义了一个针对回归系数 $\beta$（其中尺度参数 $\hat{\sigma}$ 通过鲁棒 M-估计量估算）的广义后验密度：
   $$\pi(\beta | y) \propto \exp\left(-w \sum_{i=1}^n \rho\left(\frac{y_i - x_i^T \beta}{\hat{\sigma}}\right)\right) \pi(\beta)$$
   其中 $\rho = -\log g$ 对应于 Tukey 双权重损失，$\pi(\beta)$ 是一个恰当的先验，而 $w > 0$ 是为校准引入的调节参数（tempering parameter）。

2. 理论分析：
   论文对 Tukey 双权重 M-估计量的广义贝叶斯对应物进行了广泛的理论研究，包括：

   • 鲁棒性特征： 在离群值远离数据主体（bulk）的渐近框架下，作者证明了只要尺度估计量也是鲁棒的，广义后验分布将收敛到仅基于非离群数据的分布（全鲁棒性/whole robustness）。
   • 强一致性： 广义后验分布随着样本量 $n \to \infty$ 聚集在真实的参数值周围。
   • Bernstein–von Mises (BvM) 结果： 作者建立了 BvM 定理，表明广义后验分布在渐近意义上表现为以一致估计量为中心的正态分布。这一结果对于校准调节参数 $w$ 以确保有意义的不确定性量化（例如具有正确频率派覆盖率的置信区间）至关重要。

3. 不确定性校准：
   为了确保广义后验提供有意义的不确定性量化，作者建议设置调节参数 $w = E[\rho''(\epsilon)]^{-1}$，假设数据主体遵循标准正态分布。这使得广义后验的渐近协方差与标准贝叶斯线性回归的协方差保持一致。

关键结果与实证证据
论文通过两个真实数据案例验证了其理论主张：

1. 冲击数据集（简单线性回归）：

   • 观察结果： Tukey 双权重 M-估计量（频率派）与广义贝叶斯对应物产生了几乎相同的回归线，并有效地忽略了离群值。
   • 对比： 传统的贝叶斯模型（Student's $t$ 和 LPTN）产生的估计受离群值影响显著，导致回归线出现偏差。即使是 LPTN 模型（在理论上是“全鲁棒”的），在有限样本下，离群值的有限样本影响与双权重估计量相比仍然很明显。
   • 解决： 广义贝叶斯方法产生的结果与频率派 M-估计量的结果无法区分。

2. 准备金评估（保险理赔三角模型）：

   • 观察结果： 在一个包含 20 个参数的复杂线性回归中，Tukey 双权重 M-估计量与传统贝叶斯 LPTN 估计之间的差异显著（系数绝对差之和为 0.79）。
   • 对比： 传统的贝兮估计受离群值影响更大，导致对未来赔付的预测不同。
   • 解决： 广义贝叶斯方法再次与频率派 M-估计量保持一致，有效地排除了识别出的离群值，并与频率派从业者的结果相匹配。

意义与贡献
本文声称具有以下贡献：

• 识别了根本性的差距： 它强调了传统贝叶斯分析中对恰当模型的要求，阻碍了获取强大的鲁棒工具（如 Tukey 双权重 M-估计量）的使用，从而导致了“冲突解决”的失败——即贝叶斯估计量仍对离群值敏感。
• 通过广义贝叶斯实现调和： 它证明了通过采用广义贝叶斯框架，贝叶斯从业者可以获得全套频率派鲁棒工具，从而实现两种方法的完全调和。
• 为不恰当模型提供理论基础： 它提供了针对流行不恰当鲁棒估计量的广义贝叶斯对应物的首次广泛理论研究（包括鲁棒性特征、强一致性和 BvM 结果）。
• 实际校准： 它通过 BvM 结果提供了一种原则性的方法来校准广义后验，以进行有意义的不确定性量化，解决了广义贝叶斯推断中的一个常见挑战。

作者总结道，虽然研究重点在于线性回归，但关于模型适当性及其后果的根本差异很可能延伸到更广泛的模型背景中。本文并非声称解决了所有鲁棒性问题，而是专门针对通过在广义框架内接受不恰当模型，来实现经典频率派鲁棒方法与贝叶斯推断的调和。