Robust Prediction Variance Estimation for Gaussian Process Regression Under Covariance Smoothness Misspecification

技术摘要：高斯过程回归中针对协方差平滑度误设的稳健预测方差估计

问题陈述
在高斯过程回归（GPR）中，最佳线性无偏预测（BLUP）及其经验对应物（EBLUP）是预测和不确定性量化的标准工具。预测方差通常通过将参数估计值（例如通过极大似然法或 REML）代入理论方差公式来估计。然而，当协方差模型发生误设时，这种“代入式”（plug-in）估计量会系统性地低估真实的均方预测误差（MSPE）。

虽然预测均值（尤其是在密集采样的情况下）对协方差误设具有鲁棒性，但预测方差则不然。具体而言，当工作协方差模型（如平方指数核）的平滑参数与真实过程（如平滑度 $\nu$ 较低的 Matérn 核）不同时，生成的拟似 EBLUP 会导致预测区间过窄，使得覆盖概率显著低于标称水平。现有的修正方法（如 Wang 和 Wall, 2003 的参数自助法）主要解决参数不确定性问题，其前提是假设参数形式的协方差是正确的。这些方法无法解释由于协方差族本身发生结构性错误而引入的误差。

方法论
本文提出了一种新的估计量 $\hat{\tau}^2_Q(x_o)$，用于估计拟似 EBLUP 的 MSPE，该估计量显式地考虑了协方差函数的不确定性，特别是平滑度误设。该方法依赖于一种连接模型化与无模型估计的**校准比率（calibration ratio）**方法：

1. 理论分解： 作者推导了在内含渐近（infill asymptotics）情形下的 MSPE 渐近行为。他们证明，在非等价高斯测度下（例如不同的平滑度参数 $\nu$），由于误设导致的超额 MSPE 会收敛到一个严格大于零的常数（$O(1)$），而不是随着样本量 $n$ 的增加而消失。这一超额误差与经典方法处理的 $O(n^{-1})$ 参数不确定性项是不同的。
2. 校准比率构建：
   • 分子（无模型）： 通过在观测输入点进行 $K$-折交叉验证获得经验 MSPE 估计值 $\hat{\tau}^2_{emp}(x_i)$。它捕捉了实现的预测误差，无论协方差模型是否正确。
   • 分母（模型化）： 来自工作模型的代入式方差估计值 $\hat{\tau}^2_{K_\theta}(x_i)$。
   • 比率： 点对点校准比率 $r_W(x_i) = \hat{\tau}^2_{emp}(x_i) / \hat{\tau}^2_{K_\theta}(x_i)$ 量化了经验表现与模型方差估计之间的乘性差距。
3. 平滑与外推： 由于交叉验证仅在观测输入点可用，因此使用高斯核在对数空间内（以保持乘性对称性）对点对点比率进行平滑，并将其外推至未观测的预测位置 $x_o$。
4. 最终估计量： 修正后的方差为 $\hat{\tau}^2_Q(x_o) = \hat{r}_W(x_o) \cdot \hat{\tau}^2_{K_\theta}(x_o)$。
5. 尾部调整： 为了应对严重的误设可能导致的预测误差分布非高斯性问题，该方法采用了基于标准化残差经验峰度的 Student-$t$ 校准，从而调整预测区间的分位数。

核心贡献

1. 渐近理论： 本文确立了在内含渐近情形下，对于非等价测度（如不匹配的平滑度），MSPE 的误设超额保持为 $O(1)$。这证明了仅针对参数不确定性的估计量（其消失速度为 $O(n^{-1})$）无法在平滑度误设下渐近恢复标称覆盖率。
2. 新估计量： 引入了一种基于校准比率的估计量，利用交叉验证来诊断并修正协方差误设。与自助法不同，该方法并不假设工作模型的族结构是正确的。
3. MSPE 场的平滑性： 作者证明了总体校准比率是输入位置的平滑函数，这证明了使用核平滑将修正值从观测点外推至未观测点的合理性。
4. 综合模拟： 通过模拟研究，在不同平滑度误设程度（$\nu = 5/2, 3/2, 1/2$）和样本量下，对比了所提估计量、代入式估计量、Wang-Wall（参数自助法）、偏差修正后的 Wang-Wall 以及纯经验（交叉验证）估计量。

结果
在正规网格和拉丁超立方设计（LHD）上进行的模拟研究得出以下发现：

• 正确设定： 在协方差模型设定正确的情况下，所提估计量 $\hat{\tau}^2_Q$ 存在轻微的过度修正（产生的区间比必要的稍宽），这归因于使用子集数据进行训练时 $K$-折交叉验证固有的偏差。
• 轻微至严重误设： 随着平滑度失配程度的增加（例如，用平方指数核拟合 Matérn $\nu=1/2$ 过程），标准估计量（$\hat{\tau}^2_{K_\theta}$、Wang-Wall）无法维持标称覆盖率，其覆盖率显著下降（例如，在严重误设下，95% 区间的覆盖率降至约 60-70%）。
• 卓越性能： 所提估计量 $\hat{\tau}^2_Q$ 在所有误设场景下均能始终保持最接近标称水平（0.95）的覆盖率。在基准 BLUP 方差较小且对平滑度误差敏感的内部预测点处，这种改进最为显著。
• 区间长度： 虽然在误设情况下 $\hat{\tau}^2_Q$ 产生的区间比代入式估计量更宽，但它避免了纯交叉验证估计量（$\hat{\tau}^2_{emp}$）出现的过度修正和区间长度高方差的问题。

意义与主张
本文声称其主要贡献在于提供了一种稳健的预测方差估计方法，当协方差平滑度被误设时（这在实际应用中是常见情况，即真实过程比假设的模型更粗糙），该方法依然有效。作者认为，虽然在完美设定的理想情况下，其方法可能会出现轻微的过度修正，但相比之下，标准方法在误设时导致的覆盖不足（under-coverage）所带来的后果要严重得多。

研究强调，由于工作模型结构本身的限制，平滑度差距（smoothness gap）产生了一个持续存在的偏差，而参数自助法无法修复这一偏差。通过利用模型化估计与无模型（交叉验证）估计之间的差异，该方法实现了对这种结构性误差的定位与修正。作者总结道，对于处理真实数据（其中真实协方差族未知）的从业者而言，这种修正后的估计量为防止过度自信且不准确的预测区间提供了必要的保障。