Robust Prediction Variance Estimation for Gaussian Process Regression Under Covariance Smoothness Misspecification

技術要約：共分散の滑らかさの誤設定下におけるガウス過程回帰のためのロバストな予測分散推定

問題の定義
ガウス過程回帰（GPR）において、最良線形不偏予測（BLUP）およびその経験的対応物であるEBLUPは、予測と不確実性定量化のための標準的なツールである。予測分散は通常、パラメータ推定値（最大尤度法やREMLなどを介して得られる）を理論的な分散公式に代入することによって推定される。しかし、この「プラグイン」推定量は、共分散モデルが誤設定されている場合、真の平均二乗予測誤差（MSPE）を系統的に過小評価する。

予測「平均」は、特にサンプリングが稠密な場合には共分散の誤設定に対してロバストであることが多いが、予測「分散」はそうではない。具体的には、作業用共分散モデル（例：二乗指数関数）の滑らかさパラメータが、真のプロセス（例：より低い滑らかさ $\nu$ を持つマテーン過程）と異なる場合、結果として得られる準EBLUPは予測区間を狭くしすぎ、公称レベルを大幅に下回る被覆確率をもたらす。既存の補正手法（Wang and Wall, 2003などのパラメトリック・ブートストラップ）は、主に共分散関数のパラメトリックな形式が正しいという仮定の下でのパラメータの不確実性に対処している。これらは、共分散ファミリー自体の構造的な誤りによって導入される誤差を考慮できていない。

手法
本論文では、共分散関数の不確実性、特に滑らかさの誤設定を明示的に考慮した、準EBLUPのMSPEのための新しい推定量 $\hat{\tau}^2_Q(x_o)$ を提案している。この手法は、モデルベースの推定とモデルフリーの推定を橋渡しする**キャリブレーション比（校正比）**アプローチに基づいている：

1. 理論的分解： 著者らは、インフィル漸近展開（infill asymptotics）の下でのMSPEの漸近的挙動を導出している。彼らは、非等価なガウス測度の下（例：異なる滑らかさパラメータ $\nu$）では、誤設定による超過MSPEは、サンプルサイズ $n$ が増加しても消失せず、正の定数（$O(1)$）へと収束することを証明している。この超過分は、古典的な手法が扱う $O(n^{-1})$ のパラメータ不確実性とは別物である。
2. キャリブレーション比の構成：
   • 分子（モデルフリー）： 実測された入力点における $K$ 分割交差検証を通じて、経験的なMSPE推定量 $\hat{\tau}^2_{emp}(x_i)$ を得る。これは、共分散モデルの正当性に関わらず、実現された予測誤差を捉える。
   • 分母（モデルベース）： 作業用モデルから導出されたプラグイン分散推定量 $\hat{\tau}^2_{K_\theta}(x_i)$。
   • 比率： 点ごとのキャリブレーション比 $r_W(x_i) = \hat{\tau}^2_{emp}(x_i) / \hat{\tau}^2_{K_\theta}(x_i)$ は、経験的なパフォーマンスとモデルの分散推定値との間の乗法的ギャップを定量化する。
3. 平滑化と外挿： 交差検証は観測された入力点でのみ利用可能であるため、点ごとの比率は（乗法的な対称性を保持するためにログ空間で）ガウスカーネルを用いて平滑化され、未観測の予測位置 $x_o$ へと外挿される。
4. 最終推定量： 補正された分散は $\hat{\tau}^2_Q(x_o) = \hat{r}_W(x_o) \cdot \hat{\tau}^2_{K_\theta}(x_o)$ である。
5. 裾の調整： 深刻な誤設定によって予測誤差分布に生じうる非ガウス性を対処するため、標準化残差の経験的な尖度に基づき、予測区間の分位数を調整するStudent-$t$型キャリブレーションを採用している。

主な貢献

1. 漸近理論： 著者らは、非等価な測度の下（例：一致しない滑らかさ）でのインフィル漸近展開において、誤設定による超過MSPEが $O(1)$ で残ることを確立した。これにより、パラメータの不確実性のみを対象とする推定量（$O(n^{-1})$ で消失するもの）では、滑らかさの誤設定下において公称被覆率を漸近的に回復できないことが証明された。
2. 新しい推定量： 共分散の誤設定を診断し補正するために、交差検証を利用するキャリブレーション比ベースの推定量を導入した。ブートストラップ法とは異なり、このアプローチは作業用モデルの構造を前提としていない。
3. MSPEフィールドの滑らかさ： 著者らは、母集団のキャリブレーション比が入力位置の滑らかな関数であることを証明し、観測点から未観測点へと補正値を外挿するためのカーネル平滑化の妥当性を正当化した。
4. 包括的なシミュレーション： 滑らかさの誤設定（$\nu = 5/2, 3/2, 1/2$）およびサンプルサイズを変えた条件下で、提案された推定量、プラグイン、Wang-Wall（パラメトリック・ブートストラップ）、バイアス補正済みWang-Wall、および純粋な経験的（交差検証）推定量を比較するシミュレーション研究を実施した。

結果
規則的なグリッドおよびラテン超方格設計（LHD）の両方で行われたシミュレーション研究から、以下の知見が得られた：

• 正しい設定： モデルが正しく設定されている場合、提案された推定量 $\hat{\tau}^2_Q$ は、プラグインやWang-Wallの推定量と比較して、わずかに過剰補正（必要以上に広い区間を生成）する傾向がある。これは、データのサブセットで訓練を行う際の $K$ 分割交差検証固有のバイアスに起因する。
• 軽度から深刻な誤設定： 滑らかさの不一致が増大するにつれ（例：マテーン $\nu=1/2$ のプロセスに対して二乗指数関数を適合させる場合）、標準的な推定量（$\hat{\tau}^2_{K_\theta}$、Wang-Wall）は公称被覆率を維持できず、深刻な誤設定下では被覆率が著しく低下する（例：95%区間に対して約60-70%まで低下）。
• 優れた性能： 提案された推定量 $\hat{\tau}^2_Q$ は、あらゆる誤設定シナリオにおいて、公称レベル（0.95）に最も近い被覆率を一貫して維持した。この改善は、ベースラインとなるBLUP分散が小さく、滑らかさの誤差に対して敏感な内部の予測点において最も顕著であった。
• 区間幅： $\hat{\tau}^2_Q$ は誤設定下においてプラグインよりも広い区間を生成するが、純粋な交差検証推定量（$\hat{\tau}^2_{emp}$）に見られるような過度な過剰補正や区間幅の高い変動を回避している。

意義と主張
本論文の主要な貢献は、共分散の滑らかさが誤設定されている場合（これは、真のプロセスが想定されたモデルよりも粗いという、実務上の一般的なシナリオである）でも効果的に機能する、予測分散推定のためのロバストな手法を提供することにあると主張している。著者らは、理想的な完全設定のケースでは、提案手法がわずかに過剰補正を行う可能性があるものの、誤設定下で発生する「過小被覆」のコストは、標準的な手法がもたらすものよりもはるかに重大であると論じている。

本研究は、共分散の「滑らかさのギャップ」が、作業用モデルの構造に依存するパラメトリック・ブートストラップでは修正できない持続的なバイアスを生み出すことを浮き彫りにしている。モデルベースの推定とモデルフリー（交差検証）の推定との乖離を利用することで、この手法は構造的な誤差を特定し、補正する。著者らは、真の共分散ファミリーが未知である実世界のデータを取り扱う実務家にとって、この補正された推定量が必要不可欠なセーフガードを提供すると結論付けている。