Robust Prediction Variance Estimation for Gaussian Process Regression Under Covariance Smoothness Misspecification

Résumé Technique : Estimation Robuste de la Variance de Prédiction pour la Régression par Processus Gaussien sous Misspecification de la Lissé de la Covariance

Énoncé du Problème
Dans la régression par processus gaussien (GPR), le meilleur prédicteur linéaire non biaisé (BLUP) et son équivalent empirique (EBLUP) sont des outils standards pour la prédiction et la quantification de l'incertitude. La variance de prédiction est typiquement estimée en injectant les estimations de paramètres (par exemple, via le maximum de vraisemblance ou le REML) dans la formule de variance théorique. Cependant, cet estimateur par « injection » (plug-in) sous-estime systématiquement l'erreur quadratique moyenne de prédiction (MSPE) réelle lorsque le modèle de covariance est mal spécifié (misspecified).

Si les moyennes de prédiction sont souvent robustes à la misspecification de la covariance, surtout sous échantillonnage dense, la variance de prédiction ne l'est pas. Plus précisément, lorsque le paramètre de lissé du modèle de covariance de travail (par exemple, l'exponentielle carrée) diffère du processus réel (par exemple, un Matérn avec un lissé $\nu$ plus faible), le quasi-EBLUP produit des intervalles de prédiction trop étroits, conduisant à des probabilités de couverture nettement inférieures au niveau nominal. Les corrections existantes, telles que les bootstraps paramétriques (Wang et Wall, 2003), traitent principalement de l'incertitude paramétrique sous l'hypothèse que la forme paramétrique de la covariance est correcte. Elles ne parviennent pas à rendre compte de l'erreur structurelle introduite lorsque la famille de la covariance elle-même est mal spécifiée.

Méthodologie
L'article propose un nouvel estimateur, $\hat{\tau}^2_Q(x_o)$, de la MSPE du quasi-EBLUP qui prend explicitement en compte l'incertitude de la fonction de covariance, spécifiquement la misspecification du lissé : la méthodologie repose sur une approche de ratio de calibration qui fait le pont entre l'estimation basée sur le modèle et l'estimation sans modèle :

1. Décomposition Théorique : Les auteurs dérivent le comportement asymptotique de la MSPE sous lisi de remplissage (infill asymptotics). Ils démontrent que sous des mesures gaussiennes non équivalentes (par exemple, des paramètres de lissé $\nu$ différents), l'excès de MSPE dû à la misspecification converge vers une constante strictement positive ($O(1)$), plutôt que de s'annuler à mesure que la taille de l'échantillon $n$ augmente. Cet excès est distinct du terme d'incertitude paramétrique de l'ordre de $O(n^{-1})$ traité par les méthodes classiques.
2. Construction du Ratio de Calibration :
   • Numérateur (Sans Modèle) : Une estimation empirique de la MSPE, $\hat{\tau}^2_{emp}(x_i)$, est obtenue via une validation croisée à $K$ plis (K-fold cross-validation) aux entrées observées. Elle capture l'erreur de prédiction réalisée, indépendamment de la correction du modèle de covariance.
   • Dénominateur (Basé sur le Modèle) : L'estimateur de variance par injection, $\hat{\tau}^2_{K_\theta}(x_i)$, dérivé du modèle de travail.
   • Ratio : Le ratio de calibration ponctuel $r_W(x_i) = \hat{\tau}^2_{emp}(x_i) / \hat{\tau}^2_{K_\theta}(x_i)$ quantifie l'écart multiplicatif entre la performance empirique et l'estimation de la variance du modèle.
3. Lissage et Extrapolation : Puisque la validation croisée n'est disponible qu'aux entrées observées, les ratios ponctuels sont lissés à l'aide d'un noyau gaussien (dans l'espace logarithmique pour préserver la symétrie multiplicative) et extrapolés vers les localisations de prédiction non observées $x_o$.
4. Estimateur Final : La variance corrigée est $\hat{\tau}^2_Q(x_o) = \hat{r}_W(x_o) \cdot \hat{\tau}^2_{K_\theta}(x_o)$.
5. Ajustement de la Queue : Pour traiter la non-gaussianité potentielle de la distribution de l'erreur de prédiction causée par une misspecification sévère, la méthode utilise une calibration de type Student-$t$ basée sur le kurtosis empirique des résidus standardisés, ajustant ainsi le quantile de l'intervalle de prédiction.

Principales Contributions

1. Théorie Asymptotique : L'article établit que sous lisi de remplissage avec des mesures non équivalentes (par exemple, des lissés discordants), l'excès de MSPE reste de l'ordre de $O(1)$. Cela prouve que les estimateurs ciblant uniquement l'incertitude paramétrique (qui s'annulent en $O(n^{-1})$) ne peuvent pas récupérer asymptotiquement la couverture nominale sous misspecification de lissé.
2. Nouvel Estimateur : L'introduction d'un estimateur basé sur le ratio de calibration qui utilise la validation croisée pour diagnostiquer et corriger la misspecification de la covariance. Contrairement aux méthodes de bootstrap, cette approche ne suppose pas que la famille du modèle de travail est correcte.
3. Lissé du Champ de la MSPE : Les auteurs prouvent que le ratio de calibration de la population est une fonction lisse de la localisation d'entrée, justifiant l'utilisation du lissage par noyau pour extrapoler les corrections des points observés vers les points non observés.
4. Simulation Complète : Une étude de simulation comparant le proposé estimateur $\hat{\tau}^2_Q$ aux estimateurs par injection, Wang-Wall (bootstrap paramétrique), Wang-Wall corrigé du biais, et l'estimateur purement empirique (validation croisée) à travers diverses missifications de lissé ($\nu = 5/2, 3/2, 1/2$) et tailles d'échantillon.

Résultats
L'étude de simulation, menée sur des grilles régulières et des plans de Latin Hypercube (LHD), produit les résultats suivants :

• Spécification Correcte : Sous une spécification de modèle correcte, l'estimateur proposé $\hat{\tau}^2_Q$ surcorrige légèrement (produisant des intervalles légèrement plus larges que nécessaire) par rapport aux estimateurs par injection ou Wang-Wall. Ceci est attribué au biais inhérent de la validation croisée à $K$ plis lors de l'entraînement sur des sous-ensembles de données.
• Misspecification Légère à Sévère : À mesure que le décalage de lissé augmente (par exemple, ajuster une exponentielle carrée à un processus Matérn $\nu=1/2$), les estimateurs standards ($\hat{\tau}^2_{K_\theta}$, Wang-Wall) échouent à maintenir la couverture nominale, la couverture chutant significativement (par exemple, à ~60-70 % pour des intervalles à 95 % sous misspecification sévère).
• Performance Supérieure : L'estimateur proposé $\hat{\tau}^2_Q$ maintient systématiquement la couverture la plus proche du niveau nominal (0,95) dans tous les scénarios de misspecification. L'amélioration est plus prononcée aux points de prédiction intérieurs où la variance BLUP de base est faible et sensible aux erreurs de lissé.
• Longueur de l'Intervalle : Bien que $\hat{\tau}^2_Q$ produise des intervalles plus larges que l'estimateur par injection sous misspecification, il évite la surcorrection excessive et la haute variance de la longueur d'intervalle observées avec les estimateurs de validation croisée pure ($\hat{\tau}^2_{emp}$).

Signification et Revendications
L'article affirme que sa principale contribution est une méthode robuste d'estimation de la variance de prédiction qui reste efficace lorsque le lissé de la covariance est mal spécifié — un scénario pratique courant où le processus réel est plus rugueux que le modèle supposé. Les auteurs soutiennent que si leur méthode peut légèrement surcorriger dans le cas idéal de spécification parfaite, le coût de la sous-couverture (qui survient avec les méthodes standards sous misspecification) est bien plus conséquent en pratique.

L'étude souligne que le « fossé de lissé » entre les covariances de travail et réelles crée un biais persistant que les bootstraps paramétriques ne peuvent pas corriger car ils reposent sur la structure du modèle de travail. En exploitant la divergence entre les estimations basées sur le modèle et les estimations sans modèle (validation croisée), la méthode proposée localise et corrige cette erreur structurelle. Les auteurs concluent que pour les praticiens traitant des données réelles où la famille de covariance est inconnue, cet estimateur corrigé offre une protection nécessaire contre des intervalles de prédiction trop confiants et inexacts.