Robust Prediction Variance Estimation for Gaussian Process Regression Under Covariance Smoothness Misspecification

Resumen Técnico: Estimación Robusta de la Varianza de la Predicción para la Regresión de Procesos Gaussianos bajo la Inespecificación de la Suavidad de la Covarianza

Planteamiento del Problema
En la Regresión de Procesos Gaussianos (GPR), el Mejor Predictor Lineal Insesgado (BLUP) y su contraparte empírica (EBLUP) son herramientas estándar para la predicción y la cuantificación de la incertidumbre. La varianza de la predicción se estima típicamente mediante la inserción de estimaciones de parámetros (por ejemplo, vía Máxima Verosimilitud o REML) en la fórmula teórica de la varianza. Sin embargo, este estimador de "inserción" (plug-in) subestima sistemáticamente el Error Cuadrático Medio de la Predicción (MSPE) real cuando el modelo de covarianza está mal especificado.

Si bien las medias de predicción suelen ser robustas a la inespecificación de la covarianza, especialmente bajo muestreo denso, la varianza de la predicción no lo es. Específicamente, cuando el parámetro de suavidad del modelo de covarianza de trabajo (por ejemplo, Exponencial Cuadrática) difiere del proceso real (por ejemplo, Matérn con una suavidad $\nu$ menor), el quasi-EBLUP resultante produce intervalos de predicción demasiado estrechos, lo que conduce a probabilidades de cobertura significativamente por debajo del nivel nominal. Las correcciones existentes, como los bootstraps paramétricos (Wang y Wall, 2003), abordan principalmente la incertidumbre de los parámetros bajo el supuesto de que la forma paramétrica de la covarianza es correcta. Estas fallan al no contabilizar el error estructural introducido cuando la familia de la covarianza misma está mal especificada.

Metodología
El artículo propone un nuevo estimador, $\hat{\tau}^2_Q(x_o)$, para el MSPE del quasi-EBLUP que contabiliza explícitamente la incertidumbre de la función de covarianza, específicamente la inespecificación de la suavidad. La metodología se basa en un enfoque de razón de calibración que tiende un puente entre la estimación basada en modelos y la libre de modelos:

1. Descomposición Teórica: Los autores derivan el comportamiento asintótico del MSPE bajo asintótica de relleno (infill asymptotics). Demuestran que, bajo medidas gaussianas no equivalentes (por ejemplo, diferentes parámetros de suavidad $\nu$), el exceso de MSPE debido a la inespecificación converge a una constante estrictamente positiva ($O(1)$), en lugar de desvanecerse a medida que el tamaño de la muestra $n$ aumenta. Este exceso es distinto del término de incertidumbre de parámetros de $O(n^{-1})$ abordado por los métodos clásicos.
2. Construcción de la Razón de Calibración:
   • Numerador (Libre de Modelo): Se obtiene un estimador empírico del MSPE, $\hat{\tau}^2_{emp}(x_i)$, mediante validación cruzada de $K$ pliegues en las entradas observadas. Este captura el error de predicción realizado independientemente de la corrección del modelo de covarianza.
   • Denominador (Basado en el Modelo): El estimador de la varianza por inserción (plug-in), $\hat{\tau}^2_{K_\theta}(x_i)$, derivado del modelo de trabajo.
   • Razón: La razón de calibración puntual $r_W(x_i) = \hat{\tau}^2_{emp}(x_i) / \hat{\tau}^2_{K_\theta}(x_i)$ cuantifica la brecha multiplicativa entre el desempeño empírico y la estimación de varianza del modelo.
3. Suavizado y Extrapolación: Dado que la validación cruzada solo está disponible en las entradas observadas, las razones puntuales se suavizan utilizando un núcleo gaussiano (en el espacio logarítmico para preservar la simetría multiplicativa) y se extrapolan a las ubicaciones de predicción no observadas $x_o$.
4. Estimador Final: La varianza corregida es $\hat{\tau}^2_Q(x_o) = \hat{r}_W(x_o) \cdot \hat{\tau}^2_{K_\theta}(x_o)$.
5. Ajuste de Cola: Para abordar la posible no gaussianidad en la distribución del error de predicción causada por una inespecificación severa, el método emplea una calibración Student-$t$ basada en la curtosis empírica de los residuos estandarizados, ajustando el cuantil del intervalo de predicción.

Contribuciones Clave

1. Teoría Asintótica: El artículo establece que, bajo asintótica de relleno con medidas no equivalentes (por ejemplo, suavidad desajustada), el exceso de MSPE bajo inespecificación permanece como $O(1)$. Esto demuestra que los estimadores que apuntan solo a la incertidumbre de los parámetros (que se desvanecen a $O(n^{-1})$) no pueden recuperar asintóticamente la cobertura nominal bajo la inespecificación de la suavidad.
2. Nuevo Estimador: La introducción de un estimador basado en la razón de calibración que utiliza la validación cruzada para diagnosticar y corregir la inespecificación de la covarianza. A diferencia de los métodos de bootstrap, este enfoque no asume que la familia del modelo de trabajo sea correcta.
3. Suavidad del Campo de MSPE: Los autores demuestran que la razón de calibración poblacional es una función suave de la ubicación de la entrada, justificando el uso del suavizado por núcleo para extrapolar las correcciones desde los puntos observados a los no observados.
4. Simulación Exhaustiva: Un estudio de simulación que compara el estimador propuesto contra los estimadores de inserción (plug-in), Wang-Wall (bootstrap paramétrico), Wang-Wall con corrección de sesgo y el estimador puramente empírico (validación cruzada) bajo diversas inespecificaciones de suavidad ($\nu = 5/2, 3/2, 1/2$) y tamaños de muestra.

Resultados
El estudio de simulación, realizado tanto en rejillas regulares como en Diseños de Hipercubo Latino (LHD), arroja los siguientes hallazgos:

• Especificación Correcta: Bajo una especificación de modelo correcta, el estimador propuesto $\hat{\tau}^2_Q$ sobrecorrige ligeramente (produciendo intervalos algo más amplios de lo necesario) en comparación con los estimadores de inserción o Wang-Wall. Esto se atribuye al sesgo inherente de la validación cruzada de $K$ pliegues al entrenar en subconjuntos de datos.
• Inespecificación Leve a Severa: A medida que aumenta el desajuste de suavidad (por ejemplo, ajustando una Exponencial Cuadrática a un proceso Matérn $\nu=1/2$), los estimadores estándar ($\hat{\tau}^2_{K_\theta}$, Wang-Wall) fallan en mantener la cobertura nominal, con la cobertura cayendo significativamente (por ejemplo, a ~60-70% para intervalos del 95% bajo inespecificación severa).
• Desempeño Superior: El estimador propuesto $\hat{\tau}^2_Q$ mantiene consistentemente la cobertura más cercana al nivel nominal (0.95) en todos los escenarios de inespecificación. La mejora es más pronunciada en los puntos de predicción interiores donde la varianza base del BLUP es pequeña y sensible a los errores de suavidad.
• Longitud del Intervalo: Aunque $\hat{\tau}^2_Q$ produce intervalos más amplios que el estimador de inserción bajo inespecificación, evita la sobrecorrección excesiva y la alta varianza en la longitud de los intervalos que presentan los estimadores de validación cruzada pura ($\hat{\tau}^2_{emp}$).

Significancia y Reivindicaciones
El artículo sostiene que su principal contribución es un método robusto para la estimación de la varianza de la predicción que sigue siendo efectivo cuando la suavidad de la covarianza está mal especificada, un escenario práctico común donde el proceso real es más rugoso que el modelo asumido. Los autores argumentan que, si bien su método puede sobrecorregir ligeramente en el caso ideal de especificación perfecta, el costo de la falta de cobertura (que ocurre con los métodos estándar bajo inespecificación) es mucho más consecuente en la práctica.

El estudio destaca que la "brecha de suavidad" entre las covarianzas de trabajo y la real crea un sesgo persistente que los bootstraps paramétricos no pueden corregir porque dependen de la estructura del modelo de trabajo. Al aprovechar la discrepancia entre los estimadores basados en modelos y los libres de modelo (validación cruzada), el método propuesto localiza y corrige este error estructural. Los autores concluyen que, para los profesionales que trabajan con datos del mundo real donde la familia de covarianza verdadera es desconocida, este estimador corregido ofrece una salvaguarda necesaria contra intervalos de predicción excesivamente confiados e inexactos.