Robust Prediction Variance Estimation for Gaussian Process Regression Under Covariance Smoothness Misspecification

Resumo Técnico: Estimativa Robusta da Variância de Predição para Regressão de Processos Gaussianos sob Inespecificação de Suavidade de Covariância

Definição do Problema
Na Regressão de Processos Gaussianos (GPR), o Melhor Preditor Linear Não Viesado (BLUP) e sua contraparte empírica (EBLUP) são ferramentas padrão para predição e quantificação de incerteza. A variância de predição é tipicamente estimada inserindo estimativas de parâmetros (ex: via Máxima Verossimilhança ou REML) na fórmula teórica de variância. No entanto, este estimador de "inserção direta" (plug-in) subestima sistematicamente o Erro Quadrático Médio de Predição (MSPE) real quando o modelo de covariância está inespecificado.

Embora as médias de predição sejam frequentemente robustas à inespecificação de covariância, especialmente sob amostragem densa, a variância de predição não é. Especificamente, quando o parâmetro de suavidade do modelo de covariância de trabalho (ex: Exponencial Quadrática) difere do processo verdadeiro (ex: Matérn com menor suavidade $\nu$), o quasi-EBLUP resultante produz intervalos de predição excessivamente estreitos, levando a probabilidades de cobertura significativamente abaixo do nível nominal. Correções existentes, como os bootstraps paramétricos (Wang e Wall, 2003), abordam primariamente a incerteza paramétrica sob a suposição de que a forma paramétrica da covariância está correta. Elas falham em considerar o erro estrutural introduzido quando a própria família da covariância está inespecificada.

Metodologia
O artigo propõe um novo estimador, $\hat{\tau}^2_Q(x_o)$, para o MSPE do quasi-EBLUP que contabiliza explicitamente a incerteza da função de covariância, especificamente a inespecificação de suavidade. A metodologia baseia-se em uma abordagem de razão de calibração que faz a ponte entre a estimativa baseada em modelo e a livre de modelo:

1. Decomposição Teórica: Os autores derivam o comportamento assintótico do MSPE sob assintótica de preenchimento (infill asymptotics). Eles demonstram que, sob medidas Gaussianas não equivalentes (ex: diferentes parâmetros de suavidade $\nu$), o excesso de MSPE devido à inespecificação converge para uma constante estritamente positiva ($O(1)$), em vez de desaparecer conforme o tamanho da amostra $n$ aumenta. Este excesso é distinto do termo de incerteza de parâmetro $O(n^{-1})$ abordado pelos métodos clássicos.
2. Construção da Razão de Calibração:
   • Numerador (Livre de Modelo): Uma estimativa empírica de MSPE, $\hat{\tau}^2_{emp}(x_i)$, é obtida via validação cruzada $K$-fold nos inputs observados. Isso captura o erro de predição realizado, independentemente da correção do modelo de covariância.
   • Denominador (Baseado em Modelo): A estimativa de variância de inserção direta, $\hat{\tau}^2_{K_\theta}(x_i)$, derivada do modelo de trabalho.
   • Razão: A razão de calibração pontual $r_W(x_i) = \hat{\tau}^2_{emp}(x_i) / \hat{\tau}^2_{K_\theta}(x_i)$ quantifica a lacuna multiplicativa entre o desempenho empírico e a estimativa de variância do modelo.
3. Suavização e Extrapolação: Como a validação cruzada está disponível apenas nos inputs observados, as razões pontuais são suavizadas usando um kernel Gaussiano (no espaço logarítmico para preservar a simetria multiplicativa) e extrapoladas para locais de predição não observados $x_o$.
4. Estimador Final: A variância corrigida é $\hat{\tau}^2_Q(x_o) = \hat{r}_W(x_o) \cdot \hat{\tau}^2_{K_\theta}(x_o)$.
5. Ajuste de Cauda: Para abordar a potencial não-gaussianidade na distribuição do erro de predição causada por inespecificação severa, o método emprega uma calibração Student-$t$ baseada na curtose empírica dos resíduos padronizados, ajustando o quantil do intervalo de predição.

Principais Contribuições

1. Teoria Assintótica: O artigo estabelece que, sob assintótica de preenchimento com medidas não equivalentes (ex: suavidade incompatível), o excesso de MSPE permanece $O(1)$. Isso prova que estimadores que visam apenas a incerteza do parâmetro (que desaparecem a $O(n^{-1})$) não podem recuperar assintoticamente a cobertura nominal sob inespecificação de suavidade.
2. Novo Estimador: A introdução de um estimador baseado em razão de calibração que utiliza validação cruzada para diagnosticar e corrigir a inespecificação de covariância. Diferente dos métodos de bootstrap, esta abordagem não assume que a família do modelo de trabalho esteja correta.
3. Suavidade do Campo de MSPE: Os autores provam que a razão de calibração populacional é uma função suave do local de entrada, justificando o uso de suavização por kernel para extrapolar correções de pontos observados para pontos não observados.
4. Simulação Abrangente: Um estudo de simulação comparando o estimador proposto com os estimadores de inserção direta, Wang-Wall (bootstrap paramétrico), Wang-Wall com correção de viés e o estimador puramente empírico (validação cruzada) através de diferentes cenários de inespecificação de suavidade ($\nu = 5/2, 3/2, 1/2$) e tamanhos de amostra.

Resultados
O estudo de simulação, conduzido tanto em grades regulares quanto em Desenhos de Hipercubo Latino (LHD), produz os seguintes achados:

• Especificação Correta: Sob especificação correta do modelo, o estimador proposto $\hat{\tau}^2_Q$ sobrecorrige ligeiramente (produzindo intervalos um pouco mais largos do que o necessário) em comparação com os estimadores de inserção direta ou Wang-Wall. Isso é atribuído ao viés inerente da validação cruzada $K$-fold ao treinar em subconjuntos de dados.
• Inespecificação Leve a Severa: À medida que a incompatibilidade de suavidade aumenta (ex: ajustar uma Exponencial Quadrática a um processo Matérn $\nu=1/2$), os estimadores padrão ($\hat{\tau}^2_{K_\theta}$, Wang-Wall) falham em manter a cobertura nominal, com a cobertura caindo significativamente (ex: para ~60-70% para intervalos de 95% sob inespecificação severa).
• Desempenho Superior: O estimador proposto $\hat{\tau}^2_Q$ mantém consistentemente a cobertura mais próxima do nível nominal (0.95) em todos os cenários de inespecificação. A melhoria é mais pronunciada em pontos de predição internos, onde a variância base do BLUP é pequena e sensível a erros de suavidade.
• Comprimento do Intervalo: Embora o $\hat{\tau}^2_Q$ produza intervalos mais largos que o estimador de inserção direta sob inespecificação, ele evita a sobrecorreção excessiva e a alta variância no comprimento do intervalo observada nos estimadores de validação cruzada pura ($\hat{\tau}^2_{emp}$).

Significância e Alegações
O artigo alega que sua principal contribuição é um método robusto para estimativa de variância de predição que permanece eficaz quando a suavidade da covariância é inespecificada — um cenário prático comum onde o processo real é mais rugoso do que o modelo assumido. Os autores argumentam que, embora seu método possa sobrecorrigir ligeiramente no caso de especificação perfeita, o custo da subcobertura (que ocorre com métodos padrão sob inespecificação) é muito mais consequente na prática.

O estudo destaca que a "lacuna de suavidade" entre as covariâncias de trabalho e a verdadeira cria um viés persistente que os bootstraps paramétricos não podem corrigir, pois dependem da estrutura do modelo de trabalho. Ao alavancar a discrepância entre as estimativas baseadas em modelo e livres de modelo (validação cruzada), o método proposto localiza e corrige esse erro estrutural. Os autores concluem que, para profissionais lidando com dados do mundo real onde a família de covariância verdadeira é desconhecida, este estimador corrigido oferece uma salvaguarda necessária contra intervalos de predição excessivamente confiantes e imprecisos.