Robust Prediction Variance Estimation for Gaussian Process Regression Under Covariance Smoothness Misspecification

Sintesi Tecnica: Stima Robusta della Varianza di Predizione per la Regressione con Processi Gaussiani sotto Errore di Specificazione della Smoothness della Covarianza

Problema
Nella regressione con processi gaussiani (GPR), il miglior predittore lineare non distorto (BLUP) e il suo corrispettivo empirico (EBLUP) sono strumenti standard per la predizione e la quantificazione dell'incertezza. La varianza di predizione viene tipicamente stimata inserendo i parametri stimati (ad esempio, tramite Massima Verosimiglianza o REML) nella formula teorica della varianza. Tuttavia, questo stimatore "plug-in" sottostima sistematicamente l'errore quadratico medio di predizione (MSPE) reale quando il modello di covarianza è specificato in modo errato.

Sebbene le medie di predizione siano spesso robuste alla misspecificazione della covarianza, specialmente sotto campionamento denso, la varianza di predizione non lo è. Nello specifico, quando il parametro di smoothness del modello di covarianza di lavoro (ad esempio, Esponenziale Quadrata) differisce dal processo reale (ad esempio, Matérn con smoothness $\nu$ inferiore), il quasi-EBLUP prodotto produce intervalli di predizione troppo stretti, portando a probabilità di copertura significanzativamente inferiori al livello nominale. Le correzioni esistenti, come i bootstrap parametrici (Wang e Wall, 2003), affrontano principalmente l'incertezza dei parametri assumendo che la forma parametrica della covarianza sia corretta. Esse non riescono a tenere conto dell'errore strutturale introdotto quando la famiglia di covarianza stessa è misspecificata.

Metodologia
Il documento propone un nuovo stimatore, $\hat{\tau}^2_Q(x_o)$, per l'MSPE del quasi-EBLUP che tiene esplicitamente conto dell'incertezza della funzione di covarianza, specificamente della misspecificazione della smoothness. La metodologia si basa su un approccio di rapporto di calibrazione che unisce la stima basata sul modello e quella priva di modello:

1. Decomposizione Teorica: Gli autori derivano il comportamento asintotico dell'MSPE sotto l'assunto di asintotica infill. Dimostrano che, sotto misure gaussiane non equivalenti (ad esempio, diversi parametri di smoothness $\nu$), l'eccesso di MSPE dovuto alla misspecificazione converge a una costante strettamente positiva ($O(1)$), invece di annullarsi all'aumentare della dimensione del campione $n$. Questo eccesso è distinto dal termine di incertezza del parametro $O(n^{-1})$ affrontato dai metodi classici.
2. Costruzione del Rapporto di Calibrazione:
   • Numeratore (Privo di Modello): Una stima empirica dell'MSPE, $\hat{\tau}^2_{emp}(x_i)$, viene ottenuta tramite $K$-fold cross-validation sui dati osservati. Questa cattura l'errore di predizione realizzato indipendentemente dalla correttezza del modello di covarianza.
   • Denominatore (Basato sul Modello): La stima della varianza plug-in, $\hat{\tau}^2_{K_\theta}(x_i)$, derivata dal modello di lavoro.
   • Rapporto: Il rapporto di calibrazione puntuale $r_W(x_i) = \hat{\tau}^2_{emp}(x_i) / \hat{\tau}^2_{K_\theta}(x_i)$ quantifica il divario moltiplicativo tra le prestazioni empiriche e la stima della varianza del modello.
3. Smoothing ed Estrapolazione: Poiché la cross-validation è disponibile solo ai punti di input osservati, i rapporti puntuali vengono regolarizzati tramite un kernel gaussiano (nello spazio logaritmico per preservare la simmetria moltiplicativa) ed estrapolati a posizioni di predizione non osservate $x_o$.
4. Stimatore Finale: La varianza corretta è $\hat{\tau}^2_Q(x_o) = \hat{r}_W(x_o) \cdot \hat{\tau}^2_{K_\theta}(x_o)$.
5. Regolazione della Coda: Per affrontare la potenziale non-gaussianità della distribuzione dell'errore di predizione causata da una severa misspecificazione, il metodo impiega una calibrazione Student-$t$ basata sulla curtosi empirica dei residui standardizzati, regolando il quantile dell'intervallo di predizione.

Contributi Chiave

1. Teoria Asintotica: Il documento stabilisce che, sotto l'asintotica infill con misure non equivalenti (ad esempio, mismatch di smoothness), l'eccesso di MSPE rimane $O(1)$. Ciò prova che gli stimatori che mirano solo all'incertezza del parametro (che svaniscono a $O(n^{-1})$) non possono recuperare asintoticamente la copertura nominale sotto la misspecificazione della smoothness.
2. Nuovo Stimatore: L'introduzione di uno stimatore basato sul rapporto di calibrazione che utilizza la cross-validation per diagnosticare e correggere la misspecificazione della covarianza. A differenza dei metodi bootstrap, questo approccio non assume che la famiglia del modello di lavoro sia corretta.
3. Smoothness del Campo MSPE: Gli autori dimostrano che il rapporto di calibrazione della popolazione è una funzione regolare della posizione di input, giustificando l'uso dello smoothing kernel per estrapolare le correzioni dai punti osservati a quelli non osservati.
4. Simulazione Esaustiva: Uno studio di simulazione che confronta il proposto stimatore con gli stimatori plug-in, Wang-Wall (bootstrap parametrico), Wang-Wall corretto per bias e l'estimatore puramente empirico (cross-validation) attraverso diverse variazioni di misspecificazione della smoothness ($\nu = 5/2, 3/2, 1/2$) e dimensioni campionarie.

Risultati
Lo studio di simulazione, condotto sia su griglie regolari che su Latin Hypercube Designs (LHD), produce i seguenti risultati:

• Specificazione Corretta: Sotto una corretta specificazione del modello, il proposto stimatore $\hat{\tau}^2_Q$ sovra-corregge leggermente (producendo intervalli leggermente più ampi del necessario) rispetto agli stimatori plug-in o Wang-Wall. Ciò è attribuito al bias intrinseco della $K$-fold cross-validation quando l'addestramento avviene su sottoinsiemi di dati.
• Misspecificazione Lieve o Severa: Man mano che il mismatch di smoothness aumenta (ad esempio, adattando un Esponenziale Quadrata a un processo Matérn $\nu=1/2$), gli stimatori standard ($\hat{\tau}^2_{K_\theta}$, Wang-Wall) falliscono nel mantenere la copertura nominale, con la copertura che scende significativamente (ad esempio, a ~60-70% per intervalli al 95% in presenza di severa misspecificazione).
• Prestazioni Superiori: Il proposto stimatore $\hat{\tau}^2_Q$ mantiene costantemente la copertura più vicina al livello nominale (0.95) in tutti gli scenari di misspecificazione. Il miglioramento è più pronunciato nei punti di predizione interni dove la varianza BLUP di base è piccola e sensibile agli errori di smoothness.
• Lunghezza dell'Intervallo: Sebbene $\hat{\tau}^2_Q$ produca intervalli più ampi rispetto al plug-in sotto misspecificazione, evita la sovra-correzione eccessiva e l'alta varianza nella lunghezza dell'intervallo osservata negli stimatori di pura cross-validation ($\hat{\tau}^2_{emp}$).

Significatività e Rivendicazioni
Il documento sostiene che il suo contributo primario sia un metodo robusto per la stima della varianza di predizione che rimane efficace quando la smoothness della covarianza è misspecificata — uno scenario pratico comune in cui il processo reale è più "ruvido" del modello assunto. Gli autori argomentano che, sebbene il loro metodo possa sovra-correggere leggermente nel caso ideale di perfetta specificazione, il costo della sotto-copertura (che si verifica con i metodi standard sotto misspecificazione) è molto più consequenziale nella pratica.

Lo studio evidenzia come il "gap di smoothness" tra le covarianze di lavoro e quelle reali crei un bias persistente che i bootstrap parametrici non possono risolvere perché dipendono dalla struttura del modello di lavoro. Sfruttando la discrepanza tra le stime basate sul modello e quelle prive di modello (cross-validation), il metodo proposto localizza e corregge questo errore strutturale. Gli autori concludono che, per i professionisti che operano con dati reali dove la famiglia di covarianza è sconosciuta, questo stimatore corretto offre una necessaria salvaguardia contro intervalli di predizione eccessivamente sicuri ma inaccurati.