Robust Prediction Variance Estimation for Gaussian Process Regression Under Covariance Smoothness Misspecification

Technische Samenvatting: Robuuste Schatting van Predictievariantie voor Gaussische Procesregressie onder Mis-specificatie van Covariantiegladheid

Probleemstelling
In Gaussische Procesregressie (GPR) zijn de Best Lineaire Onbevooroordeelde Voorspelling (BLUP) en zijn empirische tegenhanger (EBLUP) standaardinstrumenten voor predictie en onzekerheidskwantificering. De predictievariantie wordt doorgaans geschat door parameter-schattingen (bijv. via Maximum Likelihood of REML) in te voegen in de theoretische variantieformule. Deze "plug-in" schatter onderschat echter systematisch de werkelijke Mean Squared Prediction Error (MSPE) wanneer het covariantiemodel mis-gespecificeerd is.

Hoewel predictie-gemiddelden vaak robuust zijn tegen covariantiemis-specificatie, vooral bij dichte bemonstering, is de predictie-variantie dat niet. Specifiek, wanneer de gladheidsparameter van het werkende covariantiemodel (bijv. Squared Exponential) verschilt van het werkelijke proces (bijv. Matérn met een lagere gladheid $\nu$), produceert de quasi-EBLUP predictie-intervallen die te smal zijn, wat leidt tot dekkingskansen die aanzienlijk onder het nominale niveau liggen. Bestaande correcties, zoals parametrische bootstraps (Wang en Wall, 2003), adresseren primair de parameteronzekerheid onder de aanname dat de parametrische vorm van de covariantie correct is. Zij falen echter om de structurele fout te adresseren die wordt geïntroduceerd wanneer de covariantiefamilie zelf mis-gespecificeerd is.

Methodologie
Het artikel stelt een nieuwe schatter voor, $\hat{\tau}^2_Q(x_o)$, voor de MSPE van de quasi-EBLUP, die expliciet rekening houdt met de onzekerheid in de covarientiefunctie, specifiek de mis-specificatie van de gladheid. De methodologie steunt op een kalibratieratio-aanpak die model-gebaseerde en model-vrije schatting overbrugt:

1. Theoretische Decompositie: De auteurs leiden het asymptotische gedrag van de MSPE af onder infill-asymptotica. Ze tonen aan dat onder niet-equivalente Gaussische maten (bijv. verschillende gladheidsparameters $\nu$), de excessieve MSPE door mis-specificatie convergeert naar een strikt positieve constante ($O(1)$), in plaats van te verdwijnen naarmate de steekproefomvang $n$ toeneemt. Deze excessieve MSPE is verschillend van de $O(n^{-1})$ parameteronzekerheidsterm die door klassieke methoden wordt geadresseerd.
2. Constructie van de Kalibratieratio:
   • Teller (Model-Vrij): Een empirische MSPE-schatting, $\hat{\tau}^2_{emp}(x_i)$, wordt verkregen via $K$-fold cross-validatie bij geobserveerde inputs. Dit vangt de gerealiseerde predictiefout op, ongeacht de correctheid van het covariantiemodel.
   • Noemer (Model-Gebaseerd): De plug-in variantieschatting, $\hat{\tau}^2_{K_\theta}(x_i)$, afgeleid van het werkende model.
   • Ratio: De puntgewijze kalibratieratio $r_W(x_i) = \hat{\tau}^2_{emp}(x_i) / \hat{\tau}^2_{K_\theta}(x_i)$ kwantificeert het multiplicatieve gat tussen de empirische prestaties en de variantieschatting van het model.
3. Smoothing en Extrapolatie: Omdat cross-validatie alleen beschikbaar is bij geobserveerde inputs, worden de puntgewijze ratio's gladgestreken met een Gaussische kernel (in de log-ruimte om multiplicatieve symmetrie te behouden) en geëxtrapoleerd naar niet-geobserveerde predictielocaties $x_o$.
4. Finale Schatter: De gecorrigeerde variantie is $\hat{\tau}^2_Q(x_o) = \hat{r}_W(x_o) \cdot \hat{\tau}^2_{K_\theta}(x_o)$.
5. Staart-Aanpassing: Om de mogelijke niet-Gaussische verdeling van de predictiefout te adresseren als gevolg van ernstige mis-specificatie, hanteert de methode een Student-$t$ kalibratie gebaseerd op de empirische kurtosis van de gestandaardiseerde residuen, waarbij het kwantiel van het predictie-interval wordt aangepast.

Belangrijkste Bijdragen

1. Asymptotische Theorie: Het artikel stelt vast dat onder infill-asymptotica met niet-equivalente maten (bijv. mismatches in gladheid), de excessieve MSPE door mis-specificatie een $O(1)$ blijft. Dit bewijst dat schatters die enkel gericht zijn op parameteronzekerheid (die verdwijnen bij $O(n^{-1})$) niet asymptotisch de nominale dekking kunnen herstellen onder gladheidsmis-specificatie.
2. Nieuwe Schatter: De introductie van een kalibratieratio-gebaseerde schatter die cross-validatie gebruikt om covariantiemis-specificatie te diagnosticeren en te corrigeren. In tegenstelling tot bootstrapping-methoden, gaat deze aanpak niet uit van de correctheid van de werkende modelfamilie.
3. Gladheid van het MSPE-veld: De auteurs bewijzen dat de populatie-kalibratieratio een gladde functie is van de inputlocatie, wat het gebruik van kernel-smoothing rechtvaardigt om correcties van geobserveerde naar ongeobserveerde punten te extrapoleren.
4. Omvattende Simulatie: Een simulatiestudie die de voorgestelde schatter vergelijkt met de plug-in, de Wang-Wall (parametrische bootstrap), de bias-gecorrigeerde Wang-Wall en de pure empirische (cross-validatie) schatters onder variërende graden van gladheidsmis-specificatie ($\nu = 5/2, 3/2, 1/2$) en steekproefomvang.

Resultaten
De simulatiestudie, uitgevoerd op zowel regelmatige roosters als Latin Hypercube Designs (LHD), levert de volgende bevindingen op:

• Correcte Specificatie: Onder correcte model-specificatie overcorrigeert de voorgestelde schatter $\hat{\tau}^2_Q$ licht (waardoor intervallen iets breder zijn dan nodig) vergeleken met de plug-in of Wang-Wall schatters. Dit wordt toegeschreven aan de inherente bias van $K$-fold cross-validatie wanneer getraind wordt op deelverzamelingen van de data.
• Milde tot Ernstige Mis-specificatie: Naarmate de mismatch in gladheid toeneemt (bijv. het fitten van een Squared Exponential op een Matérn $\nu=1/2$ proces), falen standaard schatters ($\hat{\tau}^2_{K_\theta}$, Wang-Wall) om de nominale dekking te handhaven, waarbij de dekking significant daalt (bijv. naar ~60-70% voor 95% intervallen onder ernstige mis-specificatie).
• Superieur Presteren: De voorgestelde schatter $\hat{\tau}^2_Q$ behoudt consistent de dekking die het dichtst bij het nominale niveau (0.95) ligt in alle scenario's van mis-specificatie. De verbetering is het meest uitgesproken bij de interne predictiepunten waar de basis BLUP-variantie klein en gevoelig is voor fouten in de gladheid.
• Intervallengte: Hoewel $\hat{\tau}^2_Q$ bredere intervallen produceert dan de plug-in onder mis-specificatie, vermijdt het de excessieve overcorrectie en de hoge variantie in intervallengte die gezien wordt bij pure cross-validatie schatters ($\hat{\tau}^2_{emp}$).

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage een robuuste methode is voor de schatting van de predictievariantie die effectief blijft wanneer de covarientie-gladheid mis-gespecificeerd is—een veel voorkomend scenario in de praktijk waarbij het werkelijke proces ruwer is dan het aangenomen model. De auteurs stellen dat hoewel hun methode in het ideale geval van perfecte specificatie licht overcorrigeert, de kosten van onderdekking (die optreedt bij standaard methoden onder mis-specificatie) in de praktijk veel consequenter zijn.

De studie benadrukt dat de "gladheidskloof" tussen het werkende en het werkelijke covariantiemodel een persistente bias creëert die parametrische bootstraps niet kunnen oplossen, omdat zij vertrouwen op de structuur van het werkende model. Door het verschil tussen model-gebaseerde en model-vrije (cross-validatie) schattingen te benutten, lokaliseert en corrigeert de voorgestelde methode deze structurele fout. De auteurs concluderen dat voor beoefenaars die werken met real-world data waarbij de ware covarientiefamilie onbekend is, deze gecorrigeerde schatter een noodzakelijke veiligheid biedt tegen te zelfverzekerde en onnauwkeurige predictie-intervallen.