Robust Prediction Variance Estimation for Gaussian Process Regression Under Covariance Smoothness Misspecification

Technische Zusammenfassung: Robuste Schätzung der Prädiktionsvarianz für Gauß-Prozess-Regression unter Misspezifikation der Kovarianzglattheit

Problemstellung
In der Gauß-Prozess-Regression (GPR) sind die Best Linear Unbiased Prediction (BLUP) und ihr empirisches Gegenstück (EBLUP) Standardwerkzeuge für die Prädiktion und Unsicherheitsquantifizierung. Die Prädiktionsvarianz wird typischerweise geschätzt, indem die Parameterschätzungen (z. B. via Maximum Likelihood oder REML) in die theoretische Varianzformel eingesetzt. Dieser „Plug-in“-Schätzer unterschätzt jedoch systematisch den wahren mittleren quadratischen Prädiktionsfehler (Mean Squared Prediction Error, MSPE), wenn das Kovarianzmodell misspezifiziert ist.

Während Prädiktionsmittelwerte oft robust gegenüber Kovarianzmisspezifikation sind – insbesondere unter dichter Abtastung –, ist die Prädiktionsvarianz dies nicht. Speziell wenn der Glattheitsparameter des Arbeitskovarianzmodells (z. B. Squared Exponential) vom wahren Prozess (z. B. Matérn mit geringerer Glattheit $\nu$) abweicht, erzeugt der quasi-EBLUP Prädiktionsintervalle, die zu schmal sind, was zu Abdeckwahrscheinlichkeiten führt, die signifikant unter dem nominalen Niveau liegen. Bestehende Korrekturen, wie etwa parametrische Bootstraps (Wang und Wall, 2003), adressieren primär die Parameterunsicherheit unter der Annahme, dass die parametrische Form der Kovarianz korrekt ist. Sie versäumen es jedoch, den strukturellen Fehler zu berücksichtigen, der durch eine Misspezifikation der Kovarianzfamilie selbst entsteht.

Methodik
Das Papier schlägt einen neuen Schätzer, $\hat{\tau}^2_Q(x_o)$, für den MSPE des quasi-EBLUP vor, der explizit die Unsicherheit der Kovarianzfunktion berücksichtigt, insbesondere die Misspezifikation der Glattheit. Die Methodik stützt sich auf einen Kalibrierungsquotienten-Ansatz, der modellbasierte und modellfreie Schätzung überbrückt:

1. Theoretische Zerlegung: Die Autoren leiten das asymptotische Verhalten des MSPE unter Infill-Asymptotik her. Sie zeigen auf, dass unter nicht-äquivalenten Gauß-Maßen (z. B. unterschiedliche Glattheitsparameter $\nu$) der übermäßige MSPE aufgrund von Misspezifikation gegen eine strikt positive Konstante konvergiert ($O(1)$), anstatt mit zunehmender Stichprobengröße $n$ zu verschwinden. Dieser übermäßige MSPE unterscheidet sich von dem $O(n^{-1})$ Term der Parameterunsicherheit, den klassische Methoden adressieren.
2. Konstruktion des Kalibrierungsquotienten:
   • Zähler (Modellfrei): Eine empirische MSPE-Schätzung, $\hat{\tau}^2_{emp}(x_i)$, wird mittels $K$-facher Kreuzvalidierung an beobachteten Eingaben ermittelt. Diese erfasst den realisierten Prädiktionsfehler unabhängig von der Korrektheit des Kovarianzmodells.
   • Nenner (Modellbasiert): Der Plug-in-Varianzschätzer, $\hat{\tau}^2_{K_\theta}(x_i)$, der aus dem Arbeitsmodell abgeleitet wurde.
   • Quotient: Der punktweise Kalibrierungsquotient $r_W(x_i) = \hat{\tau}^2_{emp}(x_i) / \hat{\tau}^2_{K_\theta}(x_i)$ quantifiziert die multiplikative Lücke zwischen der empirischen Performance und der Varianzschätzung des Modells.
3. Glättung und Extrapolation: Da die Kreuzvalidierung nur an beobachteten Eingaben verfügbar ist, werden die punktweisen Quotienten mittels eines Gauß-Kernels (im Log-Raum, um die multiplikative Symmetrie zu bewahren) geglättet und auf unobservierte Prädiktionsorte $x_o$ extrapoliert.
4. Finaler Schätzer: Der korrigierte Varianzschätzer ist $\hat{\tau}^2_Q(x_o) = \hat{r}_W(x_o) \cdot \hat{\tau}^2_{K_\theta}(x_o)$.
5. Tail-Anpassung: Um der potenziellen Nicht-Gaußförmigkeit der Prädiktionsfehlerverteilung durch schwere Misspezifikation entgegenzuwirken, verwendet die Methode eine Student-$t$-Kalibrierung basierend auf der empirischen Kurtosis der standardisierten Residuen, welche das Quantil des Prädiktionsintervalls anpasst.

Wesentliche Beiträge

1. Asymptotische Theorie: Das Papier etabliert, dass unter Infill-Asymptotik mit nicht-äquivalenten Maßen (z. B. gemischte Glattheit) der übermäßige MSPE aufgrund von Misspezifikation als $O(1)$ bestehen bleibt. Dies beweist, dass Schätzer, die nur auf Parameterunsicherheit abzielen (welche mit $O(n^{-1})$ verschwinden), die nominale Abdeckung unter Glattheitsmisspezifikation asymptotisch nicht wiederherstellen können.
2. Neuer Schätzer: Die Einführung eines auf dem Kalibrierungsquotienten basierenden Schätzers, der Kreuzvalidierung nutzt, um Kovarianzmisspezifikation zu diagnostizieren und zu korrigieren. Im Gegensatz zu Bootstrap-Methoden setzt dieser Ansatz die Korrektheit der Arbeitsmodellfamilie nicht voraus.
3. Glattheit des MSPE-Feldes: Die Autoren beweisen, dass der Populations-Kalibrierungsquotient eine glatte Funktion der Eingabeposition ist, was die Verwendung von Kernel-Glättung zur Extrapolation von Korrekturen von beobachteten auf unobservierte Punkte rechtfertigt.
4. Umfassende Simulation: Eine Simulationsstudie, die den vorgeschlagenen Schätzer mit dem Plug-in-, dem Wang-Wall (parametrischer Bootstrap)- und dem bias-korrigierten Wang-Wall- sowie dem reinen empirischen (Kreuzvalidierung) Schätzer unter variierenden Graden der Glattheitsmisspezifikation ($\nu = 5/2, 3/2, 1/2$) und Stichprobengrößen vergleicht.

Ergebnisse
Die Simulationsstudie, durchgeführt auf regulären Gittern und Latin Hypercube Designs (LHD), liefert folgende Erkenntnisse:

• Korrekte Spezifikation: Unter korrekter Modellspezifikation überschätzt der vorgeschlagene Schätzer $\hat{\tau}^2_Q$ leicht (produziert etwas breitere Intervalle als nötig) im Vergleich zum Plug-in- oder Wang-Wall-Schätzer. Dies wird der inhärenten Verzerrung der $K$-fachen Kreuzvalidierung zugeschrieben, wenn auf Teilmengen der Daten trainiert wird.
• Milde bis schwere Misspezifikation: Mit zunehmender Glattheitsdiskrepanz (z. B. Anpassung eines Squared Exponential an einen Matérn $\nu=1/2$ Prozess) versagen Standard-Schätzer ($\hat{\tau}^2_{K_\theta}$, Wang-Wall) darin, die nominale Abdeckung aufrechtzuerhalten; die Abdeckung sinkt signifikant (z. B. auf ~60-70 % für 95 % Intervalle unter schwerer Misspezifikation).
• Überlegene Performance: Der vorgeschlagene Schätzer $\hat{\tau}^2_Q$ hält konsistent die am nächsten am nominalen Niveau (0,95) liegende Abdeckung über alle Misspezifikationsszenarien hinweg ein. Die Verbesserung ist am ausgeprägtesten an inneren Prädiktionspunkten, an denen die Baseline-BLUP-Varianz klein und sensitiv gegenüber Glattheitsfehlern ist.
• Intervalllänge: Während $\hat{\tau}^2_Q$ unter Misspezifikation breitere Intervalle als der Plug-in-Schätzer produziert, vermeidet er die übermäßige Überkorrektur und hohe Varianz der Intervalllänge, die bei reinen Kreuzvalidierungs-Schätzern ($\hat{\tau}^2_{emp}$) auftritt.

Bedeutung und Behauptungen
Das Papier behauptet, dass sein primärer Beitrag eine robuste Methode zur Schätzung der Prädiktionsvarianz ist, die effektiv bleibt, wenn die Glattheit der Kovarianz misspezifiziert ist – ein in der Praxis häufiges Szenario, in dem der wahre Prozess rauer ist als das angenommene Modell. Die Autoren argumentieren, dass während ihre Methode im Idealfall perfekter Spezifikation leicht überkorrigiert, die Kosten einer Unterdeckung (die bei Standardmethoden unter Misspezifikation auftritt) in der Praxis weitaus schwerwiegender sind.

Die Studie hebt hervor, dass die „Glattheitslücke“ zwischen Arbeits- und wahrem Kovarianzmodell eine persistente Verzerrung erzeugt, die parametrische Bootstraps nicht beheben können, da diese auf der Struktur des Arbeitsmodells beruhen. Durch die Nutzung der Diskrepanz zwischen modellbasierten und modellfreien (Kreuzvalidierung) Schätzern ermöglicht die vorgeschlagene Methode die Lokalisierung und Korrektur dieses strukturellen Fehlers. Die Autoren kommen zu dem Schluss, dass dieser korrigierte Schätzer für Praktiker, die mit realen Daten arbeiten, bei denen die wahre Kovarianzfamilie unbekannt ist, eine notwendige Absicherung gegen zu selbstbewusste und ungenaue Prädiktionsintervalle bietet.