📊 statistics

Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

Dieser Artikel zeigt, dass empirische p-Werte, die aus endlichen Referenzstichproben abgeleitet werden, aufgrund induzierter Abhängigkeiten und Varianzverzerrungen von der erwarteten Gleichverteilung abweichen, was eine Überarbeitung der Backtesting-Kalibrierungsmethoden erfordert, die die zugrunde liegende zweistufige Stichprobenstruktur berücksichtigen, anstatt sie als unabhängige gleichverteilte Zufallsziehungen zu behandeln.

Ursprüngliche Autoren: Jakub Lis

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jakub Lis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „perfekte Karte" versus die „grobe Skizze"

Stellen Sie sich vor, Sie versuchen zu beurteilen, wie „durchschnittlich" eine neue Person im Vergleich zu einer Gruppe von Menschen ist, die Sie bereits kennen.

In der perfekten Welt der Statistik (die Theorie) haben Sie eine „Gott-Perspektive". Sie kennen die exakte, perfekte Karte der Verteilung aller Menschen auf der Welt. Wenn Sie eine neue Person nehmen und fragen: „Welcher Prozentsatz der Menschen ist kleiner als Sie?", lautet die Antwort eine Wahrscheinlichkeitsintegraltransformation (PIT). Wenn Ihr Modell korrekt ist, sollten diese Antworten perfekt zufällige Zahlen zwischen 0 und 1 sein, wie das Ziehen einer Zahl aus einem Hut.

Das Problem: In der realen Welt (die Praxis) haben wir keine perfekte Karte. Wir haben nur eine Referenzstichprobe – eine kleine Gruppe von Menschen, die wir bisher gemessen haben. Um die Frage „Welcher Prozentsatz ist kleiner?" zu beantworten, müssen wir basierend auf unserer kleinen Gruppe raten. Wir erstellen eine „grobe Skizze" der Verteilung unter Verwendung dieser begrenzten Daten.

Die Entdeckung des Papiers: Der Autor, Jakub Lis, weist auf eine versteckte Falle hin. Wenn wir diese „grobe Skizze" (die empirische Schätzung) anstelle der „perfekten Karte" verwenden, hören die Zahlen, die wir erhalten, auf, sich wie zufällige Zahlen zu verhalten. Sie werden verzerrt. Wenn wir sie so behandeln, als wären sie perfekte Zufallszahlen, liefern unsere statistischen Tests falsche Antworten.

Die drei Szenarien: Wie wir die Skizze erstellen

Das Papier untersucht drei verschiedene Wege, auf denen Menschen versuchen, diese „grobe Skizze" zu erstellen, um ihre Modelle zu testen. Jede Methode bricht die Regeln auf unterschiedliche Weise.

1. Die Methode „Eine feste Gruppe" (Common-Sample)

Die Analogie: Stellen Sie sich vor, Sie sind ein Lehrer, der 100 Schüler bewertet. Um zu entscheiden, ob ein Schüler „durchschnittlich" ist, vergleichen Sie ihn mit einer einzigen, festen Klasse von 50 Schülern, die Sie zu Beginn des Jahres gemessen haben. Sie verwenden dieselbe Klasse von 50, um jeden einzelnen der 100 neuen Schüler zu bewerten.

Was schiefgeht:
Da Sie dieselben 50 Schüler für alle verwenden, wird jeder Fehler oder jede Seltsamkeit in dieser spezifischen Gruppe von 50 auf alle 100 neuen Bewertungen übertragen.

Wenn diese Gruppe von 50 zufällig ungewöhnlich groß war, verschiebt sich Ihre „durchschnittliche" Linie für alle nach oben.
Das Papier zeigt, dass die Mathematik hier nicht mehr wie ein „Ein-Stichproben-Test" (Überprüfung einer Gruppe gegen eine perfekte Regel) aussieht, sondern wie ein „Zwei-Stichproben-Test" (Vergleich zweier unordentlicher Gruppen miteinander).
Das Ergebnis: Wenn Sie Standardtests verwenden, die davon ausgehen, dass die Zahlen unabhängig sind, erhalten Sie Fehlalarme. Sie könnten denken, Ihr Modell sei kaputt, obwohl es in Ordnung ist, oder umgekehrt.

2. Die Methode „Frische Gruppe für jeden" (Unabhängige Referenz)

Die Analogie: Stellen Sie sich nun vor, dass Sie für jeden der 100 Schüler eine brandneue, andere Gruppe von 50 Schülern hervorholen, um sie damit zu vergleichen.

Was richtig läuft:
Dies ist die einzige Methode, die gut funktioniert. Da das „Rauschen" oder die Fehler in den Referenzgruppen für jeden Schüler unterschiedlich sind, heben sie sich gegenseitig auf.

Eine Gruppe könnte zu groß sein, die nächste zu klein. Wenn man sie alle mittelt, verschwinden die Fehler.
Das Ergebnis: Die Zahlen verhalten sich fast genau so, wie sie sollten. Die Standardtests funktionieren hier, weil die „grobe Skizzen" im Durchschnitt wie die „perfekte Karte" aussehen.

3. Die Methode „Schiebendes Fenster" (Rolling Window)

Die Analogie: Dies ist wie eine Schiebetür. Sie vergleichen einen Schüler mit den 50 Personen, die kurz vor ihm durch die Tür gegangen sind. Dann geht dieser Schüler durch die Tür und wird Teil der Gruppe für die nächste Person.

Was schiefgeht:
Dies erzeugt eine Kettenreaktion.

Schüler A hilft, die Gruppe für Schüler B zu definieren.
Schüler B (der von A beeinflusst wurde) hilft, die Gruppe für Schüler C zu definieren.
Die Zahlen sind nicht mehr unabhängig; sie sind „klebrig" oder autokorreliert.
Das Ergebnis: Das Papier stellt fest, dass diese Methode die natürliche „Wackelbewegung" oder Varianz in den Daten unterdrückt. Die Zahlen sehen zu stabil, zu perfekt aus. Wenn Sie einen Standardtest darauf anwenden, könnten Sie echte Probleme übersehen, weil die Daten täuschend glatt aussehen.

Die Kernaussage

Das Papier argumentiert, dass wir diese „grobe Skizzen" (empirische p-Werte) so behandelt haben, als wären sie „perfekte Karten".

Der Fehler: Wir gehen davon aus, dass, weil die Theorie besagt, die Zahlen sollten gleichverteilt (zufällig) sein, die Zahlen, die wir aus realen Daten berechnen, ebenfalls gleichverteilt sind.
Die Realität: Der Akt des Schätzens der Karte unter Verwendung einer endlichen Stichprobe verändert die Natur der Zahlen.
- Wenn Sie eine feste Gruppe verwenden, führen Sie tatsächlich einen Zwei-Gruppen-Vergleich durch, keine Ein-Gruppen-Überprüfung.
- Wenn Sie ein schiebendes Fenster verwenden, sind Ihre Zahlen wie eine Kette miteinander verknüpft, was die Regel der Unabhängigkeit bricht.

Das Fazit:
Um dies zu beheben, können wir nicht einfach die Standard-„Goodness-of-Fit"-Tests (wie den Kolmogorov-Smirnov-Test) verwenden, die davon ausgehen, dass die Daten unabhängig und perfekt gleichverteilt sind. Wir benötigen neue, revidierte Methoden, die berücksichtigen, dass wir unsere Karte aus einer begrenzten Vorratsmenge an Ziegeln bauen. Wenn wir dies nicht anpassen, könnte unser Backtesting (die Überprüfung, ob unsere Risikomodelle funktionieren) irreführend sein.

Technisches Fazit: Warum empirische p-Werte nicht gleichverteilt sind

Problemstellung
Der Artikel adressiert eine fundamentale Diskrepanz zwischen den theoretischen Eigenschaften der Wahrscheinlichkeitsintegraltransformation (PIT) und ihrer praktischen Umsetzung bei der Modellvalidierung und im Backtesting. Theoretisch folgt die transformierte Variable $F_X(X)$ einer Gleichverteilung auf $[0, 1]$ , wenn $X$ eine stetige Zufallsvariable mit der Verteilungsfunktion (CDF) $F_X$ ist. Diese Eigenschaft bildet die Grundlage für die Verwendung von PITs und empirischen p-Werten zur Bewertung der Kalibrierung von Vorhersageverteilungen, eine Praxis, die in Bereichen von der Ensemble-Prognose bis zum Finanzrisikomanagement (z. B. Leitlinien der Europäischen Zentralbank) weit verbreitet ist.

In der Praxis ist die wahre Verteilung $F_X$ jedoch unbekannt. Folglich müssen Praktiker Perzentile anhand endlicher Referenzstichproben schätzen. Der Artikel argumentiert, dass dieser Schätzwert die statistische Struktur des Problems grundlegend verändert. Insbesondere ist die Behandlung empirischer Perzentile als unabhängige Ziehungen aus einer Gleichverteilung falsch; die resultierenden Statistiken folgen selbst bei korrekter Modellspezifikation nicht der erwarteten Gleichverteilung, wodurch klassische einseitige Anpassungstests (wie der Kolmogorov-Smirnov-Test) bei direkter Anwendung auf diese empirischen Werte ungültig werden.

Methodik
Der Autor kombiniert theoretische Zerlegung und Monte-Carlo-Simulationen, um die Verteilungseigenschaften empirischer p-Werte unter drei unterschiedlichen Implementierungsrahmen zu analysieren:

Einzelne Bedingungsstichprobe (Feste Referenz): Alle Beobachtungen werden gegen eine einzige, feste Referenzstichprobe der Größe $n$ bewertet. Das empirische Perzentil $\hat{p}(x)$ wird durch Interpolation der Ordnungsstatistiken dieser Referenzstichprobe konstruiert.
Unabhängige Referenzstichproben: Jede Beobachtung wird gegen eine separate, unabhängige Referenzstichprobe bewertet. Dieser Rahmen imitiert den „Rank-Histogramm"-Ansatz, der in der Ensemble-Prognose verwendet wird.
Rolling-Window-Rahmen: Empirische p-Werte werden unter Verwendung eines gleitenden Fensters vorheriger Beobachtungen berechnet, wobei jede neue Beobachtung in den Referenzsatz für nachfolgende Bewertungen eingeht.

Die Analyse stützt sich auf die Zerlegung der empirischen Verteilungsfunktion der transformierten Werte, $F_m$ , relativ zur Gleichverteilung $F_U$ . Der Artikel nutzt den Satz von Donsker, um das asymptotische Verhalten empirischer Prozesse zu charakterisieren, und vergleicht die resultierenden Kolmogorov-Smirnov-(KS)-Statistiken und p-Werte mit ihren theoretischen Gegenstücken.

Hauptbeiträge und Ergebnisse

Zerlegung der Varianz (Feste Referenz):
Der Artikel zeigt, dass bei Verwendung einer einzigen Referenzstichprobe die empirische Verteilung der transformierten Werte eine Überlagerung zweier Zufälligkeitsquellen darstellt:
1. Stichprobenvariabilität aus den bewerteten Beobachtungen (Ordnung $O_p(m^{-1/2})$ ).
2. Schätzfehler aus der endlichen Referenzstichprobe (Ordnung $O_p(n^{-1/2})$ ).
Die Zerlegung wird ausgedrückt als $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$ , wobei $\tilde{F}$ die durch die Referenzstichprobe induzierte zufällige Verteilung ist. Die Ergebnisse zeigen, dass sich die resultierende KS-Statistik asymptotisch wie eine zweistichprobenige KS-Statistik verhält und nicht wie eine einseitige Statistiken. Numerische Experimente bestätigen, dass die Streuung empirischer p-Werte und der resultierenden KS-Statistiken kaum von denen zu unterscheiden ist, die beim Vergleich zweier unabhängiger Stichproben entstehen. Folglich führt die Anwendung standardisierter einseitiger Gleichheitstests zu verzerrten Schlussfolgerungen und systematischen Ablehnungsraten.
Minderung durch unabhängige Stichproben:
Im Rahmen, in dem jede Beobachtung ihre eigene unabhängige Referenzstichprobe hat, mittelt sich das mit den Referenzstichproben verbundene Schätzrauschen über die Beobachtungen hinweg aus. Der Artikel zeigt, dass in diesem Setting die Streuung empirischer Perzentile eng derjenigen exakter Perzentile folgt. Obwohl Rauschen vorhanden ist, behalten die transformierten Werte die statistischen Eigenschaften der zugrunde liegenden Stichprobe bei, und die Korrelation zwischen exakten und empirischen KS-Statistiken bleibt erkennbar.
Abhängigkeit in Rolling Windows:
Die Rolling-Window-Implementierung führt zu Autokorrelation und Varianzunterdrückung. Da jede Beobachtung ihren eigenen p-Wert bestimmt und anschließend in den Referenzsatz für zukünftige Bewertungen eingeht, ist die Sequenz der empirischen p-Werte nicht mehr unabhängig. Simulationen deuten darauf hin, dass, wenn die Anzahl der bewerteten Beobachtungen ( $m$ ) mit der Fenstergröße ( $n$ ) vergleichbar ist, die Korrelation zwischen den KS-Statistiken exakter und empirischer p-Werte zusammenbricht. Die empirischen p-Werte weisen eine systematisch reduzierte Volatilität im Vergleich zu wahren p-Werten auf, was standardmäßige Backtesting-Verfahren irreführend macht.

Bedeutung und Behauptungen
Der Artikel behauptet, dass die strukturelle Diskrepanz zwischen theoretischen PITs und ihrer empirischen Schätzung die direkte Anwendbarkeit klassischer Anpassungsverfahren in Standard-Backtesting-Kontexten ungültig macht. Die primäre Bedeutung der Arbeit liegt in der Identifizierung, dass empirische p-Werte keine unabhängigen Gleichverteilungsziehungen sind, sondern vielmehr von einer zweistufigen Stichprobenstruktur bestimmt werden.

Der Autor kommt zu dem Schluss, dass:

Implementierungen mit gemeinsamer Stichprobe das Problem effektiv in einen zweistichprobenigen Vergleich umwandeln, was überarbeitete Kalibrierungsmethoden erfordert, die die Größe und Variabilität der Referenzstichprobe berücksichtigen.
Rolling-Window-Implementierungen komplexe Abhängigkeitsstrukturen (Autokorrelation) einführen, die die statistische Inferenz weiter verzerren.
Aktuelle regulatorische und praktische Backtesting-Verfahren, die auf PITs basieren, überarbeitet werden müssen, um diese durch Schätzung verursachten Verzerrungen zu berücksichtigen, insbesondere wenn Referenzstichproben endlich und über Beobachtungen hinweg geteilt sind.

Der Artikel schlägt keinen spezifischen neuen Teststatistik vor, sondern fordert eine Neubewertung der Verteilung der Nullhypothese in bestehenden Rahmenwerken, um die zugrunde liegende zweistichprobenige oder abhängige Natur des Datengenerierungsprozesses widerzuspiegeln.