📊 statistics

Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

Dit artikel toont aan dat empirische p-waarden afgeleid van eindige referentiestalen afwijken van de verwachte uniforme verdeling door geïnduceerde afhankelijkheid en variatievervormingen, wat herziene backtesting-calibratiemethoden vereist die rekening houden met de onderliggende tweestapssteekproefstructuur in plaats van ze te behandelen als onafhankelijke uniforme trekkingen.

Oorspronkelijke auteurs: Jakub Lis

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jakub Lis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Perfecte Kaart" versus de "Ruwe Schets"

Stel je voor dat je moet beoordelen hoe "gemiddeld" een nieuwe persoon is in vergelijking met een groep mensen die je al kent.

In de perfecte wereld van de statistiek (de Theorie) heb je een "Godsblik". Je kent de exacte, perfecte kaart van hoe iedereen in de wereld is verdeeld. Als je een nieuwe persoon neemt en vraagt: "Welk percentage mensen is korter dan jij?", dan is het antwoord een Probability Integral Transform (PIT). Als je model correct is, zouden deze antwoorden perfect willekeurige getallen moeten zijn tussen 0 en 1, alsof je een nummer uit een hoed trekt.

Het Probleem: In de echte wereld (de Praktijk) hebben we niet de perfecte kaart. We hebben alleen een Referentiesteekproef—een kleine groep mensen die we tot nu toe hebben gemeten. Om de vraag "Welk percentage is korter?" te beantwoorden, moeten we raden op basis van onze kleine groep. We maken een "ruwe schets" van de verdeling met deze beperkte data.

De Ontdekking van het Artikel: De auteur, Jakub Lis, wijst op een verborgen valstrik. Wanneer we deze "ruwe schets" (de empirische schatting) gebruiken in plaats van de "perfecte kaart", gedragen de getallen die we krijgen zich niet langer als willekeurige getallen. Ze worden vervormd. Als we ze behandelen alsof het perfecte willekeurige getallen zijn, zullen onze statistische toetsen ons de verkeerde antwoorden geven.

De Drie Scenario's: Hoe We de Schets Maken

Het artikel bekijkt drie verschillende manieren waarop mensen proberen deze "ruwe schets" te maken om hun modellen te testen. Elke methode breekt de regels op een andere manier.

1. De "Eén Vaste Groep" Methode (Common-Sample)

De Analogie: Stel je voor dat je een leraar bent die 100 studenten beoordeelt. Om te beslissen of een student "gemiddeld" is, vergelijk je ze met één enkele, vaste klas van 50 studenten die je aan het begin van het jaar hebt gemeten. Je gebruikt diezelfde klas van 50 om elke één van de 100 nieuwe studenten te beoordelen.

Wat Er Misgaat:
Omdat je dezelfde 50 studenten voor iedereen gebruikt, wordt elke fout of rare eigenschap in die specifieke groep van 50 overgeheveld naar alle 100 nieuwe cijfers.

Als die groep van 50 toevallig ongebruikelijk lang was, verschuift je "gemiddelde" lijn voor iedereen omhoog.
Het artikel toont aan dat de wiskunde hier niet meer lijkt op een "Eén-Staal Toets" (het controleren van één groep tegen een perfecte regel), maar begint te lijken op een "Twee-Staal Toets" (het vergelijken van twee rommelige groepen met elkaar).
Het Resultaat: Als je standaardtoetsen gebruikt die aannemen dat de getallen onafhankelijk zijn, krijg je valse alarmen. Je zou kunnen denken dat je model kapot is terwijl het eigenlijk prima is, of andersom.

2. De "Nieuwe Groep voor Iedereen" Methode (Independent Reference)

De Analogie: Stel je nu voor dat je voor elke van de 100 studenten een hele nieuwe, andere groep van 50 studenten pakt om ze mee te vergelijken.

Wat Er Goed Gaat:
Dit is de enige methode die goed werkt. Omdat de "ruis" of fouten in de referentiegroepen voor elke student verschillend zijn, heffen ze elkaar op.

De ene groep is misschien te lang, de volgende te kort. Als je ze allemaal middelt, verdwijnen de fouten.
Het Resultaat: De getallen gedragen zich bijna precies zoals ze zouden moeten. De standaardtoetsen werken hier omdat de "ruwe schetsen" gemiddeld genomen lijken op de "perfecte kaart".

3. De "Schuifvenster" Methode (Rolling Window)

De Analogie: Dit is als een schuifdeur. Je vergelijkt een student met de 50 mensen die net voor hen door de deur liepen. Vervolgens loopt die student door de deur en wordt onderdeel van de groep voor de volgende persoon.

Wat Er Misgaat:
Dit creëert een kettingreactie.

Student A helpt de groep te definiëren voor Student B.
Student B (die beïnvloed is door A) helpt de groep te definiëren voor Student C.
De getallen zijn niet langer onafhankelijk; ze zijn "plakkerig" of autocorrelatief.
Het Resultaat: Het artikel stelt vast dat deze methode de natuurlijke "wankeling" of variantie in de data onderdrukt. De getallen zien er te stabiel uit, te perfect. Als je een standaardtoets hierop uitvoert, kun je echte problemen missen omdat de data misleidend glad lijkt.

De Kernboodschap

Het artikel betoogt dat we deze "ruwe schetsen" (empirische p-waarden) hebben behandeld alsof het "perfecte kaarten" waren.

De Fout: We gaan ervan uit dat omdat de theorie zegt dat de getallen uniform (willekeurig) zouden moeten zijn, de getallen die we uit echte data berekenen ook uniform zijn.
De Realiteit: De daad van het schatten van de kaart met een eindige steekproef verandert de aard van de getallen.
- Als je één vaste groep gebruikt, voer je eigenlijk een vergelijking uit tussen twee groepen, geen controle van één groep.
- Als je een schuifvenster gebruikt, zijn je getallen met elkaar verbonden als een keten, waardoor de regel van onafhankelijkheid wordt geschonden.

De Conclusie:
Om dit op te lossen, kunnen we niet zomaar de standaard "goodness-of-fit"-toetsen (zoals de Kolmogorov–Smirnov-toets) gebruiken die aannemen dat de data onafhankelijk en perfect uniform is. We hebben nieuwe, herziene methoden nodig die rekening houden met het feit dat we onze kaart bouwen uit een beperkte voorraad stenen. Als we hier geen rekening mee houden, kan onze backtesting (het controleren of onze risicomodellen werken) misleidend zijn.

Technische Samenvatting: Waarom Empirische p-waarden Niet Uniform Zijn

Probleemstelling
Het artikel behandelt een fundamentele discrepantie tussen de theoretische eigenschappen van de Probability Integral Transform (PIT) en de praktische implementatie ervan bij modelvalidatie en backtesting. Theoretisch volgt de getransformeerde variabele $F_X(X)$ , waarbij $X$ een continue stochastische variabele is met cumulatieve verdelingsfunctie (CDF) $F_X$ , een uniforme verdeling op het interval $[0, 1]$ . Deze eigenschap vormt de basis voor het gebruik van PIT's en empirische p-waarden om de kalibratie van voorspellende verdelingen te beoordelen, een praktijk die breed wordt toegepast in sectoren variërend van ensemblevoorspelling tot financieel risicomanagement (bijvoorbeeld richtlijnen van de Europese Centrale Bank).

In de praktijk is de ware verdeling $F_X$ echter onbekend. Bijgevolg moeten practitioners percentielen schatten aan de hand van eindige referentiestalen. Het artikel betoogt dat deze schattingsstap de statistische structuur van het probleem fundamenteel verandert. Specifiek is het onjuist om empirische percentielen te behandelen als onafhankelijke trekkingen uit een uniforme verdeling; de resulterende statistieken volgen zelfs bij een correcte modelspecificatie niet de verwachte uniforme verdeling. Hierdoor worden klassieke een-steekproef toetsen voor goede-aansluiting (zoals de Kolmogorov–Smirnov-toets) ongeldig wanneer deze direct op deze empirische waarden worden toegepast.

Methodologie
De auteur maakt gebruik van een combinatie van theoretische decompositie en Monte Carlo-simulaties om de verdelingseigenschappen van empirische p-waarden te analyseren onder drie verschillende implementatiekaders:

Enkele Conditionerende Steekproef (Vaste Referentie): Alle observaties worden geëvalueerd tegenover één enkele, vaste referentiestaal van omvang $n$ . De empirische percentiel $\hat{p}(x)$ wordt geconstrueerd via interpolatie van de rangstatistieken van deze referentiestaal.
Onafhankelijke Referentiestalen: Elke observatie wordt geëvalueerd tegenover een distincte, onafhankelijke referentiestaal. Dit kader nabootst de "rank histogram"-benadering die wordt gebruikt in ensemblevoorspelling.
Rollend Venster Kader: Empirische p-waarden worden berekend met behulp van een bewegend venster van voorgaande observaties, waarbij elke nieuwe observatie de referentieset voor latere evaluaties binnentreedt.

De analyse steunt op het decomponeren van de empirische verdelingsfunctie van de getransformeerde waarden, $F_m$ , ten opzichte van de uniforme verdeling $F_U$ . Het artikel maakt gebruik van de stelling van Donsker om het asymptotische gedrag van empirische processen te karakteriseren en vergelijkt de resulterende Kolmogorov–Smirnov (KS)-statistieken en p-waarden met hun theoretische tegenhangers.

Belangrijkste Bijdragen en Resultaten

Decompositie van Variantie (Vaste Referentie):
Het artikel toont aan dat wanneer één enkele referentiestaal wordt gebruikt, de empirische verdeling van de getransformeerde waarden een superpositie is van twee bronnen van willekeur:
1. Steekproefvariatie van de geëvalueerde observaties (orde $O_p(m^{-1/2})$ ).
2. Schattingsfout van de eindige referentiestaal (orde $O_p(n^{-1/2})$ ).
De decompositie wordt uitgedrukt als $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$ , waarbij $\tilde{F}$ de door de referentiestaal geïnduceerde willekeurige verdeling is. De resultaten tonen aan dat de resulterende KS-statistiek asymptotisch gedraagt als een twee-steekproef KS-statistiek in plaats van een een-steekproef statistiek. Numerieke experimenten bevestigen dat de spreiding van empirische p-waarden en de resulterende KS-statistieken nauwelijks te onderscheiden zijn van die gegenereerd door het vergelijken van twee onafhankelijke steekproeven. Bijgevolg leidt het toepassen van standaard een-steekproef uniformiteitstesten tot vertekende inferentie en systematische afwijzingspercentages.
Mitigatie via Onafhankelijke Steekproeven:
In het kader waarbij elke observatie zijn eigen onafhankelijke referentiestaal heeft, middelt de schattingsruis geassocieerd met de referentiestalen uit over de observaties. Het artikel toont aan dat in deze setting de spreiding van empirische percentielen nauwkeurig die van exacte percentielen volgt. Hoewel ruis aanwezig is, behouden de getransformeerde waarden de statistische eigenschappen van de onderliggende steekproef, en blijft de correlatie tussen exacte en empirische KS-statistieken evident.
Afhankelijkheid in Rollende Vensters:
De implementatie met rollend venster introduceert autocorrelatie en onderdrukking van variantie. Omdat elke observatie zijn eigen p-waarde bepaalt en vervolgens de referentieset voor toekomstige evaluaties binnentreedt, is de reeks empirische p-waarden niet langer onafhankelijk. Simulaties geven aan dat wanneer het aantal geëvalueerde observaties ( $m$ ) vergelijkbaar is met de venstergrootte ( $n$ ), de correlatie tussen de KS-statistieken van exacte en empirische p-waarden uit elkaar valt. De empirische p-waarden vertonen systematisch verminderde volatiliteit in vergelijking met ware p-waarden, waardoor standaard backtesting-procedures misleidend worden.

Betekenis en Beweringen
Het artikel beweert dat de structurele mismatch tussen theoretische PIT's en hun empirische schatting de directe toepasbaarheid van klassieke procedures voor goede-aansluiting in standaard backtesting-contexten ongeldig maakt. De primaire betekenis van het werk ligt in het identificeren dat empirische p-waarden geen onafhankelijke uniforme trekkingen zijn, maar worden beheerst door een tweestaps steekproefstructuur.

De auteur concludeert dat:

Implementaties met gemeenschappelijke steekproef het probleem effectief omzetten in een twee-steekproef vergelijking, wat herziene kalibratiemethoden vereist die rekening houden met de omvang en variabiliteit van de referentiestaal.
Implementaties met rollend venster complexe afhankelijkheidsstructuren (autocorrelatie) introduceren die de statistische inferentie verder verstoren.
Huidige regelgevende en praktische backtesting-procedures die gebaseerd zijn op PIT's herziening behoeven om rekening te houden met deze door schatting veroorzaakte vertekeningen, met name wanneer referentiestalen eindig zijn en gedeeld worden over observaties.

Het artikel stelt geen specifieke nieuwe toetsstatistiek voor, maar roept op tot een herbeoordeling van de verdeling van de nulhypothese in bestaande kaders om de onderliggende twee-steekproef- of afhankelijke aard van het data-generatieproces te reflecteren.