📊 statistics

Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

Ce papier démontre que les p-values empiriques dérivées d'échantillons de référence finis s'écartent de la distribution uniforme attendue en raison de dépendances induites et de distorsions de variance, ce qui nécessite des méthodes de recalibrage de backtesting révisées qui tiennent compte de la structure d'échantillonnage à deux étapes sous-jacente plutôt que de les traiter comme des tirages uniformes indépendants.

Auteurs originaux : Jakub Lis

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jakub Lis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : La « Carte Parfaite » contre l'« Ébauche Grossière »

Imaginez que vous essayez de juger à quel point une nouvelle personne est « moyenne » par rapport à un groupe de personnes que vous connaissez déjà.

Dans le monde parfait des statistiques (la Théorie), vous avez une « vue à vol d'oiseau ». Vous connaissez la carte exacte et parfaite de la répartition de tout le monde dans le monde. Si vous prenez une nouvelle personne et que vous demandez : « Quel pourcentage de personnes est plus petit que vous ? », la réponse est une Transformation Intégrale de Probabilité (PIT). Si votre modèle est correct, ces réponses devraient être des nombres parfaitement aléatoires entre 0 et 1, comme tirer un numéro dans un chapeau.

Le Problème : Dans le monde réel (la Pratique), nous n'avons pas la carte parfaite. Nous n'avons qu'un Échantillon de Référence — un petit groupe de personnes que nous avons mesuré jusqu'ici. Pour répondre à la question « Quel pourcentage est plus petit ? », nous devons deviner en nous basant sur notre petit groupe. Nous créons une « ébauche grossière » de la distribution en utilisant ces données limitées.

La Découverte du Document : L'auteur, Jakub Lis, pointe un piège caché. Lorsque nous utilisons cette « ébauche grossière » (l'estimation empirique) au lieu de la « carte parfaite », les nombres que nous obtenons cessent de se comporter comme des nombres aléatoires. Ils deviennent déformés. Si nous les traitons comme s'ils étaient des nombres aléatoires parfaits, nos tests statistiques nous donneront de mauvaises réponses.

Les Trois Scénarios : Comment nous construisons l'Ébauche

Le document examine trois façons différentes dont les gens tentent de construire cette « ébauche grossière » pour tester leurs modèles. Chaque méthode enfreint les règles d'une manière différente.

1. La Méthode « Un Groupe Fixe » (Échantillon Commun)

L'Analogie : Imaginez que vous êtes un enseignant notant 100 élèves. Pour décider si un élève est « moyen », vous le comparez à un seul et unique groupe fixe de 50 élèves que vous avez mesurés au début de l'année. Vous utilisez ce même groupe de 50 pour noter chacun des 100 nouveaux élèves.

Ce qui se passe mal :
Parce que vous utilisez les mêmes 50 élèves pour tout le monde, toute erreur ou bizarrerie dans ce groupe spécifique de 50 se répercute sur les 100 nouvelles notes.

Si ce groupe de 50 s'est avéré être exceptionnellement grand, votre ligne de « moyenne » se décale vers le haut pour tout le monde.
Le document montre que les mathématiques ici cessent de ressembler à un « Test à un Échantillon » (vérifier un groupe contre une règle parfaite) et commencent à ressembler à un « Test à Deux Échantillons » (comparer deux groupes désordonnés l'un à l'autre).
Le Résultat : Si vous utilisez des tests standards qui supposent que les nombres sont indépendants, vous obtiendrez de fausses alertes. Vous pourriez penser que votre modèle est cassé alors qu'il est en fait bon, ou vice versa.

2. La Méthode « Groupe Frais pour Chacun » (Référence Indépendante)

L'Analogie : Maintenant, imaginez que pour chacun des 100 élèves, vous sortez un tout nouveau groupe différent de 50 élèves pour les comparer.

Ce qui se passe bien :
C'est la seule méthode qui fonctionne bien. Parce que le « bruit » ou les erreurs dans les groupes de référence sont différents pour chaque élève, ils s'annulent mutuellement.

Un groupe pourrait être trop grand, le suivant trop petit. Lorsque vous les moyennez tous, les erreurs disparaissent.
Le Résultat : Les nombres se comportent presque exactement comme ils devraient. Les tests standards fonctionnent ici car les « ébauches grossières » se moyennent pour ressembler à la « carte parfaite ».

3. La Méthode « Fenêtre Glissante » (Fenêtre Roulante)

L'Analogie : C'est comme une porte coulissante. Vous comparez un élève aux 50 personnes qui sont passées par la porte juste avant lui. Ensuite, cet élève passe par la porte et devient partie du groupe pour la prochaine personne.

Ce qui se passe mal :
Cela crée un effet domino.

L'Élève A aide à définir le groupe pour l'Élève B.
L'Élève B (qui a été influencé par A) aide à définir le groupe pour l'Élève C.
Les nombres ne sont plus indépendants ; ils sont « collants » ou autocorrélés.
Le Résultat : Le document constate que cette méthode supprime le « balancement » ou la variance naturelle des données. Les nombres semblent trop stables, trop parfaits. Si vous exécutez un test standard sur cela, vous pourriez manquer de vrais problèmes parce que les données semblent trompeusement lisses.

L'Essentiel à Retenir

Le document soutient que nous avons traité ces « ébauches grossières » (valeurs p empiriques) comme s'il s'agissait de « cartes parfaites ».

L'Erreur : Nous supposons que parce que la théorie dit que les nombres devraient être uniformes (aléatoires), les nombres que nous calculons à partir de données réelles sont également uniformes.
La Réalité : L'acte de estimer la carte en utilisant un échantillon fini change la nature des nombres.
- Si vous utilisez un groupe fixe, vous effectuez en réalité une comparaison à deux groupes, et non une vérification à un groupe.
- Si vous utilisez une fenêtre glissante, vos nombres sont liés les uns aux autres comme une chaîne, brisant la règle de l'indépendance.

La Conclusion :
Pour corriger cela, nous ne pouvons pas simplement utiliser les tests standards d'« adéquation » (comme le test de Kolmogorov–Smirnov) qui supposent que les données sont indépendantes et parfaitement uniformes. Nous avons besoin de nouvelles méthodes révisées qui tiennent compte du fait que nous construisons notre carte à partir d'un approvisionnement limité de briques. Si nous ne nous ajustons pas à cela, notre backtesting (vérification si nos modèles de risque fonctionnent) pourrait être trompeur.

Résumé technique : Pourquoi les valeurs p empiriques ne sont pas uniformes

Énoncé du problème
L'article traite d'une divergence fondamentale entre les propriétés théoriques de la transformée intégrale de probabilité (PIT) et sa mise en œuvre pratique dans la validation de modèles et les tests de retour. Théoriquement, si $X$ est une variable aléatoire continue avec une fonction de répartition (CDF) $F_X$ , la variable transformée $F_X(X)$ suit une loi uniforme sur $[0, 1]$ . Cette propriété fonde l'utilisation des PIT et des valeurs p empiriques pour évaluer l'étalonnage des distributions prédictives, une pratique largement adoptée dans des domaines allant de la prévision d'ensembles à la gestion des risques financiers (par exemple, les lignes directrices de la Banque centrale européenne).

Cependant, en pratique, la vraie distribution $F_X$ est inconnue. Par conséquent, les praticiens doivent estimer les percentiles à l'aide d'échantillons de référence finis. L'article soutient que cette étape d'estimation modifie fondamentalement la structure statistique du problème. Plus précisément, traiter les percentiles empiriques comme des tirages indépendants d'une loi uniforme est incorrect ; les statistiques résultantes ne suivent pas la loi uniforme attendue, même sous une spécification correcte du modèle, invalidant ainsi les tests classiques d'adéquation à une loi (tels que le test de Kolmogorov–Smirnov) lorsqu'ils sont appliqués directement à ces valeurs empiriques.

Méthodologie
L'auteur utilise une combinaison de décomposition théorique et de simulations de Monte Carlo pour analyser les propriétés de distribution des valeurs p empiriques dans trois cadres de mise en œuvre distincts :

Échantillon de conditionnement unique (Référence fixe) : Toutes les observations sont évaluées par rapport à un seul échantillon de référence fixe de taille $n$ . Le percentile empirique $\hat{p}(x)$ est construit par interpolation des statistiques d'ordre de cet échantillon de référence.
Échantillons de référence indépendants : Chaque observation est évaluée par rapport à un échantillon de référence distinct et indépendant. Ce cadre imite l'approche de l'« histogramme de rangs » utilisée dans la prévision d'ensembles.
Cadre à fenêtre glissante : Les valeurs p empiriques sont calculées à l'aide d'une fenêtre mobile d'observations précédentes, où chaque nouvelle observation entre dans l'ensemble de référence pour les évaluations ultérieures.

L'analyse repose sur la décomposition de la fonction de répartition empirique des valeurs transformées, $F_m$ , par rapport à la loi uniforme $F_U$ . L'article utilise le théorème de Donsker pour caractériser le comportement asymptotique des processus empiriques et compare les statistiques de Kolmogorov–Smirnov (KS) et les valeurs p résultantes à leurs contreparties théoriques.

Contributions et résultats clés

Décomposition de la variance (Référence fixe) :
L'article démontre que lorsqu'un seul échantillon de référence est utilisé, la distribution empirique des valeurs transformées est une superposition de deux sources d'aléa :
1. La variabilité d'échantillonnage provenant des observations évaluées (ordre $O_p(m^{-1/2})$ ).
2. L'erreur d'estimation provenant de l'échantillon de référence fini (ordre $O_p(n^{-1/2})$ ).
La décomposition s'exprime comme $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$ , où $\tilde{F}$ est la distribution aléatoire induite par l'échantillon de référence. Les résultats montrent que la statistique KS résultante se comporte asymptotiquement comme une statistique KS à deux échantillons plutôt que comme une statistique à un échantillon. Des expériences numériques confirment que la dispersion des valeurs p empiriques et les statistiques KS résultantes sont presque indiscernables de celles générées par la comparaison de deux échantillons indépendants. Par conséquent, l'application de tests d'uniformité à un échantillon standards conduit à des inférences déformées et à des taux de rejet systématiques.
Atténuation par échantillons indépendants :
Dans le cadre où chaque observation possède son propre échantillon de référence indépendant, le bruit d'estimation associé aux échantillons de référence s'annule en moyenne sur les observations. L'article montre que dans ce contexte, la dispersion des percentiles empiriques suit étroitement celle des percentiles exacts. Bien que du bruit soit présent, les valeurs transformées conservent les propriétés statistiques de l'échantillon sous-jacent, et la corrélation entre les statistiques KS exactes et empiriques reste évidente.
Dépendance dans les fenêtres glissantes :
La mise en œuvre à fenêtre glissante introduit une autocorrélation et une suppression de la variance. Parce que chaque observation détermine sa propre valeur p et entre ensuite dans l'ensemble de référence pour les évaluations futures, la séquence des valeurs p empiriques n'est plus indépendante. Les simulations indiquent que lorsque le nombre d'observations évaluées ( $m$ ) est comparable à la taille de la fenêtre ( $n$ ), la corrélation entre les statistiques KS des valeurs p exactes et empiriques s'effondre. Les valeurs p empiriques présentent une volatilité systématiquement réduite par rapport aux vraies valeurs p, rendant les procédures de test de retour standards trompeuses.

Importance et affirmations
L'article affirme que le décalage structurel entre les PIT théoriques et leur estimation empirique invalide l'applicabilité directe des procédures classiques d'adéquation à une loi dans les contextes standards de test de retour. L'importance principale de ce travail réside dans l'identification du fait que les valeurs p empiriques ne sont pas des tirages uniformes indépendants, mais sont plutôt régies par une structure d'échantillonnage à deux étapes.

L'auteur conclut que :

Les implémentations à échantillon commun convertissent efficacement le problème en une comparaison à deux échantillons, nécessitant des méthodes d'étalonnage révisées qui tiennent compte de la taille et de la variabilité de l'échantillon de référence.
Les implémentations à fenêtre glissante introduisent des structures de dépendance complexes (autocorrélation) qui déforment davantage l'inférence statistique.
Les procédures actuelles de test de retour réglementaires et pratiques basées sur les PIT nécessitent une révision pour tenir compte de ces distorsions induites par l'estimation, en particulier lorsque les échantillons de référence sont finis et partagés entre les observations.

L'article ne propose pas de nouvelle statistique de test spécifique, mais appelle plutôt à une réévaluation de la distribution de l'hypothèse nulle dans les cadres existants afin de refléter la nature à deux échantillons ou dépendante du processus de génération de données sous-jacent.