Testing the statistical compatibility of data sets with a common prior

Résumé Technique : Test de la compatibilité statistique de jeux de données avec un a priori commun

Énoncé du problème
En physique fondamentale, un défi statistique fondamental consiste à tester la compatibilité de plusieurs jeux de données au sein d'un même modèle théorique. Le test de la Qualité d'ajustement des paramètres (PG - Parameter Goodness-of-fit), introduit initialement dans la Réf. [1], fournit un cadre fréquentiste à cet effet. Cependant, le test PG standard repose sur l'hypothèse que les jeux de données comparés sont statistiquement indépendants.

Dans de nombreux scénarios pratiques, cette indépendance est violée car les paramètres du modèle sont contraints par un « a priori » commun (un jeu de données auxiliaire ou une connaissance externe). Cet a priori contraint souvent des paramètres de nuisance (par exemple, les incertitudes systématiques comme les normalisations de flux ou de section efficace) ou des paramètres de modèle spécifiques. Lorsqu'un a priori commun est imposé, les jeux de données deviennent statistiquement corrélés par les fluctuations partagées de l'a priori. Par conséquent, la statistique du test PG standard, qui suit une distribution $\chi^2$ sous l'hypothèse d'indépendance, n'est plus valide. L'article traite de la nécessité d'un test statistique généralisé capable de gérer ce scénario contraint par un a priori.

Méthodologie et cadre théorique
Les auteurs proposent deux statistiques de test modifiées, notées $\text{PG}^*$ et $\text{PG}^+$, pour évaluer la compatibilité de deux jeux de données ($A$ et $B$) soumis à un a priori commun ($P$). L'analyse est menée dans un cadre fréquentiste utilisant des fonctions $\chi^2$, en supposant une approximation gaussienne au voisinage des minima de $\chi^2$.

1. Définitions :

   • $\text{PG}^*$ : Défini comme la différence entre le minimum global du $\chi^2$ combiné (incluant l'a priori) et la somme des minima individuels des jeux de données (incluant l'a priori). Contrairement au PG standard, cette quantité n'est pas strictement positive et peut prendre des valeurs négatives.
   • $\text{PG}^+$ : Défini comme la somme des valeurs de $\Delta\chi^2$ pour chaque jeu de données par rapport au meilleur ajustement global. Cette construction garantit que la statistique est strictement non négative.

2. Dérivation de la distribution :
   Les auteurs dérivent les distributions analytiques de ces statistiques sous l'approximation gaussienne. Ils démontrent que ni la statistique $\text{PG}^*$ ni la statistique $\text{PG}^+$ ne suivent une simple distribution $\chi^2$. Elles suivent au contraire une distribution $\chi^2$ généralisée, qui est une combinaison linéaire de variables $\chi^2$ indépendantes avec des coefficients spécifiques.

   • Pour $\text{PG}^*$, la distribution est dérivée de la théorie des formes quadratiques. Dans le cas d'un paramètre de modèle ($p=1$) et d'un paramètre de nuisance ($q=1$), il est montré que la statistique est distribuée comme $X_0 + \rho_{AB}(X_1 - X_2)$, où les $X_i$ sont des variables $\chi^2_1$ indépendantes et $\rho_{AB}$ est un paramètre de corrélation déterminé par la variance de l'a priori par rapport aux variances des données.
   • Pour $\text{PG}^+$, la distribution est de manière similaire dérivée, impliquant les valeurs propres d'une matrice construite à partir des vecteurs de corrélation des écarts.
   • Les auteurs fournissent les fonctions caractéristiques pour ces deux statistiques, permettant le calcul numérique des fonctions de densité de probabilité (PDF) et des fonctions de répartition (CDF) afin d'obtenir les p-valeurs.

3. Cas limites :

   • Limite de l'a priori fort : Lorsque la contrainte de l'a priori est beaucoup plus forte que celle des données ($s_P \to 0$), les deux statistiques convergent vers le test PG standard pour le modèle non contraint, suivant une distribution $\chi^2_p$ standard.
   • Limite de l'a priori faible : Lorsque l'a priori est très faible ($s_P \to \infty$), le comportement diffère. $\text{PG}^*$ ne converge pas vers un $\chi^2$ standard mais reste une distribution généralisée. En revanche, $\text{PG}^+$ converge vers le test PG standard pour les jeux de données non contraints (distribué comme $\chi^2_{p+q}$).

Contributions clés

• Généralisation du test PG : L'article étend le test PG aux scénarios impliquant des a priori communs, une situation où les méthodes standard échouent en raison des corrélations induites.
• Deux variantes : L'introduction de $\text{PG}^*$ et $\text{PG}^+$ offre une certaine flexibilité. $\text{PG}^+$ est strictement positif et converge vers les limites standards dans les régimes d'a priori fort et faible, tandis que $\text{PG}^*$ fournit une pondération différente du terme d'a priori.
• Solutions analytiques : La dérivation des distributions $\chi^2$ généralisées et de leurs fonctions caractéristiques permet le calcul exact des p-valeurs sans dépendre de simulations de Monte Carlo coûteuses en calcul pour chaque nouvelle configuration de jeu de données.
• Outil de diagnostic : Les auteurs montrent que la comparaison des p-valeurs de $\text{PG}^*$ et $\text{PG}^+$ peut aider à diagnostiquer l'origine de la tension. Puisque $\text{PG}^+$ accorde plus de poids au terme de l'a priori, une divergence significative entre les deux p-valeurs peut indiquer si la tension provient principalement du décalage entre l'a priori et les données, ou du décalage entre les données elles-mêmes.

Résultats numériques et validation
Les dérivations théoriques ont été validées par des simulations de Monte Carlo de type « Toy » inspirées des mesures de disparition d'oscillations de neutrinos.

• Hypothèse nulle : Les simulations ont confirmé que les distributions numériques de $\text{PG}^*$ et $\text{PG}^+$ concordent parfaitement avec les distributions $\chi^2$ généralisées analytiques dérivées.
• Hypothèses alternatives : Les auteurs ont testé des scénarios où les jeux de données et/ou l'a priori étaient générés avec des valeurs de paramètres réelles conflictuelles (tension). Les tests ont détecté avec succès cette tension, la sensibilité médiane (puissance du test) ayant été quantifiée pour les deux statistiques.
• Comparaison : Sous l'hypothèse nulle, il est plus probable d'obtenir une p-valeur plus grande pour $\text{PG}^+$ que pour $\text{PG}^*$. Cela est attribué à la construction de $\text{PG}^+$, qui le rend moins sensible aux fluctuations statistiques des jeux de données individuels par rapport au terme de l'a priori.

Signification et revendications
L'article affirme fournir une méthode robuste et analytiquement traitable pour évaluer la compatibilité des jeux de données lorsqu'un a priori commun est présent. La signification réside dans :

1. Correction d'un défaut statistique : Il résout le problème de l'application du test PG standard à des jeux de données corrélés, ce qui produirait autrement des p-valeurs incorrectes.
2. Utilité pratique : En fournissant un script Python (Réf. [12]) pour calculer les distributions basées sur des matrices de covariance, les auteurs offrent une recette simple pour que les praticiens puissent calculer les p-valeurs dans la limite gaussienne.
3. Capacité de diagnostic : La capacité de distinguer la source de la tension (a priori vs données) via la comparaison des p-valeurs de $\text{PG}^*$ et $\text{PG}^+$ est présentée comme un outil de diagnostic précieux pour la validation de modèles.

Les auteurs restent modestes quant à la portée de leurs travaux, notant que leurs résultats sont dérivés sous l'approximation gaussienne et supposent une dépendance linéaire des paramètres. Ils reconnaissent qu'une étude détaillée avec des données de neutrinos réelles, où les non-linéarités et les limites peuvent être significatives, est un sujet pour des travaux futurs (Réf. [19]). L'article ne propose pas de nouvelles configurations expérimentales, mais plutôt un cadre statistique applicable aux analyses existantes ou futures dans des domaines tels que la physique des neutrinos et la cosmologie.