Confidence, Statistical Evidence and Relative Belief with Applications to a Problem in Particle Physics

Cet article applique les inférences de croyance relative, qui satisfont à la fois l'ordonnancement de vraisemblance bayésien et les exigences de confiance fréquentistes, pour construire des intervalles d'incertitude pour un modèle de signal avec fond de Poisson en physique des particules, démontrant leurs avantages par rapport à l'approche standard de Feldman-Cousins.

L'essentiel

Imaginez que vous êtes un détective essayant de résoudre un mystère dans une pièce très bruyante. Le « mystère » est de savoir si une nouvelle particule rare a été créée lors d'une expérience de physique. Le « bruit » est le rayonnement de fond qui est toujours présent, même lorsqu'il ne se passe rien de nouveau.

Ce document, écrit par Michael Evans et Siqi Zheng, traite de la manière de distinguer une véritable découverte d'un simple bruit aléatoire, et de la manière de mesurer avec quelle certitude nous pouvons répondre à cette question.

Voici la décomposition de leur argument en utilisant des analogies simples :

1. L'objectif : Trouver le signal dans le bruit

En physique des particules, les scientifiques comptent des événements. Parfois, ils observent beaucoup d'événements. Est-ce parce qu'une nouvelle particule a été trouvée (le Signal) ou simplement parce que le bruit de fond est devenu plus fort (le Bruit de fond) ?

Les auteurs soutiennent que la tâche principale des statistiques n'est pas seulement de donner un chiffre ; c'est de révéler une évidence. Ils demandent : Les données pointent-elles réellement vers une nouvelle particule, ou s'agit-il d'un coup de chance ?

2. L'ancienne méthode : L'intervalle « Feldman-Cousins »

Pendant longtemps, les physiciens ont utilisé une méthode appelée l'Intervalle de Confiance de Feldman-Cousins (FCCI).

• L'analogie : Imaginez que vous essayiez de deviner le poids d'un objet caché. Le FCCI est comme un filet de sécurité. Il dit : « Si nous répétions cette expérience 100 fois, 95 de ces filets attraperaient le poids réel. »
• Le problème : Les auteurs soutiennent que, bien que ce filet soit bon pour attraper la vérité sur le long terme, il ne vous dit pas toujours ce que les données actuelles disent réellement.
  • Parfois, le filet inclut des poids que les données indiquent comme étant pourtant improbables (violation de l'« ordre de vraisemblance »).
  • Parfois, il se comporte étrangement. Par exemple, si vous observez zéro événement, le FCCI peut devenir plus petit si vous supposez que le bruit de fond est plus élevé. Les auteurs disent que cela n'a aucun sens : si vous ne voyez rien, votre incertitude sur la nouvelle particule ne devrait pas diminuer simplement parce que vous pensez que le bruit de fond est plus fort.

3. La nouvelle méthode : La « Croyance Relative » et la « Région Plausible »

Les auteurs proposent une approche différente appelée Croyance Relative (Relative Belief).

• L'analogie : Imaginez que vous avez une intuition (un A priori / Prior) sur l'endroit où pourrait se trouver la nouvelle particule. Ensuite, vous obtenez de nouvelles données (l'Évidence).
  • La Croyance Relative demande : « À quel point mon intuition a-t-elle changé après avoir vu les données ? »
  • Si les données rendent une valeur spécifique beaucoup plus probable qu'elle ne l'était auparavant, c'est une évidence en faveur.
  • Si les données rendent une valeur beaucoup moins probable, c'est une évidence contre.
• La Région Plausible : C'est le nouvel « intervalle » proposé par les auteurs. C'est une liste de toutes les valeurs que les données ont renforcées dans notre croyance.
  • Voyez cela comme une « Liste de suspects ». La Région Plausible n'inclut que les suspects que l'évidence a rendus plus probables qu'avant le début de l'enquête.
  • Si un suspect est sur la liste, les données le soutiennent. S'il n'y est pas, les données ne le soutiennent pas.

4. Pourquoi la nouvelle méthode est meilleure (selon l'article)

Les auteurs affirment que la Région Plausible est supérieure pour la science pour trois raisons principales :

1. Elle respecte l'évidence : La Région Plausible est toujours une « Région de Vraisemblance ». Cela signifie qu'elle n'inclut jamais une valeur que les données jugent moins probable qu'une autre valeur située à l'extérieur de la région. Le vieux FCCI viole parfois cette règle.
2. Elle évite l'absurdité : Le FCCI peut parfois produire un résultat qui couvre toutes les valeurs possibles (tout l'espace des paramètres). Les auteurs disent que c'est absurde car si vous dites « cela pourrait être n'importe quoi », vous n'avez rien appris. La Région Plausible ne fait jamais cela ; elle restreint toujours les possibilités en fonction de ce que les données soutiennent réellement.
3. Elle gère mieux le bruit : Dans leurs exemples, lorsque le bruit de fond est élevé ou inconnu, la Région Plausible reste stable et logique. Le FCCI, en revanche, peut se comporter de manière erratique (comme rétrécir lorsqu'il ne le devrait pas).

5. Vérification du travail : « Biais » et « Fiabilité »

Les auteurs savent que les scientifiques s'inquiètent de la fiabilité (préoccupations fréquentistes). Ils ne se contentent pas de dire : « Faites confiance à notre mathématique. » Ils effectuent également des « Tests de Biais ».

• L'analogie : Avant de partir en partie de pêche, vous vérifiez votre bateau pour vous assurer qu'il ne coulera pas.
• Le test : Ils calculent, avant de réaliser l'expérience, la fréquence à laquelle leur méthode pourrait échouer.
  • Biais contre : Combien de fois passons-nous à côté d'une véritable découverte ?
  • Biais en faveur : Combien de fois affirmons-nous une découverte alors qu'il n'y en a pas ?
• Ils montrent qu'en choisissant la bonne quantité de données (taille de l'échantillon), ils peuvent rendre ces erreurs très faibles, garantissant que leur « Région Plausible » est fiable, tout comme les anciennes méthodes, mais sans les failles logiques.

6. Test en conditions réelles : L'expérience sur les neutrinos

L'article teste cela sur une expérience historique réelle (Karmen II) où des scientifiques cherchaient des oscillations de neutrinos.

• Le résultat : Dans la première partie de l'expérience, les données étaient faibles et les résultats dépendaient fortement des intuitions initiales. Mais à mesure que les données arrivaient, la « Région Plausible » s'est stabilisée et a donné une réponse claire : il n'y avait aucune évidence de signal.
• Les auteurs notent que leur méthode a géré le « bruit de fond » (qui était incertain) de manière beaucoup plus naturelle que les anciennes méthodes ne le pouvaient.

Résumé

L'article soutient que si l'ancienne méthode de l'« Intervalle de Confiance » est bonne pour les taux d'erreur à long terme, elle échoue souvent à représenter avec précision ce que les données actuelles nous disent.

Les auteurs proposent la Croyance Relative comme un meilleur outil. Elle crée une Région Plausible qui suit strictement la logique de l'évidence : elle n'inclut que les valeurs que les données ont rendues plus crédibles. Ils prouvent que cette méthode est non seulement logiquement saine, mais aussi suffisamment fiable pour satisfaire aux normes scientifiques strictes, ce qui en fait un meilleur moyen de rapporter des découvertes en physique des particules.

Résumé technique

Résumé technique : Confiance, évidence statistique et croyance relative avec applications à un problème de physique des particules

Énoncé du problème
L'article traite de la difficulté fondamentale de l'analyse statistique consistant à définir et quantifier l'« évidence statistique », particulièrement dans le contexte des expériences de physique des particules impliquant des comptages suivant une loi de Poisson avec un bruit de fond. Les auteurs critiquent l'utilisation prédominante des intervalles de confiance de Feldman-Cousins (FCCI) et d'autres régions de confiance fréquentistes. Bien que ces méthodes satisfassent les exigences de couverture par échantillonnage répété (fréquentistes), les auteurs soutiennent qu'elles ne parviennent pas à représenter correctement l'évidence statistique. Plus précisément, les FCCI peuvent violer l'ordonnancement de la vraisemblance (excluant des valeurs de paramètres ayant une vraisemblance plus élevée que celles incluses) et peuvent produire des régions « impropres » (par exemple, couvrant l'espace des paramètres entier ou excluant des valeurs soutenues par les données) lorsque les paramètres sont contraints (par exemple, $\lambda \ge 0$). Le problème central est de concilier l'objectif évidentiel de révéler ce que les données indiquent avec l'objectif comportemental de garantir la fiabilité de l'inférence sous échantillonnage répété.

Méthodologie : Inférence par croyance relative
Les auteurs proposent et appliquent l'Inférence par Croyance Relative, un cadre bayésien fondé sur le Principe d'Évidence. Ce principe stipule qu'une évidence en faveur d'une hypothèse $H$ existe si la probabilité a posteriori dépasse la probabilité a priori ($P(H|data) > P(H)$), et qu'une évidence contre existe si la probabilité a posteriori est plus faible.

Composantes méthodologiques clés :

1. Rapport de Croyance Relative (RB) : Défini par $RB(\psi | x) = \frac{\pi(\psi|x)}{\pi(\psi)} = \frac{m(x|\psi)}{m(x)}$, où $\pi$ est la loi a priori, $\pi(\cdot|x)$ est la loi a posteriori, et $m$ est la vraisemblance marginale.
   • $RB > 1$ : Évidence en faveur.
   • $RB < 1$ : Évidence contre.
   • $RB = 1$ : Aucune évidence dans un sens ou dans l'autre.
2. Région plausible : L'ensemble des valeurs de paramètres où $RB > 1$. Cette région est garantie d'être une région de vraisemblance (respectant l'ordonnancement de la vraisemblance) et contient toutes les valeurs ayant une évidence en leur faveur.
3. Estimation : L'estimateur de croyance relative est la valeur maximisant le RB, ce qui coïncide avec l'Estimateur du Maximum de Vraisemblance (MLE) sous le modèle marginal.
4. Calculs de biais : Pour traiter la fiabilité fréquentiste, les auteurs emploent des calculs de biais a priori :
   • Biais contre : La probabilité a priori de ne pas trouver d'évidence en faveur d'une valeur vraie (analogue de l'erreur de type I).
   • Biais en faveur : La probabilité a priori de trouver une évidence en faveur d'une valeur fausse de manière significative (analogue de l'erreur de type II).
     Ces éléments sont utilisés dans la conception expérimentale pour sélectionner des tailles d'échantillon garantissant des inférences fiables.
5. Vérification du conflit Prior-Données : La méthodologie inclut une vérification (Evans et Moshonov, 2006) pour s'assurer que le prior ne place pas la valeur réelle dans les queues de la distribution a priori par rapport aux données observées. Si un conflit est détecté, le prior est modifié.

Application à la physique des particules
La méthodologie est appliquée au problème de la détection d'un nouveau signal de particule ($\lambda$) au milieu d'un bruit de fond ($b$), modélisé par $X \sim \text{Poisson}(\lambda + b)$. Deux scénarios sont analysés :

1. Bruit de fond connu ($b$ est connu) : Une loi Gamma est placée sur $\lambda$. L'intervalle plausible est construit, et ses propriétés de couverture fréquentiste et de biais sont évaluées.
2. Bruit de fond inconnu ($b$ est inconnu) : Des lois Gamma indépendantes sont placées sur $\lambda$ et $b$. Le paramètre de nuisance $b$ est intégré pour former un modèle marginal pour $\lambda$. Le même cadre de croyance relative est appliqué.

Résultats clés

• Violation de l'ordonnancement de la vraisemblance par le FCCI : L'article démontre, via des exemples (incluant des modèles discrets et des moyennes normales), que les FCCI violent souvent l'ordonnancement de la vraisemblance. Par exemple, un FCCI peut exclure une valeur de paramètre $\theta_3$ tout en incluant $\theta_2$, alors même que la vraisemblance des données est plus élevée sous $\theta_3$ que sous $\theta_2$.
• Caractère propre des régions plausibles : Contrairement aux FCCI, les régions plausibles dérivées de la croyance relative ne sont jamais égales à l'espace des paramètres entier (à moins que la vraisemblance ne soit plate, auquel cas la région est vide). Elles respectent strictement l'ordonnancement de la vraisemblance.
• Comparaison des performances :
  • Dans les simulations avec bruit de fond connu, l'intervalle plausible atteint des niveaux de confiance fréquentistes comparables aux FCCI (par exemple, >90 % pour $n=10$) tout en conservant la propriété d'être une région de vraisemblance.
  • L'intervalle plausible présente un « biais en faveur » (probabilité de couvrir des valeurs fausses de manière significative) nettement inférieur à celui des FCCI à travers diverses tailles d'échantillon et seuils de différence significatifs ($\delta$).
  • Les FCCI présentent une sensibilité au taux de bruit de fond $b$ lorsqu'aucun événement n'est observé (la limite supérieure diminue à mesure que $b$ augmente), un comportement que l'intervalle plausible évite.
• Application au monde réel (Karmen II) : La méthode a été appliquée aux données d'oscillation de neutrinos de Karmen II. En utilisant une stratégie bayésienne séquentielle, l'intervalle plausible s'est stabilisé de manière robuste après la deuxième expérience, confirmant une forte évidence pour le signal nul ($\lambda=0$) indépendamment des hypothèses initiales du prior. Les auteurs notent qu'une comparaison directe avec le FCCI est structurellement inappropriée ici en raison de la nature séquentielle des données et du traitement de $b$ comme paramètre de nuisance.

Signification et revendications
L'article soutient que les inférences par croyance relative offrent un cadre plus approprié pour les contextes scientifiques que les régions de confiance traditionnelles car elles traitent directement de la définition de l'évidence.

• Évidence vs Erreur : Les auteurs soutiennent que, bien que les régions de confiance soient conçues pour mesurer des taux d'erreur (comportemental), elles ne reflètent pas nécessairement l'évidence. Les régions de croyance relative satisfont le Principe d'Évidence (Théorème 1), garantissant que tout intervalle rapporté respecte l'ordonnancement de la vraisemblance.
• Intégration des approches : La méthodologie combine avec succès l'approche évidentielle (inférence basée sur le changement de croyance) avec l'approche comportementale (conception basée sur le contrôle du biais). Les calculs de biais a priori garantissent que les inférences résultantes sont fiables sous échantillonnage répété, satisfaisant les exigences fréquentistes sans sacrifier la cohérence de l'interprétation évidentielle.
• Robustesse : L'approche est robuste au choix du prior, à condition qu'il n'y ait pas de conflit entre le prior et les données. L'inclusion de la vérification de conflit et la capacité de modifier le prior assurent que les inférences sont dictées par les données plutôt que par des choix subjectifs de prior.

En conclusion, les auteurs postulent que la région plausible, dérivée de la croyance relative, fournit un résumé de l'évidence supérieur pour les problèmes de physique des particules (et l'inférence statistique générale) en garantissant que les intervalles rapportés sont cohérents avec la fonction de vraisemblance et que leur fiabilité est quantifiée et contrôlée durant la phase de conception expérimentale.