Confidence intervals for the Poisson distribution

Cet article recommande l'utilisation des intervalles de confiance de Garwood pour résumer les résultats d'échantillonnage de Poisson en physique, car ils offrent des propriétés de performance supérieures et une interprétation cohérente par rapport aux méthodes alternatives.

L'essentiel

🎯 Le Problème : Compter des étoiles dans le noir

Imaginez que vous êtes un astronome amateur. Vous regardez le ciel et vous essayez de compter le nombre d'étoiles dans une petite tache sombre. Parfois, vous en voyez 5, parfois 10, et parfois... zéro. C'est normal, car la lumière des étoiles arrive de manière aléatoire, comme des gouttes de pluie. En physique, on appelle cela une distribution de Poisson.

Le problème, c'est que quand vous comptez ces étoiles, vous ne savez pas exactement combien il y en a vraiment dans le ciel (le "vrai nombre"). Vous avez juste un chiffre brut (votre observation). Comment dire aux autres : "J'ai vu 5 étoiles, mais la vraie quantité est probablement entre X et Y" ?

C'est là que les physiciens utilisent des intervalles de confiance. C'est comme une "zone de sécurité" autour de votre comptage. Mais la grande question de cet article est : Quelle est la meilleure façon de dessiner cette zone ?

🧩 Le Dilemme : La Vérité vs La Description

L'auteur, Frank Porter, commence par faire une distinction cruciale, comme si l'on séparait deux types de cartes :

1. La carte de la "Vérité" (Interprétation) : "Je suis sûr à 95 % que le nombre réel d'étoiles est positif." C'est une croyance, une opinion sur la réalité. C'est le domaine des statistiques bayésiennes (basées sur la croyance).
2. La carte de la "Description" (Ce que l'on a vu) : "Voici ce que j'ai observé. Si je refaisais l'expérience 1000 fois, ma zone de sécurité couvrirait la réalité 95 % du temps." C'est une description objective de l'expérience, sans se soucier de savoir si la "vérité" est positive ou négative.

L'analogie du thermomètre cassé :
Imaginez un thermomètre qui, par hasard, indique -5°C alors qu'il fait 0°C.

• Si vous cherchez la vérité (la température réelle), vous direz : "C'est impossible, il ne peut pas faire moins de 0°C, donc je corrige à 0°C."
• Si vous cherchez la description (ce que l'appareil a dit), vous devez dire : "L'appareil a affiché -5°C." Si vous forcez le résultat à être positif, vous cachez le fait que l'appareil a eu une mauvaise passe (une fluctuation négative).

Porter dit : "Arrêtons de chercher la vérité absolue dans nos intervalles de confiance. Concentrons-nous sur une description honnête et objective de ce que nous avons mesuré."

🛠️ Les Outils : Différentes façons de dessiner la zone

L'article examine plusieurs méthodes (des "recettes") pour dessiner cette zone de sécurité autour de votre comptage.

1. La méthode "Garwood" (L'ancienne école) : C'est la méthode classique. Elle est un peu "conservatrice". Elle dessine une zone large, comme un parapluie très grand.

   • Avantage : Elle ne rate jamais la vérité (elle est très sûre). Elle est symétrique et logique.
   • Défaut : Elle est parfois trop large (elle "surcouvre"). C'est comme utiliser un filet de pêche trop gros : on attrape tout, mais c'est encombrant.

2. Les méthodes "modernes" (Sterne, Crow & Gardner, Feldman-Cousins, etc.) : Les physiciens ont voulu des filets plus petits, plus précis, pour ne pas gaspiller de place.

   • Le problème : En voulant être trop précis, certaines de ces méthodes deviennent bizarres.
     • Parfois, si vous ajoutez une étoile de plus à votre comptage, la zone de sécurité devient plus petite (ce qui est illogique !).
     • Parfois, si vous changez légèrement votre niveau de confiance (de 90% à 95%), la zone saute brusquement d'un endroit à un autre.
     • Parfois, elles excluent votre propre observation (comme si vous disiez : "J'ai vu 5 étoiles, mais ma zone de sécurité dit que le vrai nombre n'est pas 5").

🏆 Le Verdict : Pourquoi revenir à Garwood ?

Après avoir testé toutes ces méthodes avec des analogies mathématiques, Porter arrive à une conclusion surprenante mais rassurante : La méthode classique de Garwood est la meilleure.

Pourquoi ? Parce qu'elle respecte des règles de bon sens que les autres méthodes violent :

• La continuité : Si vous changez un tout petit peu votre comptage, votre zone de sécurité bouge doucement, elle ne saute pas.
• La cohérence : Si vous voulez être plus sûr (augmenter le pourcentage de confiance), votre zone s'agrandit toujours. Elle ne rétrécit pas par magie.
• La logique des "p-values" (la probabilité d'erreur) : Avec Garwood, si vous testez une hypothèse, le résultat est fluide et intuitif. Avec les autres méthodes, on peut obtenir des résultats bizarres où une hypothèse "fausse" semble plus probable qu'une hypothèse "vraie" juste à cause d'un petit changement mathématique.

L'analogie finale :
Imaginez que vous devez décrire la taille d'un éléphant à un aveugle.

• Les méthodes modernes essaient de donner une mesure ultra-précise, mais elles disent parfois : "Il fait 3 mètres" puis "Il fait 2,9 mètres" juste parce que vous avez bougé d'un pas. C'est confondant.
• La méthode Garwood dit : "Il fait entre 2,5 et 3,5 mètres." C'est peut-être un peu large, mais c'est sûr, cohérent, et ça ne change pas de façon bizarre si vous bougez un peu.

💡 Conclusion pour le lecteur

Si vous êtes physicien (ou simplement curieux de statistiques) et que vous devez présenter un résultat basé sur des comptages rares (comme des particules ou des étoiles) :

1. Ne cherchez pas à forcer le résultat à être "physique" (par exemple, interdire les nombres négatifs si la fluctuation le suggère). Décrivez ce que vous avez vu, même si cela semble étrange.
2. Utilisez l'intervalle de Garwood. C'est la méthode la plus robuste, la plus logique et celle qui évite les pièges mathématiques. C'est comme choisir une boussole fiable plutôt qu'une boussole qui tourne dans tous les sens pour être "plus précise".

En résumé : Mieux vaut une réponse un peu large mais honnête et logique, qu'une réponse précise mais qui fait des sauts de puce illogiques.

Résumé technique

1. Problématique et Contexte

L'article aborde une source majeure de confusion dans la communauté des sciences physiques, en particulier en physique des hautes énergies : la description correcte des résultats obtenus via un échantillonnage de Poisson. Bien que la distribution de Poisson soit fondamentale pour mesurer des processus rares (comptage d'événements avec un fond connu), il existe un désaccord persistant sur la manière de construire des intervalles de confiance.

Le problème central réside dans la distinction entre deux objectifs statistiques souvent confondus :

• L'interprétation (Inférence) : Déduire la valeur « vraie » du paramètre physique (ex: la force du signal $\theta$) et exprimer un degré de croyance. C'est le domaine de la statistique bayésienne.
• La description (Statistique descriptive) : Décrire objectivement le résultat de la mesure (l'observation $n$) sans faire de déclaration sur la valeur vraie du paramètre. C'est le domaine de la statistique fréquentiste.

L'auteur soutient que pour la description des résultats expérimentaux, il faut adopter une approche fréquentiste pure, indépendante des croyances a priori, et que les méthodes actuelles (comme Feldman-Cousins ou CLs) mélangent souvent ces deux concepts, conduisant à des résultats contre-intuitifs ou incohérents.

2. Méthodologie et Cadre Théorique

L'auteur propose une analyse rigoureuse basée sur les propriétés des intervalles de confiance dans le cadre fréquentiste.

Définitions et Critères de Performance :
L'étude évalue diverses méthodes de construction d'intervalles de confiance pour le paramètre $\mu = \theta + b$ (où $\theta$ est le signal et $b$ le fond connu) en fonction de plusieurs propriétés désirables :

1. Exactitude (Exactness) : L'intervalles doit garantir un taux de couverture (coverage) d'au moins $1-\alpha$ pour tout $\mu$, sans sous-couverture (undercoverage).
2. Connectivité : L'ensemble de confiance doit être un intervalle continu.
3. Contenu de l'estimateur du maximum de vraisemblance (MLE) : L'intervalle doit contenir la valeur estimée $\hat{\theta} = n - b$. L'auteur insiste sur le fait que pour la description, le MLE peut être négatif (fluctuation du fond) et ne doit pas être tronqué artificiellement.
4. Couverture optimale : Minimiser la sur-couverture (overcoverage) tout en restant exact.
5. Longueur : L'intervalle doit être le plus court possible.
6. Ordre et Monotonie : Les bornes de l'intervalle doivent être monotones par rapport à l'observation $n$ et au niveau de confiance.
7. Nesting (Emboîtement) : Un intervalle à un niveau de confiance plus élevé doit contenir l'intervalle à un niveau plus faible.
8. Continuité et P-values sensées : Les bornes et les p-values doivent être continues par rapport aux paramètres. Les p-values doivent être bimonotones (décroissantes puis croissantes) par rapport à l'hypothèse nulle.

Approche Comparative :
L'auteur compare systématiquement les méthodes suivantes :

• Méthodes conventionnelles : Intervalles de Garwood (fiduciaires/égaux), Sterne, Crow & Gardner, Blaker, Kabaila-Byrne, inversion du rapport de vraisemblance (LR), inversion du test de score.
• Méthodes bayésiennes : Intervalles avec priors uniformes et de Jeffreys (analysés sous l'angle de leurs propriétés fréquentistes).
• Méthodes de la physique des particules : Méthode CLs et méthode Feldman-Cousins (FC).
• Approximations : L'intervalle classique $\sqrt{N}$.

3. Contributions Clés et Résultats

A. La distinction Description vs Interprétation
L'article établit fermement que la statistique fréquentiste est un outil de description des données observées, et non une inférence sur la vérité du paramètre.

• Il est démontré que l'évaluation de la fonction de vraisemblance dans des régions « non physiques » (ex: $\theta < 0$) est non seulement permise mais nécessaire pour une description fidèle de la mesure (suffisance statistique). Restreindre l'espace des paramètres à des valeurs physiques (comme le font Feldman-Cousins) pour éviter des valeurs négatives fausse la description de la fluctuation du fond.

B. Analyse des Méthodes Existantes

• Garwood (1936) : Souvent critiqué pour sa sur-couverture importante, cet intervalle (symétrique en probabilité) possède en réalité des propriétés supérieures pour la description : il est exact, connecté, strictement emboîté, continu, et produit des p-values bien comportées (continues et bimonotones).
• Feldman-Cousins (FC) et CLs : Ces méthodes, populaires en physique, sont conçues pour éviter les intervalles vides ou négatifs. Cependant, l'auteur montre qu'elles échouent comme outils descriptifs :
  • Elles produisent des intervalles artificiellement courts lors de fluctuations négatives du fond, suggérant une précision illusoire.
  • Elles ne sont pas emboîtées de manière stricte ou continue.
  • Les p-values dérivées de ces méthodes peuvent être discontinues ou non bimonotones, ce qui est contre-intuitif.
• Crow & Gardner / Sterne / Blaker : Ces méthodes visent à réduire la sur-couverture et la longueur des intervalles. Bien qu'elles soient parfois plus courtes, elles échouent sur d'autres critères cruciaux : elles ne garantissent pas toujours la présence du MLE, ne sont pas toujours emboîtées, et leurs p-values peuvent être discontinues ou mal définies.

C. Le Problème de la Moyenne (Averaging)
L'article analyse la combinaison de plusieurs observations. Il démontre qu'il est dangereux de moyenner des intervalles de confiance en utilisant les variances estimées à partir de ces intervalles. Cette approche peut conduire à une sous-couverture sévère. La seule méthode robuste consiste à revenir aux distributions de Poisson originales et à combiner les données brutes avant de calculer l'intervalle.

4. Conclusion et Recommandation

L'auteur conclut que malgré la sur-couverture parfois excessive, l'intervalle de Garwood est la meilleure méthode pour la description des résultats d'un échantillonnage de Poisson.

Raisons de la recommandation :

1. Cohérence globale : C'est la seule méthode exacte à deux faces qui satisfait simultanément la continuité, l'emboîtement strict, et la production de p-values sensées (bimonotones).
2. Robustesse : Elle évite les comportements contre-intuitifs (comme des intervalles qui rétrécissent quand le niveau de confiance augmente, ou des p-values discontinues) présents dans les méthodes optimisées pour la longueur (comme Crow & Gardner ou LR).
3. Simplicité : Elle est facile à calculer (via la distribution $\chi^2$) et est déjà l'option par défaut dans des outils standards comme MATLAB et R.

Signification :
Ce travail est crucial pour la physique des hautes énergies car il remet en question l'usage de méthodes complexes (Feldman-Cousins, CLs) pour la simple publication de résultats. Il plaide pour un retour à des méthodes fréquentistes pures et cohérentes (Garwood) pour la description des mesures, laissant les méthodes bayésiennes ou les limites de décision aux étapes d'interprétation et de prise de décision. L'auteur insiste sur le fait que la sur-couverture est un prix acceptable à payer pour garantir la cohérence logique et la fiabilité de la description statistique.