Either a Confidence Interval Covers, or It Doesn't (Or Does It?): A Model-Based View of Ex-Post Coverage Probability

Each language version is independently generated for its own context, not a direct translation.

Le Dilemme de l'Intervalle de Confiance : Est-ce que ça marche ou pas ?

Imaginez que vous êtes un statisticien. Vous avez créé une machine magique appelée "Intervalle de Confiance". Son travail est de deviner la valeur exacte d'un secret (par exemple, le nombre moyen de bonbons dans un bocal).

La règle d'or de cette machine, inventée par un génie nommé Neyman en 1937, est la suivante :

"Si vous utilisez cette machine 100 fois, elle trouvera le bon secret 95 fois. Mais une fois que vous avez lancé la machine et obtenu un résultat, il n'y a plus de hasard. Le secret est soit dedans, soit dehors. C'est tout. Fin de l'histoire."

C'est ce qu'on appelle la vision "Soit ça marche, soit ça ne marche pas". Selon cette règle, une fois que vous avez votre résultat, vous ne pouvez plus dire "J'ai 95 % de chances d'avoir raison". Vous devez juste attendre de voir si vous aviez raison ou non.

Le problème ? Cette règle semble très logique mathématiquement, mais elle est très étrange dans la vraie vie. L'auteur, Scott Lee, nous dit : "Attendez une minute, si on applique cette logique rigide partout, on se retrouve dans des situations absurdes."

Voici comment il le prouve avec trois histoires drôles et simples.

1. Le Docteur qui ne veut pas savoir (Le Patient)

Imaginez un docteur qui teste un patient pour la grippe. Le test est très fiable : s'il dit "Oui", il y a 81 % de chances que ce soit la grippe.

La logique normale : Le docteur dit : "Il y a 81 % de chances que ce soit la grippe, je vais donner un médicament."
La logique "Neyman stricte" : Le docteur se dit : "Attends, ce patient a déjà la grippe ou il ne l'a pas. C'est un fait. Le hasard est fini. Je ne peux pas parler de probabilités. Je dois deviner s'il est malade sans aucune information."

Le résultat ? Le docteur devient fou. Il ne peut plus prendre de décision médicale car il refuse d'utiliser la probabilité pour un cas qui a déjà eu lieu. C'est comme si un détective refusait de dire "Il y a 90 % de chances que ce soit le majordome" parce que le majordome est soit coupable, soit innocent.

2. Le Chat et les Gâteries (Le Chat Sophie)

Sophie le chat adore les friandises. Son propriétaire a une boîte avec 75 % de friandises aux fruits de mer et 25 % au poulet.

Avant de donner la friandise : On peut calculer la probabilité que Sophie fasse la sieste après avoir mangé. C'est un calcul logique basé sur les statistiques de la boîte.
La logique "Neyman stricte" : Le propriétaire regarde la friandise numéro 123. Il se dit : "Cette friandise est soit aux fruits de mer, soit au poulet. C'est un fait. Donc, la probabilité que Sophie fasse la sieste est soit 100 %, soit 0 %. Je ne peux pas utiliser mon calcul de 80 %."

Le problème : Même si le chat a déjà mangé, le propriétaire ne sait pas encore ce qu'il a mangé. Refuser d'utiliser la probabilité pour prédire la réaction du chat (la sieste) alors qu'on ignore la cause, c'est se priver d'outils utiles.

3. Les Truffes Chocolatées (L'Usine)

Une usine fabrique des truffes. Parfois, la machine rate et ne remplit pas le chocolat. Un capteur vérifie si c'est plein ou non.

Le scénario : Une truffe sort de la machine. Le capteur n'a pas encore vérifié.
La question : Quelle est la probabilité que la prochaine truffe soit bien remplie ?
La logique "Neyman stricte" : Si on insiste pour dire "La truffe actuelle est soit pleine, soit vide", on se retrouve avec deux probabilités différentes pour la prochaine truffe, selon l'état de la première. Mais comme on ne sait pas l'état de la première, on ne peut plus faire de calculs cohérents pour l'avenir.

La leçon : En voulant être trop rigoureux sur le fait que "l'événement est déjà arrivé", on perd la capacité de faire des prédictions pour l'avenir.

La Solution de Scott Lee : Le "Niveau de Zoom"

Scott Lee propose une idée géniale pour résoudre ce conflit. Il dit que le problème vient de notre façon de regarder les choses, comme un appareil photo avec un zoom.

Il y a en réalité trois façons de voir la probabilité dans un même modèle mathématique :

Le Zoom Lointain (La Conception) : On regarde la machine dans son ensemble. "Sur 100 essais, 95 fonctionnent." C'est la probabilité de 95 %. C'est utile pour concevoir la machine.
Le Zoom Extrême (La Réalité Déjà Faite) : On regarde un seul essai précis, en sachant tout (le secret est dedans ou pas). Là, la probabilité est soit 100 %, soit 0 %. C'est mathématiquement vrai, mais inutile pour prendre des décisions si on ne connaît pas la réponse.
Le Zoom Intermédiaire (La Prédiction) : C'est là que la magie opère. On regarde l'essai en sachant ce qu'on sait maintenant (les données qu'on a collectées), mais sans connaître le secret final.
- Exemple : "Vu que le test est positif, j'ai 81 % de chances d'avoir raison."

L'argument principal de l'article :
Neyman a raison sur le fait que la machine fonctionne bien à long terme (Zoom Lointain). Mais il a tort de dire qu'on ne peut jamais parler de probabilité après avoir vu les données (Zoom Intermédiaire).

En fait, la "Confiance" n'est pas juste un chiffre froid. C'est une prédiction. C'est comme dire : "Basé sur ce que je vois maintenant, je parie que mon intervalle contient la vérité."

En Résumé

L'auteur nous dit :

Arrêtez de dire : "Une fois le résultat obtenu, il n'y a plus de probabilité, c'est soit 0 soit 1." C'est trop restrictif et ça nous empêche de prendre de bonnes décisions.
Dites plutôt : "Ma machine a 95 % de chances de fonctionner à long terme. Et pour ce cas précis, vu les informations que j'ai, j'ai une forte 'confiance' (une probabilité prédictive) que ça marche."

La métaphore finale :
Pensez à un joueur de poker.

Avant de retourner les cartes : Il calcule ses chances de gagner (c'est la probabilité de conception).
Après avoir retourné les cartes : Il sait s'il a gagné ou perdu (c'est le 0 ou 1).
Mais entre les deux : S'il a des cartes très fortes mais qu'il ne voit pas encore celles de l'adversaire, il peut dire : "J'ai 90 % de chances de gagner".

Scott Lee nous dit que les statisticiens ont trop peur de faire ce "entre-deux". Ils devraient accepter que la probabilité existe même après l'expérience, tant qu'on l'utilise pour faire des prédictions intelligentes basées sur ce qu'on sait, et non pas pour deviner l'inconnu absolu.

Conclusion simple : La statistique n'est pas juste une machine à calculer des faits passés. C'est un outil pour faire des prédictions sur le futur, même quand on a déjà collecté des données. Il faut accepter de dire "J'ai 95 % de confiance" même après avoir vu le résultat, car c'est la seule façon de rester rationnel dans un monde incertain.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article de Scott Lee, « Either a Confidence Interval Covers, or It Doesn't (Or Does It?): A Model-Based View of Ex-Post Coverage Probability », rédigé en français.

1. Problématique

L'article aborde une tension fondamentale dans l'inférence fréquentiste concernant l'interprétation des intervalles de confiance (IC) une fois les données observées (ex-post).

La position orthodoxe (Neyman) : Selon la formulation originale de Jerzy Neyman (1937), un intervalle de confiance à $1-\alpha $est justifié par ses propriétés de couverture à long terme. Une fois un intervalle spécifique réalisé ($ X=x_i $), le paramètre$ \theta $étant considéré comme une constante fixe, l'événement de couverture est déterminé : l'intervalle soit couvre$ \theta $, soit il ne le couvre pas. Par conséquent, toute affirmation probabiliste *ex-post* sur la couverture d'un intervalle individuel est considérée comme conceptuellement invalide ou erronée, car la probabilité s'effondre en une valeur dégénérée de$ {0, 1}$.
Le paradoxe : Bien que mathématiquement correcte dans le cadre strict, cette interprétation « soit l'un, soit l'autre » crée une dissonance cognitive et pratique. Elle empêche les statisticiens de faire des déclarations probabilistes sur des événements qui se sont produits mais dont le résultat n'est pas encore observé (ex: un patient testé positif mais dont l'état réel est inconnu, ou la prédiction d'un événement futur basé sur un état actuel non observé). Cela semble limiter la valeur utilitaire des méthodes fréquentistes dans des scénarios réels de prise de décision.

L'auteur pose la question centrale : L'interprétation « soit l'un, soit l'autre» est-elle la seule lecture légitime de la confiance, ou le cadre fréquentiste permet-il une classe plus large de déclarations probabilistes ex-post ?

2. Méthodologie

L'auteur utilise une approche mixte combinant des expériences de pensée et une analyse formelle basée sur la théorie de la probabilité de Kolmogorov.

A. Expériences de pensée (Réfutation par l'absurde)

L'auteur présente trois scénarios pour montrer les contraintes indésirables imposées par une application stricte de la règle « soit l'un, soit l'autre » :

Dr. I-Don't-No (Diagnostic médical) : Un patient a un test positif. Si l'on applique la logique stricte, la probabilité que le patient soit malade est soit 0, soit 1 (car l'état est fixe), rendant le calcul de la valeur prédictive positive (VPP) inutile pour la décision clinique.
Le chat Sophie (Tâches de nourriture) : Un propriétaire tire une friandise dont le goût est fixe mais inconnu. Si l'on conditionne sur le goût réel (fixe), les probabilités futures (ronronnement, sieste) se divisent en deux scénarios dégénérés, rendant impossible l'utilisation du modèle global pour prédire le comportement du chat avant l'observation.
Deep Truffle (Chocolaterie) : Un système de production avec des erreurs de détection. Conditionner sur l'état réel (rempli ou creux) d'une truffe actuelle crée deux probabilités différentes pour la truffe suivante, ce qui contredit la probabilité de conception globale ( $P(\text{rempli})$ ) que le modèle a été conçu pour estimer.

Ces exemples démontrent que rejeter les probabilités intermédiaires ex-post conduit à des impasses logiques où le modèle ne peut plus être utilisé pour faire des prédictions ou des inférences cohérentes.

B. Analyse Formelle (Séquences infinies et micro-états)

L'auteur reformule la construction des intervalles de confiance en termes de séquences infinies d'essais et de micro-états (des trajectoires infinies fixes de résultats).

Il définit un indicateur de couverture $Z_i \in \{0, 1\}$ pour chaque essai $i$ .
Il montre que la probabilité de couverture de conception $1-\alpha $est l'espérance$ E[Z_i]$.
Il démontre que la probabilité conditionnelle dégénérée $P(Z_i=1 | X_i=x_i)$ et la probabilité inconditionnelle de conception $P(Z_i=1)$ sont simplement des niveaux de conditionnement différents au sein du même modèle probabiliste.
L'argument clé est que choisir de ne considérer que le niveau de conditionnement le plus fin (l'état réel observé) est un choix arbitraire qui ignore les autres niveaux de conditionnement supportés par le modèle.

3. Contributions Clés

Critique de la lecture comportementale stricte : L'article démontre que l'interprétation stricte de Neyman (« soit l'un, soit l'autre ») est en tension avec les propres outils mathématiques utilisés pour définir les taux d'erreur à long terme. Si l'on ne peut pas attribuer de probabilité non dégénérée à un événement unique ex-post, alors l'espérance (moyenne) qui définit le taux de couverture à long terme perd son fondement pour les cas individuels.
Distinction des niveaux de conditionnement : L'auteur propose de voir la probabilité non pas comme une propriété intrinsèque de l'événement physique, mais comme une propriété relative à un champ d'information (une $\sigma$ $σ$ -algèbre).
- Niveau 1 : Probabilité de conception (inconditionnelle, basée sur le processus de tirage).
- Niveau 2 : Probabilité conditionnelle dégénérée (basée sur la connaissance complète du résultat réel).
- Niveau 3 (Proposition) : Probabilité prédictive ex-post basée sur l'information disponible (intermédiaire).
Redéfinition de la « Confiance » : L'auteur suggère que le terme « confiance » chez Neyman pointait vers une probabilité prédictive ou une prévision probabiliste. Il s'agit de la meilleure estimation d'un observateur non-omniscient sur la probabilité que l'intervalle couvre le paramètre, compte tenu des informations disponibles, sans nécessairement s'effondrer en 0 ou 1.

4. Résultats Principaux

Cohérence du modèle : Il est mathématiquement cohérent d'utiliser le même modèle fréquentiste pour calculer des probabilités ex-ante (avant l'observation) et ex-post (après l'observation mais avant la connaissance du résultat réel).
Refus de la dégénérescence systématique : Imposer que la probabilité ex-post doit toujours être 0 ou 1 (dégénérée) n'est pas une exigence mathématique du fréquentisme, mais un choix de conditionnement sur le résultat maximal. Cela conduit à des incohérences dans les calculs de probabilités conditionnelles futures (comme dans l'exemple de la truffe).
Validité des déclarations intermédiaires : Le fréquentisme permet de faire des déclarations probabilistes sur des événements « survenus mais non observés » tant que l'on précise clairement le niveau d'information (la $\sigma$ -algèbre) sur lequel on conditionne.

5. Signification et Implications

Pratique statistique : Ce travail libère les statisticiens de la peur de faire des déclarations probabilistes sur des cas individuels (ex: « Il y a 81% de chances que ce patient ait la grippe ») tout en restant dans le cadre fréquentiste. Cela permet d'utiliser les valeurs prédictives et les probabilités conditionnelles sans tomber dans le piège du bayésianisme subjectif, tout en évitant l'absurdité du « tout ou rien ».
Philosophie de la probabilité : L'article propose une synthèse entre les vues ontiques (la probabilité réside dans le processus physique) et épistémiques (la probabilité réside dans l'information de l'observateur). Il suggère que la probabilité fréquentiste doit être ancrée dans les $\sigma$ -algèbres fournies par le modèle, permettant une flexibilité dans le choix du niveau d'information pertinent pour l'inférence.
Guide pour l'interprétation : L'auteur propose une « règle douce » : on ne devrait conditionner sur l'information post-essai que si cela réduit réellement l'incertitude sur le résultat. Si l'on ne connaît pas le résultat réel (comme le goût de la friandise ou l'état de santé), on doit conserver la probabilité de conception (intermédiaire) plutôt que de forcer une condition sur un résultat inconnu qui mène à la dégénérescence.

En conclusion, Scott Lee argue que la vision « soit l'un, soit l'autre » est trop restrictive. Une interprétation plus large, fondée sur la probabilité prédictive et la hiérarchie des niveaux d'information, est non seulement compatible avec la théorie de Neyman, mais nécessaire pour une inférence statistique cohérente et utile dans des situations réelles.