Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals

Cet article propose une interprétation décisionnelle des intervalles de confiance en les traitant comme des prévisions probabilistes optimales de couverture, démontrant que le niveau nominal 1-alpha constitue la meilleure prévision constante et que des raffinements conditionnels sont possibles sans recourir à des priors bayésiens.

L'essentiel

🎯 Le Grand Jeu de la Confiance : Pourquoi un intervalle n'est pas une certitude, mais un pari

Imaginez que vous êtes un statisticien. Vous avez calculé un intervalle de confiance (par exemple : « Le taux de réussite de ce médicament est entre 40 % et 60 % »). La question qui fâche tout le monde est : « Est-ce que cet intervalle contient vraiment la vérité ? »

Habituellement, les statisticiens classiques (fréquentistes) disent : « Arrêtez de demander ça ! Soit c'est dedans, soit c'est pas dedans. C'est 0 ou 1. On ne peut pas donner de probabilité à un événement qui est déjà arrivé. » C'est comme dire : « Le chat est soit dans la boîte, soit pas. Demander 'quelles sont les chances qu'il soit dedans maintenant' n'a pas de sens. »

Scott Lee, l'auteur de cet article, dit : « Attendez une minute. C'est un peu comme si on refusait de jouer au jeu parce qu'on connaît déjà le résultat final. »

Voici sa nouvelle façon de voir les choses, expliquée avec des analogies.

---

1. Le Jeu des Tasses (L'analogie de Monty Hall)

Imaginez un jeu de rue avec trois tasses retournées.

• Sous une tasse, il y a un billet de 10 $à 100$ (c'est le paramètre caché, comme la vérité scientifique).
• Vous choisissez une tasse.
• Le magicien (qui connaît la vérité) retire une tasse vide parmi celles que vous n'avez pas choisies.
• Il vous demande : « Voulez-vous changer de tasse ? »

Dans le célèbre problème de Monty Hall, si vous changez, vous avez 2 chances sur 3 de gagner. Si vous restez, vous avez 1 chance sur 3.

Le problème avec l'approche classique :
Si vous appliquez la logique stricte de Neyman (le père des intervalles de confiance) à ce jeu :

• Une fois que le magicien a retiré une tasse, la vérité est figée. Soit votre tasse a le billet, soit l'autre l'a.
• Si vous dites « Ma tasse a le billet » (prétendre que l'intervalle couvre la vérité), vous restez avec votre tasse et vous perdez de l'argent à long terme.
• Si vous dites « Je ne sais pas, c'est 0 ou 1 », vous ne pouvez pas prendre de décision rationnelle.

La solution de Scott Lee :
Il dit : « Traitez la probabilité de couverture (1 - α) comme une prévision météo. »
Même si la vérité est figée, vous ne la connaissez pas. Donc, vous devez faire un pari.

• Si le jeu est conçu pour que vous ayez 2/3 de chances de gagner en changeant, alors votre meilleure prévision est de dire : « J'ai 66 % de chances de gagner si je change ».
• Ce n'est pas une croyance subjective (comme un Bayésien le ferait). C'est une prévision basée sur la conception du jeu. Le jeu a été construit pour que ça marche ainsi.

---

2. La Météo et le Score Parfait

Pour savoir si votre prévision est bonne, Lee utilise un outil mathématique appelé « règle de score stricte ». Imaginez que vous êtes un météorologue.

• Si vous prévoyez « 100 % de pluie » et qu'il ne pleut pas, vous avez un très mauvais score.
• Si vous prévoyez « 50 % de pluie » et qu'il pleut, vous avez un bon score.

Lee montre mathématiquement que pour un intervalle de confiance standard (comme ceux qu'on utilise pour les moyennes), la meilleure prévision possible, avant et après avoir vu les données, est toujours le chiffre affiché (par exemple, 95 %).

Pourquoi ?
Parce que l'intervalle a été construit pour fonctionner ainsi sur le long terme. Si vous dites « J'ai 100 % de certitude que cet intervalle contient la vérité », vous allez vous tromper 5 % du temps (si c'est un intervalle à 95 %). Votre score sera mauvais.
Si vous dites « J'ai 95 % de chances que ça marche », vous obtenez le meilleur score possible sur la durée.

---

3. L'Exception : Le Sous-Marin Perdu

C'est là que ça devient fascinant. Lee prend un exemple célèbre (le sous-marin perdu) où la règle « toujours dire 95 % » ne fonctionne pas bien.

Imaginez que vous cherchez un sous-marin de 10 mètres de long en lançant deux bulles d'air.

• Si les deux bulles sont très proches l'une de l'autre (l'intervalle est très court), cela signifie que le sous-marin est probablement bien au milieu.
• Si les deux bulles sont très éloignées (l'intervalle est très large), cela signifie que le sous-marin est peut-être tout près du bord, et votre intervalle est moins fiable.

Dans ce cas précis, la largeur de l'intervalle vous donne un indice supplémentaire.

• Si l'intervalle est très petit, vous pouvez dire : « Ma confiance est de 99 % ».
• Si l'intervalle est très grand, vous pouvez dire : « Ma confiance est de 10 % ».

La leçon :
Parfois, les données elles-mêmes (la forme de l'intervalle) nous disent si nous devons ajuster notre prévision. Si l'intervalle est « trivial » (trop grand pour être utile), on ne doit pas dire « 95 % de confiance », mais plutôt « 100 % » (car il couvre tout) ou « 0 % » (s'il est vide).

---

4. En Résumé : Que faire quand vous voyez un intervalle ?

Scott Lee propose une nouvelle façon de penser pour les étudiants et les praticiens :

1. Ne soyez pas paralysé par le « 0 ou 1 ». Oui, techniquement, l'intervalle contient ou non la vérité. Mais comme vous ne le savez pas, vous devez faire une prévision.
2. La règle de base : Pour la plupart des cas standards, votre meilleure prévision est simplement le chiffre affiché (95 %, 99 %, etc.). C'est le pari le plus intelligent à faire.
3. L'exception intelligente : Si votre intervalle a une forme bizarre (très large, très court, ou dans un contexte spécial comme le sous-marin), utilisez cette information pour ajuster votre prévision.
4. L'objectif : Ne cherchez pas à savoir si vous avez « raison » sur un cas unique (c'est impossible). Cherchez à faire la meilleure prévision possible pour minimiser vos erreurs sur le long terme.

🎓 Conclusion pour le profane

Pensez à un intervalle de confiance non pas comme à une photo figée de la vérité, mais comme à un bulletin météo.

• Le statisticien ne dit pas : « Il pleuvra demain » (c'est faux, on ne sait pas encore).
• Il dit : « Il y a 95 % de chances de pluie, selon le modèle météo ».
• Même si demain il fait beau, le bulletin était une bonne prévision parce qu'il était basé sur les règles du jeu (le modèle).

Scott Lee nous dit : « Arrêtez de vous disputer sur la philosophie. Utilisez ces intervalles comme des outils de prévision. Dites 'J'ai 95 % de chances d'avoir raison', et vous aurez raison plus souvent que ceux qui disent 'C'est soit vrai, soit faux'. »

Résumé technique

Voici un résumé technique détaillé de l'article « Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals » (La confiance comme prévision : une interprétation décisionnelle des intervalles de confiance) par Scott Lee.

1. Problématique

L'article aborde un paradoxe fondamental et persistant dans l'inférence fréquentiste : comment interpréter un intervalle de confiance (IC) réalisé (c'est-à-dire calculé à partir d'une seule observation de données) et sa probabilité de couvrir le paramètre inconnu $\theta$.

• La position de Neyman : Jerzy Neyman, inventeur des IC, soutenait qu'une fois l'intervalle construit, la couverture est déterminée (soit 0, soit 1). Il refusait d'attribuer une probabilité non dégénérée à la couverture ex post, recommandant simplement de déclarer que l'intervalle « couvre » le paramètre, en se basant uniquement sur la propriété de couverture à long terme ($1-\alpha$) de la procédure.
• Le conflit : Cette approche crée une confusion chez les praticiens et les étudiants. D'un côté, on dit que l'intervalle a une probabilité de couverture de $1-\alpha$ ; de l'autre, on dit que pour un intervalle spécifique, la probabilité est soit 0 soit 1. Les critiques (comme Morey et al., 2016) utilisent des exemples (comme le « sous-marin perdu ») pour montrer que l'interprétation de Neyman conduit à des déclarations incohérentes ou contre-intuitives ex post.
• L'objectif : L'auteur propose de réinterpréter la « confiance » non pas comme une croyance subjective (bayésienne) ni comme une affirmation binaire, mais comme une prévision probabiliste d'un événement de couverture, évaluée selon des règles de score strictement propres.

2. Méthodologie

L'auteur utilise une approche décisionnelle et théorique des probabilités pour formaliser la notion de confiance :

• Modélisation de la couverture : L'événement de couverture $Z(X) = \mathbb{I}(\theta \in I(X))$ est traité comme une variable aléatoire de Bernoulli.
  • Au niveau de la conception (design), la probabilité de succès est $E_\theta[Z(X)] = 1-\alpha$.
  • Au niveau conditionnel (données observées), si l'on conditionne sur les données complètes $X$, la variable devient dégénérée $\{0, 1\}$.
• Théorie du score propre (Proper Scoring Rules) : L'auteur introduit des règles de score strictement propres (comme le score de Brier ou le score logarithmique) pour évaluer la qualité des prévisions probabilistes. Une règle de score propre garantit que le score espéré est minimisé uniquement lorsque la prévision correspond à la vraie probabilité de l'événement.
• Optimisation de la prévision :
  • Avant l'expérience (ex ante) : La prévision constante qui minimise le risque espéré est $q^* = 1-\alpha$.
  • Après l'expérience (ex post) : L'auteur examine si l'on peut améliorer cette prévision en conditionnant sur des statistiques dérivées des données qui sont indépendantes de $\theta$ (des statistiques $\theta$-free).
• Expériences de pensée et simulations :
  • Un jeu de type « Monty Hall » (« Monty's Hell ») est utilisé comme analogie pour illustrer comment une probabilité de conception peut guider des décisions même après l'observation partielle.
  • L'exemple du « sous-marin perdu » (Morey et al.) est réanalysé via des simulations massives ($10^5$ itérations) pour tester différentes stratégies de prévision (constante vs conditionnelle).

3. Contributions Clés

1. Réinterprétation de la Confiance : La « confiance » est définie comme une probabilité prédictive de couverture, conditionnelle à l'information disponible. Ce n'est pas une croyance subjective, mais une estimation basée sur le modèle fréquentiste.
2. **Optimalité de $1-\alpha$:** L'auteur démontre mathématiquement que, sous n'importe quelle règle de score strictement propre, le niveau de confiance nominal$1-\alpha$ est la prévision constante unique optimale pour la couverture, tant avant qu'après l'observation des données, dans les modèles standards (non bornés, invariants par translation).
3. Affinement par Statistiques $\theta$-free : L'article établit que si l'on dispose d'une statistique $T(X)$ dérivée de l'intervalle qui est indépendante de $\theta$ (par exemple, la largeur relative de l'intervalle dans un modèle uniforme fini) et dont la probabilité de couverture conditionnelle varie, alors utiliser cette conditionnalité ($q^*(X) = P(\theta \in I(X) | T(X))$) permet d'améliorer strictement la performance prédictive par rapport à la constante $1-\alpha$.
4. Résolution des paradoxes : Cette approche résout les paradoxes apparents (comme celui du sous-marin) en montrant que la probabilité de couverture peut être mise à jour ex post sans violer les principes fréquentistes, tant que la mise à jour est basée sur des statistiques de conception et non sur des priors subjectifs.

4. Résultats Principaux

• Théorème 3.1 : Si une statistique $T(X)$ existe telle que la probabilité de couverture conditionnelle $P_\theta(\theta \in I(X) | T(X))$ est une fonction $g(T)$ indépendante de $\theta$, alors la règle de prévision $q^*(X) = g(T(X))$ minimise strictement le risque conditionnel attendu par rapport à toute autre prévision constante ou dépendante de $T$.
• Analyse du Sous-marin (Simulation) :
  • Pour un intervalle de confiance de 50% ($1-\alpha = 0.5$) dans le modèle du sous-marin, la prévision constante$q=0.5$ donne un score de Brier moyen de 0.250.
  • En conditionnant sur la largeur relative de l'intervalle (statistique $\theta$-free), le score de Brier chute à 0.117 pour la procédure non-paramétrique (NP) et 0.170 pour la procédure UMP.
  • Cela prouve que l'information contenue dans la largeur de l'intervalle réalisé permet de faire une prévision plus précise que le simple niveau de confiance nominal.
• Cas des Intervalles Emboîtés : L'analyse montre que lorsque des intervalles sont emboîtés, la probabilité de couverture conjointe change. Utiliser la probabilité conditionnelle à l'emboîtement améliore encore la prévision (score de Brier passant de 0.243 à 0.212).
• Comparaison avec la position de Neyman : L'auteur montre que la position stricte de Neyman (« soit ça couvre, soit ça ne couvre pas ») correspond à une prévision constante de 0 ou 1, qui est strictement dominée (pire score espéré) par la prévision $1-\alpha$dans les cas où$0 < 1-\alpha < 1$.

5. Signification et Implications

• Pour la Pratique Appliquée : Les statisticiens appliqués peuvent utiliser la valeur $1-\alpha$comme une prévision de couverture par défaut pour un intervalle réalisé. Cependant, si le modèle de conception permet d'identifier des statistiques$\theta$-free (comme la largeur relative dans des modèles bornés), ils doivent mettre à jour cette prévision pour obtenir une estimation plus précise de la probabilité de couverture.
• Pour l'Enseignement : L'article propose une nouvelle pédagogie pour enseigner les intervalles de confiance. Au lieu de présenter le dilemme « 0 ou 1 » vs « $1-\alpha$ » comme un conflit insoluble, il faut enseigner trois niveaux de probabilité :
  1. La probabilité dégénérée conditionnelle aux données complètes (0 ou 1).
  2. La probabilité de conception non conditionnelle ($1-\alpha$).
  3. La probabilité prédictive conditionnelle aux informations pertinentes disponibles (qui peut être un raffinement de $1-\alpha$).
• Statut Épistémique : L'auteur insiste sur le fait que cette interprétation reste pure fréquentiste. Elle ne nécessite pas de priors bayésiens ni de degrés de croyance subjectifs. La « confiance » est une propriété informationnelle relative à l'état de connaissance de l'agent (le statisticien) face à un événement déterminé par la conception de l'expérience.

En conclusion, Scott Lee réussit à réconcilier la théorie de Neyman avec la nécessité de faire des déclarations probabilistes ex post, en transformant la « confiance » en un outil de prévision probabiliste optimisé par des règles de décision rigoureuses.