📊 statistics

E-values as statistical evidence: A comparison to Bayes factors, likelihoods, and p-values

Cet article présente les e-valeurs et les e-processus comme de nouvelles mesures d'évidence statistique qui combinent les avantages des p-values, des rapports de vraisemblance et des facteurs de Bayes, tout en offrant une interprétation intuitive et une flexibilité accrue pour le traitement des hypothèses composites et de l'arrêt optionnel.

Auteurs originaux : Ben Chugg, Aaditya Ramdas, Peter Grünwald

Publié 2026-03-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ben Chugg, Aaditya Ramdas, Peter Grünwald

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre une énigme. Vous avez une hypothèse de départ (le "suspect" est innocent, ou la "théorie" est vraie). Votre travail consiste à examiner les preuves pour voir si elles renforcent ou affaiblissent cette hypothèse.

Pendant des décennies, les statisticiens se sont disputés sur la meilleure façon de mesurer ces preuves. Certains utilisent des outils comme les p-values (très populaires mais critiqués), d'autres les facteurs de Bayes (très précis mais complexes) ou les rapports de vraisemblance.

Dans cet article, les auteurs (Ben Chugg, Aaditya Ramdas et Peter Grünwald) proposent d'ajouter deux nouveaux outils à la boîte à outils du détective : les e-values et les e-processus.

Voici une explication simple de ce papier, utilisant des analogies du quotidien.

1. Le Jeu de Paris : Comprendre les e-values

Pour comprendre ce qu'est une e-value, imaginez un jeu de casino entre vous (le statisticien) et la nature (le hasard).

Le pari : Vous avez 1 dollar. Vous pariez contre l'hypothèse nulle (disons : "ce dé est truqué" ou "ce médicament ne marche pas").
La règle du jeu : Si l'hypothèse est vraie (le dé est honnête), vous ne devriez jamais gagner d'argent à long terme. Votre capital moyen doit rester à 1 dollar ou moins.
Le gain (l'e-value) : Si vous observez des données étranges qui contredisent l'hypothèse, vous gagnez de l'argent.
- Si votre capital passe à 2, c'est une preuve modérée contre l'hypothèse.
- Si votre capital passe à 100, c'est une preuve très forte.
- Si votre capital passe à 1000, c'est une preuve écrasante.

L'avantage clé : Contrairement aux autres outils, si vous arrêtez le jeu n'importe quand (parce que vous avez assez de preuves, ou parce que vous êtes fatigué), vous ne trichez pas. Le jeu reste honnête. C'est comme si vous pouviez arrêter de jouer au poker dès que vous avez gagné gros, sans que le casino ne vous dise "Ah, mais vous auriez dû jouer plus longtemps pour que mes calculs soient justes !".

2. Les e-processus : Le jeu en continu

Parfois, les données arrivent une par une, comme un flux continu (ex: surveillance d'un pont, ou un essai clinique qui s'arrête dès qu'un effet secondaire apparaît).

Les e-values sont comme une photo prise à un moment précis.
Les e-processus sont comme une vidéo en direct. Ils permettent de regarder le capital grandir (ou non) au fil du temps.
Pourquoi c'est génial ? Cela permet l'"arrêt optionnel". Vous pouvez décider d'arrêter l'expérience dès que la preuve est suffisante, sans fausser les résultats. C'est comme si vous pouviez arrêter une course de fond dès que vous voyez le drapeau blanc, sans que cela change le fait que vous avez couru honnêtement.

3. La comparaison avec les anciens outils

Les auteurs comparent ces nouveaux outils aux classiques :

Les p-values (L'ancien gardien) :
- Analogie : C'est comme un thermomètre qui ne fonctionne que si vous le lisez à une heure précise. Si vous regardez la température trop tôt ou trop tard, ou si vous changez de thermomètre en cours de route, le résultat devient faux.
- Problème : Ils sont très sensibles à la façon dont l'expérience est conçue. Si vous changez le nombre de participants en cours de route (parce que les premiers résultats sont prometteurs), le p-value devient invalide. C'est ce qu'on appelle le "p-hacking" (tricher avec les statistiques).
Les Facteurs de Bayes (Le grand calculateur) :
- Analogie : C'est un expert qui a besoin de connaître vos croyances personnelles (vos "préjugés") avant de commencer. Si deux experts ont des opinions différentes au départ, ils arriveront à des conclusions différentes sur les mêmes preuves.
- Problème : C'est subjectif. De plus, il est difficile de combiner les résultats de plusieurs études si elles ont été faites à des moments différents.
Les e-values (Le nouveau venu) :
- Analogie : C'est un compteur d'argent universel.
- Avantages :
  1. Robuste : Vous pouvez arrêter l'expérience quand vous voulez.
  2. Combinable : Si vous faites 5 petites expériences séparées, vous pouvez simplement multiplier vos e-values pour avoir le résultat global. C'est comme empiler des briques Lego : peu importe l'ordre, la tour tient.
  3. Honnête : Il ne se soucie pas de ce qui aurait pu arriver si les données avaient été différentes (les "contre-factuels"). Il ne regarde que ce qui s'est réellement passé.

4. Pourquoi c'est important pour tout le monde ?

Les auteurs concluent que les e-values ne sont pas parfaits (il y a plusieurs façons de construire un e-value, comme il y a plusieurs façons de jouer au poker), mais ils sont très puissants.

Ils réussissent là où les autres échouent :

Ils gèrent bien les hypothèses complexes (pas juste "oui/non", mais des nuances).
Ils permettent de faire de la science "en temps réel" sans se soucier de la taille de l'échantillon à l'avance.
Ils offrent une interprétation intuitive : "Combien d'argent auriez-vous gagné si vous aviez parié contre cette hypothèse ?"

En résumé

Imaginez que la science est un voyage.

Les p-values sont comme une carte routière rigide : si vous déviez du chemin prévu, la carte devient inutile.
Les Facteurs de Bayes sont comme un GPS qui dépend de votre point de départ personnel.
Les e-values sont comme un compteur de carburant intelligent : peu importe quand vous décidez de vous arrêter, ou si vous ajoutez des trajets supplémentaires, il vous dit toujours exactement combien de "carburant" (de preuves) vous avez accumulé contre votre hypothèse de départ.

Ce papier suggère que les e-values méritent une place importante dans la boîte à outils des scientifiques, car ils rendent la science plus flexible, plus honnête et plus facile à interpréter.

1. Problématique

Le débat philosophique en statistique concernant la nature exacte de la "preuve" (evidence) pour ou contre une hypothèse est persistant. Les mesures traditionnelles présentent des lacunes significatives :

Les p-values : Souvent critiquées pour leur manque de cohérence, leur dépendance à la taille de l'échantillon, leur incapacité à gérer l'arrêt optionnel (optional stopping) et leur dépendance aux plans d'échantillonnage contrefactuels. L'ASA a d'ailleurs déclaré qu'elles ne constituent pas à elles seules une bonne mesure de preuve.
Les rapports de vraisemblance (Likelihood Ratios - LR) : Bien qu'objectifs et cohérents, ils sont mal définis pour les hypothèses composites sans recours à des généralisations (comme le GLR) qui perdent certaines propriétés logiques.
Les facteurs de Bayes : Ils nécessitent des priors (souvent subjectifs) et ne fournissent pas toujours de contrôles d'erreurs fréquentistes stricts (taux d'erreur de type I non asymptotiques).

L'article vise à introduire et évaluer deux nouveaux candidats : les e-values (variables e) et les e-processes (processus e), en examinant dans quelle mesure ils satisfont les critères de preuve issus des traditions bayésiennes, fréquentistes et de la vraisemblance.

2. Méthodologie et Concepts Fondamentaux

Définitions

E-variable (E) : Une variable aléatoire non négative $E$ telle que son espérance sous toute distribution $P$ de l'hypothèse nulle $H$ est au plus 1 : $\sup_{P \in H} \mathbb{E}_P[E] \le 1$ .
E-process : L'analogue séquentiel d'une e-variable. C'est une suite de variables aléatoires $(E_t)_{t \ge 1}$ adaptée à une filtration, telle que pour tout temps d'arrêt $\tau$ (dépendant des données), $\mathbb{E}_P[E_\tau] \le 1$ .
Interprétation par le jeu de pari : Une e-variable représente le gain d'un parieur jouant contre la nature (la distribution nulle). Si l'hypothèse nulle est vraie, le parieur ne peut pas espérer gagner de l'argent (l'espérance du gain est $\le 1$ ). Une grande e-value indique que le parieur a accumulé beaucoup de richesse, ce qui constitue une preuve forte contre l'hypothèse nulle.

Critères d'évaluation (Desiderata)

Les auteurs ont compilé 21 critères de preuve, divisés en deux catégories :

Critères statiques : Évalués sur un lot de données fixe (ex. : invariance à l'échantillon, cohérence, validité pour une hypothèse unique, principe de vraisemblance).
Critères dynamiques : Concernant les scénarios séquentiels et contrefactuels.
- Inter-expérience : Accumulation de preuves entre études indépendantes (fixes ou flexibles).
- Intra-expérience : Gestion de l'arrêt optionnel et des scénarios contrefactuels (le fait que le plan d'expérience n'ait pas été modifié mais aurait pu l'être).

Comparaison

Les auteurs comparent les e-statistiques aux p-values, aux rapports de vraisemblance (LR et GLR) et aux facteurs de Bayes (subjectifs et objectifs) sur la base de ces 21 critères.

3. Contributions Clés

Introduction systématique des e-statistiques : L'article positionne les e-values et e-processes comme des objets mathématiques riches, capables de combiner les avantages des traditions existantes.
Taxonomie des critères dynamiques : Distinction claire entre l'accumulation inter-expérience et intra-expérience, ainsi qu'entre les contrefactuels inter et intra-expérience, clarifiant des concepts souvent confondus dans la littérature.
Évaluation comparative exhaustive : Une analyse détaillée montrant que les e-statistiques satisfont un ensemble plus large de critères que n'importe quelle autre mesure unique, notamment en ce qui concerne les hypothèses composites et les plans d'arrêt optionnel.
Lien avec la théorie de l'information : Démonstration que toute e-statistique peut être interprétée comme une différence de longueur de code (liée au principe MDL - Minimum Description Length), reliant ainsi la théorie des e-values à la théorie de l'information.

4. Résultats Principaux

Le tableau de comparaison (Table 1) et l'analyse textuelle révèlent les points suivants :

Hypothèses composites et non-paramétriques : Les e-statistiques excellent ici. Contrairement aux rapports de vraisemblance simples (qui nécessitent des hypothèses simples) ou aux facteurs de Bayes (qui nécessitent des priors sur des espaces infinis complexes), les e-statistiques peuvent être construites directement pour des classes non-paramétriques (ex. : distributions bornées de moyenne $\mu$ ) sans spécifier d'hypothèse alternative explicite.
Arrêt optionnel et validité "anytime" : C'est l'avantage majeur des e-processes. Ils restent valides à n'importe quel temps d'arrêt $\tau$ , permettant l'arrêt optionnel sans infliger de biais d'erreur de type I. Les p-values et les facteurs de Bayes (sauf avec des priors très spécifiques) échouent sur ce critère.
Cumul de preuves (Accumulation) :
- Les e-values se combinent naturellement par multiplication (produit de e-values indépendantes est une e-value), même si les études sont dépendantes (via des combinaisons convexes).
- Cela permet une accumulation de preuves flexible (Accumulation II) où la décision de continuer dépend des résultats précédents, ce que les p-values et les facteurs de Bayes objectifs ne permettent pas correctement.
Principe de vraisemblance : Les e-statistiques satisfont une version "lâche" du principe de vraisemblance (toute e-value est dominée par un rapport de vraisemblance). Elles satisfont le principe strict pour certaines constructions (comme l'inférence universelle), mais pas toutes.
Contrôle des erreurs : Les e-statistiques fournissent des bornes d'erreur de type I non asymptotiques (via l'inégalité de Markov et celle de Ville), une propriété que les facteurs de Bayes et les rapports de vraisemblance généralisés (GLR) ne garantissent pas toujours sans hypothèses supplémentaires.
Limites :
- Non-unicité : Comme pour les p-values ou les facteurs de Bayes, il existe de nombreuses e-values possibles pour un même problème. Le choix de l'e-value dépend de la stratégie de pari (ou de l'alternative implicite).
- Contrefactuels intra-expérience : Les e-processes définis sur des filtrations (suites de variables) ne satisfont pas toujours parfaitement les critères de contrefactuels liés à la définition de l'expérience elle-même (ex. : le problème du voltmètre de Pratt), bien que les rapports de vraisemblance purs le fassent.

5. Signification et Implications

Synthèse des traditions : Les e-statistiques réussissent à fusionner les avantages des trois grandes écoles :
- La rigueur fréquentiste et le contrôle d'erreur (comme les p-values).
- L'interprétation comparative et l'objectivité (comme les rapports de vraisemblance).
- La flexibilité d'incorporation de connaissances antérieures via les méthodes de mélanges (comme les facteurs de Bayes), tout en conservant des garanties fréquentistes.
Nouveau standard pour la science reproductible : Grâce à leur capacité à gérer l'arrêt optionnel et l'accumulation de preuves sans inflation du taux d'erreur, les e-processes offrent une solution robuste aux problèmes de "p-hacking" et de répliques séquentielles.
Interprétation intuitive : L'interprétation par le jeu de pari (accumulation de richesse) offre une métaphore intuitive et puissante pour comprendre la force de la preuve contre une hypothèse nulle, indépendamment de la taille de l'échantillon.

En conclusion, l'article plaide pour l'adoption des e-statistiques comme mesure de preuve statistique supérieure, capable de surmonter les limitations fondamentales des p-values, des rapports de vraisemblance et des facteurs de Bayes, tout en offrant une interprétation unifiée et intuitive.