📊 statistics

Nobody Puts Bonferroni in a Corner

Cet article soutient que la correction de Bonferroni est une méthode supérieure pour les expériences en ligne car elle offre simplicité, intervalles de confiance simultanés inconditionnels et facilité de calcul, tout en démontrant que son coût en puissance est négligeable lorsque les métriques de garde-fou sont correctement exclues de la famille de tests.

Auteurs originaux : Mårten Schultzberg

Publié 2026-04-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mårten Schultzberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le chef d'orchestre d'un grand orchestre (Spotify) qui teste constamment de nouvelles mélodies (des fonctionnalités) pour voir si elles plaisent au public. Le problème, c'est que plus vous essayez de mélodies différentes, plus il est probable qu'une d'entre elles semble bonne par pur hasard, même si elle est en réalité terrible. C'est ce qu'on appelle le problème des « tests multiples ».

Pour éviter de diffuser une fausse mélodie, les statisticiens utilisent des règles strictes. Pendant longtemps, la règle la plus connue était la correction de Bonferroni. Mais beaucoup de gens la méprisent, la jugeant trop stricte, comme un gardien de sécurité qui arrête tout le monde à la porte, même les gens qui ont un billet valide.

Ce papier, écrit par Mårten Schultzberg de Spotify, dit en gros : « Arrêtez de mépriser Bonferroni ! Il est en fait le meilleur gardien pour notre travail. »

Voici pourquoi, expliqué avec des analogies simples :

1. Le problème du « Faux Positif » (L'illusion du hasard)

Si vous lancez une pièce de monnaie 10 fois, il y a de fortes chances que vous obteniez « Face » au moins une fois par pur hasard. Si vous testez 10 fonctionnalités, vous risquez de penser qu'une est géniale alors qu'elle ne fait rien.

La solution de Bonferroni : Elle divise la tolérance à l'erreur par le nombre de tests. C'est comme dire : « Pour valider une mélodie, elle doit être vraiment incroyable, pas juste un peu mieux que les autres par chance. »
La critique habituelle : Les gens disent : « C'est trop dur ! On va rater des bonnes idées ! »
La réponse du papier : Non, pas si vous savez quoi regarder.

2. La différence entre les « Chasseurs » et les « Gardes du corps »

C'est le point le plus important et le plus astucieux du papier.
Dans une expérience, il y a deux types de métriques (mesures) :

Les métriques de succès (Les Chasseurs) : Ce sont les objectifs principaux. Si au moins un de ces chasseurs trouve une proie (une amélioration), on lance la fonctionnalité.
Les métriques de garde (Les Gardes du corps) : Ce sont les alarmes de sécurité. Si l'une d'elles sonne (une baisse de performance), on annule tout.

L'erreur classique : On compte tous les chasseurs et tous les gardes du corps ensemble pour calculer la règle stricte. C'est comme si on demandait à un garde du corps de prouver qu'il est un super-héros juste pour entrer dans le bâtiment.

La révélation de l'auteur :

Pour les chasseurs, on a besoin d'une règle stricte (Bonferroni) pour ne pas se tromper.
Pour les gardes du corps, une erreur (penser qu'ils sont en danger alors qu'ils vont bien) ne nous fait pas lancer une mauvaise fonctionnalité. Au contraire, cela nous empêche de lancer quelque chose de bon. Donc, on n'a pas besoin de les compter dans la règle stricte !

L'analogie : Imaginez que vous achetez une voiture.

Vous voulez qu'elle soit rapide (métrique de succès).
Vous voulez qu'elle ne brûle pas (métrique de garde).
Si vous testez 10 façons de la rendre rapide et 50 façons de vérifier qu'elle ne brûle pas, vous ne devez pas appliquer la même rigueur aux 50 vérifications de feu. Seules les 10 façons de la rendre rapide comptent pour la décision finale. En retirant les « gardes » du calcul, la règle de Bonferroni devient beaucoup plus douce et raisonnable.

3. La carte au trésor (Les Intervalles de Confiance)

Quand on teste quelque chose, on ne veut pas juste savoir « Oui/Non ». On veut savoir « De combien ? ». C'est l'intervalle de confiance.

Bonferroni est comme une carte au trésor simple et honnête : « Le trésor est quelque part entre ici et là. » C'est clair pour tout le monde.
Les méthodes plus « intelligentes » (comme Holm ou Hommel) sont comme des cartes avec des zones floues. Elles disent : « Si vous avez trouvé le trésor, alors il est ici. Mais si vous ne l'avez pas trouvé, la carte ne vous dit rien. »
Pour des ingénieurs et des managers qui doivent prendre des décisions, une carte floue est dangereuse. Bonferroni offre une carte claire pour toutes les métriques, même celles qui n'ont pas « gagné ».

4. Le coût réel (Est-ce qu'on rate des bonnes idées ?)

L'auteur a fait des simulations et analysé 1 296 expériences réelles chez Spotify.

Le résultat : Quand on utilise la bonne logique (en ne comptant que les métriques de succès), la différence entre Bonferroni et les méthodes « plus puissantes » est minuscule.
L'analogie : C'est comme essayer de gagner 5 secondes sur un trajet de 10 heures en courant plus vite. Ça ne vaut pas le coup de changer tout son équipement de course pour ça.
Pourquoi ? Parce que dans le monde réel, la plupart des changements ne fonctionnent pas vraiment. Il y a très peu de « vrais trésors ». Donc, même les méthodes les plus sophistiquées ne trouvent pas beaucoup plus de trésors que la méthode simple.

En résumé

Le papier nous dit : « Ne soyez pas trop timides avec Bonferroni, mais ne soyez pas non plus trop naïfs. »

Simplifiez vos objectifs : Ne testez pas 20 choses à la fois. Concentrez-vous sur 2 ou 3 objectifs clés (les chasseurs) et utilisez le reste comme sécurité (les gardes).
Utilisez Bonferroni : C'est la méthode la plus simple, la plus honnête et la plus facile à expliquer à tout le monde. Elle ne vous fait pas rater beaucoup de bonnes idées si vous avez bien défini vos objectifs.
Faites confiance à la carte : Bonferroni vous donne une image claire de la réalité, sans zones d'ombre, ce qui est crucial pour construire la confiance dans une entreprise.

En gros, Bonferroni n'est pas le vilain petit canard. C'est le gardien de la porte le plus fiable, à condition de ne pas lui demander de surveiller les choses qui ne devraient pas être surveillées de la même manière.

1. Problématique : Le Dilemme du Test Multiple dans l'Expérimentation en Ligne

L'article aborde le problème fondamental du test multiple dans les plateformes d'expérimentation (A/B testing) comme celle de Spotify. Lorsqu'un grand nombre d'hypothèses ( $m$ ) sont testées simultanément, le taux d'erreur de type I global (taux d'erreur par famille, ou FWER) s'envole bien au-delà du niveau de signification nominal $\alpha$ .

Conséquence : Sans correction, la probabilité de faux positifs (déployer une fonctionnalité inefficace) devient inacceptable, érodant la confiance des équipes produit et des ingénieurs dans la plateforme.
Le Conflit Actuel : La pratique courante dans l'industrie et la littérature académique tend à rejeter la correction de Bonferroni comme étant trop conservatrice et « naïve », préférant des méthodes plus puissantes comme Holm, Hommel ou le contrôle du FDR (False Discovery Rate, ex: Benjamini-Hochberg).
L'Argument de l'Auteur : Cette réputation est largement imméritée dans le contexte de l'expérimentation produit. L'auteur soutient que Bonferroni est souvent le meilleur choix, non seulement pour sa simplicité, mais parce qu'il s'intègre mieux dans le flux de travail décisionnel complet (intervalles de confiance, calcul de puissance, surveillance séquentielle).

2. Méthodologie et Cadre Théorique

L'article propose une réévaluation de la correction de Bonferroni basée sur quatre piliers méthodologiques et une validation empirique.

A. Le Cadre Décisionnel Asymétrique (La Contribution Centrale)

L'auteur remet en cause la façon dont le « dénominateur » de la correction est calculé. Dans une expérience produit typique, les métriques ne jouent pas le même rôle :

Métriques de Succès : Au moins une doit être significative pour déployer (Logique Union-Intersection). C'est ici que le contrôle du FWER est critique.
Métriques de Garde-fou (Guardrails) : Toutes doivent confirmer l'absence de dégradation (Logique Intersection-Union). Une erreur de type I sur une métrique de garde-fou (conclure à tort qu'il n'y a pas de dégradation) facilite le déploiement, mais ne l'induit pas en erreur si une métrique de succès est réelle. Le risque principal ici est l'erreur de type II (bloquer un bon traitement), pas l'erreur de type I.
Conclusion Théorique : La correction de Bonferroni ne doit s'appliquer qu'au nombre de métriques de succès ( $S$ ), et non au nombre total de métriques. Le dénominateur est donc $S$ , et non $m$ . Cela rend la correction beaucoup moins sévère en pratique (ex: $\alpha/2$ au lieu de $\alpha/12$ ).

B. Cohérence des Intervalles de Confiance (IC)

Contrairement aux méthodes FDR (BH) ou aux procédures pas-à-pas (Holm/Hommel), la correction de Bonferroni permet de construire facilement des intervalles de confiance simultanés inconditionnels pour toutes les métriques.

Les méthodes avancées produisent souvent des IC conditionnels (valables seulement pour les hypothèses rejetées) ou des IC non informatifs (ne donnant pas de bornes numériques précises pour les métriques significatives), ce qui nuit à l'interprétation de l'ampleur de l'effet et de l'incertitude.

C. Calcul de la Taille d'Échantillon (Power)

Bonferroni est unique par sa tractabilité pour les calculs de puissance pré-expériment.

Avec Bonferroni, on peut fixer un niveau de signification ajusté $\alpha^* = \alpha/S$ et calculer la taille d'échantillon nécessaire de manière déterministe.
Avec BH ou Hommel, le calcul de la puissance dépend de paramètres inconnus au moment de la conception (comme la proportion de vraies nullités $\pi_0$ ou la structure de corrélation), rendant la planification difficile et souvent approximative.

D. Études Empiriques et Simulations

Pour valider ces arguments, l'auteur utilise deux approches :

Simulation Monte Carlo : 10 000 réplications avec $m=8$ métriques, variant la corrélation ( $\rho$ ) et le nombre de métriques non-nulles ( $k$ ).
Analyse Empirique : Étude de 1 296 expériences (1 840 comparaisons traitement-contrôle) sur la plateforme « Confidence » de Spotify. L'analyse compare les taux de déploiement (« ship rates ») entre Bonferroni, Holm, Hommel, et les méthodes FDR, en variant la définition de la famille de métriques (toutes vs. succès uniquement).

3. Résultats Clés

A. Impact de la Définition de la Famille de Métriques

C'est le résultat le plus significatif de l'étude empirique :

Famille « Naïve » (toutes les métriques) : Si l'on inclut les garde-fous dans la correction, les méthodes Holm et Hommel sont presque indistinguables de Bonferroni (gain de déploiement de seulement +0,5 à +0,6 points de pourcentage).
Famille « Correcte » (Succès uniquement) : Lorsque la famille est restreinte aux métriques de succès, Holm et Hommel gagnent environ 4 à 5 points de pourcentage en taux de déploiement par rapport à Bonferroni.
Conclusion : Le gain de puissance des méthodes sophistiquées dépend entièrement d'une spécification correcte du cadre décisionnel. Sans cela, Bonferroni est déjà optimal.

B. Coût de la Puissance (Power Loss)

Cas des métriques non-nulles rares : Dans l'expérimentation produit, la majorité des effets sont nuls (environ 70 %). Dans ce régime « sparse », l'écart de puissance entre Bonferroni et les méthodes plus puissantes (BH, Hommel) se réduit à quasi zéro, quelle que soit la corrélation.
Cas de forte corrélation : Même lorsque toutes les métriques sont non-nulles et fortement corrélées, le gain de BH sur Bonferroni reste modéré (environ 4-5 pp) sauf si le nombre de métriques est très élevé.
Comparaison FWER vs FDR : Les méthodes FDR (comme BH) montrent des taux de déploiement plus élevés, mais cela reflète leur nature permissive (acceptation de faux positifs) plutôt qu'une meilleure détection d'effets réels. Dans un contexte où chaque faux positif a un coût organisationnel élevé, le contrôle FWER est plus approprié.

C. Robustesse et Surveillance Séquentielle

Bonferroni s'intègre naturellement aux tests séquentiels de groupe (Group Sequential Testing) en allouant un budget $\alpha$ indépendant à chaque métrique, évitant les problèmes complexes de fractions d'information partagées qui affectent les méthodes comme Hommel.

4. Contributions Principales

Réhabilitation de Bonferroni : Démonstration que Bonferroni est la méthode FWER la plus simple, cohérente et robuste pour l'expérimentation en ligne, offrant des intervalles de confiance simultanés inconditionnels que les autres méthodes ne peuvent fournir facilement.
Redéfinition du Dénominateur : Preuve théorique et empirique que le dénominateur de la correction doit être le nombre de métriques de succès ( $S$ ) et non le total des métriques, car les métriques de garde-fou n'inflent pas le taux de faux positifs de la décision de déploiement.
Analyse Empirique à Grande Échelle : Validation sur 1 296 expériences réelles montrant que le « coût » de Bonferroni est minime lorsque le cadre décisionnel est bien défini, et que les méthodes alternatives ne gagnent pas de puissance significative si la famille de test est mal spécifiée.
Tractabilité Opérationnelle : Mise en avant de la facilité d'utilisation de Bonferroni pour la planification de la puissance et la surveillance en temps réel, contrairement aux méthodes complexes qui nécessitent des hypothèses non vérifiables.

5. Signification et Implications

L'article conclut que la communauté de l'expérimentation devrait s'inquiéter moins de l'utilisation de Bonferroni.

Pour les équipes de données : L'accent doit être mis sur la définition rigoureuse des métriques de succès (petites familles ciblées) plutôt que sur l'adoption de méthodes statistiques complexes qui offrent un gain marginal de puissance au prix d'une complexité accrue et d'une perte de cohérence dans les intervalles de confiance.
Pour la confiance organisationnelle : Bonferroni fournit une garantie de fiabilité (FWER contrôlé) et des intervalles de confiance honnêtes pour chaque métrique, ce qui est crucial pour la prise de décision produit.
Recommandation : Utiliser Bonferroni avec une définition correcte de la famille de métriques (succès uniquement) est la stratégie optimale pour la plupart des plateformes d'expérimentation, offrant un équilibre parfait entre contrôle de l'erreur, puissance et simplicité opérationnelle.