📊 statistics

Bayesian Inference Procedures for A/B Testing: An Overview

Cet article propose une hiérarchie systématique à trois niveaux des configurations de tests A/B bayésiens, démontrant que si de nombreuses plateformes commerciales utilisent des méthodes non calibrées, le choix approprié des a priori et des règles d'arrêt — spécifiquement l'arrêt par facteur de Bayes et le Bayes empirique — est essentiel pour contrôler les risques distincts tels que les taux de faux positifs, l'erreur d'estimation et le regret.

Auteurs originaux : Mårten Schultzberg, Mattias Frånberg

Publié 2026-08-14

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mårten Schultzberg, Mattias Frånberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère : « Ce nouvel indice a-t-il réellement résolu l'affaire, ou n'était-ce qu'une chance insolente ? » Dans le monde de la science et des affaires, c'est ce qu'on appelle l'A/B testing (test A/B). C'est une façon de comparer deux versions de quelque chose (comme un bouton rouge par rapport à un bouton bleu) pour voir laquelle fonctionne le mieux. Mais voici la partie délicate : si vous continuez à vérifier les résultats pendant que l'expérience est en cours, vous pourriez être trompé par le bruit aléatoire. C'est comme lancer une pièce de monnaie et s'arrêter dès que l'on voit trois fois face de suite ; vous pourriez penser que la pièce est magique, mais ce n'est que de la chance. C'est le danger du « peeking » (le coup d'œil furtif).

Pour résoudre cela, les scientifiques utilisent l'inférence bayésienne, une méthode qui met à jour les croyances à mesure que de nouvelles données arrivent, un peu comme la façon dont vous mettez à jour votre opinion sur un film au fur et à mesure que vous regardez plus de scènes. Cependant, il n'existe pas qu'une seule façon de procéder. Certaines méthodes sont comme des suppositions basées sur une intuition, tandis que d'autres sont comme l'utilisation d'un règlement strict pour éviter les fausses alertes. La grande question est : quelle méthode vous protège réellement contre les mauvaises décisions, et laquelle ne fait que donner une impression de sécurité ? Ce document plonge dans la réalité désordonnée de ces différentes méthodes pour déterminer lesquelles sont réellement fiables et lesquelles sont juste des moyens sophistiqués de se faire piéger par le hasard.

Les Trois Niveaux de Vérité

Les auteurs, Mårten Schultzberg et Mattias Frånberg de chez Spotify, ont réalisé que les gens parlent souvent de « l'A/B testing bayésien » comme s'il s'agissait d'un outil unique et magique. Ils ont découvert qu'il s'agit en réalité d'une famille de différents outils dotés de super-pouvoirs (et de faiblesses) très distincts. Pour donner un sens à tout cela, ils ont organisé ces outils en une hiérarchie à trois niveaux, comme un jeu vidéo avec trois niveaux de difficulté et de sécurité.

Niveau 1 : Le niveau de l'« Intuition » (Cohérence a posteriori)

Imaginez que vous jouez à un jeu où vous voulez simplement vous sentir confiant dans votre supposition. Vous regardez les données et dites : « Je suis sûr à 95 % que le bouton bleu est meilleur ! » C'est le Niveau 1. C'est mathématiquement cohérent, ce qui signifie que la mise à jour de vos croyances est logique en interne. Mais attention : cela offre aucune protection contre les fausses alertes si vous continuez à vérifier les résultats.

Le papier montre que si vous utilisez un « a priori plat » (en partant essentiellement de l'idée que vous n'avez aucune opinion) et que vous vous arrêtez dès que vous vous sentez sûr à 95 %, vous faites exactement la même chose qu'un « simple observateur furtif » (simple peeker). C'est comme vérifier votre lancer de pièce chaque seconde et s'arrêter dès que vous voyez trois fois face. Les simulations du papier confirment que cette méthode a un taux de faux positifs d'environ 30 % (bien plus élevé que les 5 % que les gens souhaitent habituellement). Cela semble satisfaisant, mais c'est dangereux. Même si vous essayez d'utiliser une approche « décisionnelle » (calculant le coût d'une erreur), si vous n'avez pas de règle stricte pour l'arrêt, vous pourriez quand même finir par déployer une fonctionnalité médiocre la moitié du temps.

Niveau 2 : Le niveau « Gardé » (Arrêt par le Facteur de Bayes)

Ajoutons maintenant un garde de sécurité. Le Niveau 2 utilise ce qu'on appelle un Facteur de Bayes. Voyez cela comme un score qui compare à quel point les données soutiennent l'idée que « la Version B est meilleure » par rapport à « la Version B est identique à la A ».

Le papier révèle que si vous utilisez un a priori approprié (une supposition de départ raisonnable) et que vous ne vous arrêtez que lorsque ce score franchit une ligne spécifique, vous obtenez une garantie. Peu importe le nombre de fois où vous jetez un coup d'œil, la probabilité d'une fausse alerte reste inférieure à votre limite (généralement 5 %). C'est un point crucial. Les auteurs montrent que pour de nombreux coûts réels en entreprise, cette méthode est presque la meilleure façon de décider quand s'arrêter. C'est comme avoir un videur qui vérifie votre carte d'identité chaque fois que vous tentez d'entrer, garantissant que seuls les vraiment chanceux (ou vraiment talentueux) passent.

Il est intéressant de noter que le papier soutient que le choix entre le « Bayésien » et le « Fréquentiste » (l'autre grande école statistique) importe souvent moins qu'on ne le pense. Si vous configurez un test bayésien avec un modèle de coût spécifique, il finit souvent par ressembler exactement à un test fréquentiste. La mathématique est différente, mais le résultat est souvent le même.

Niveau 3 : Le niveau « Maître » (Bayésien empirique)

C'est la section VIP. Le Niveau 3 ajoute une arme secrète : l'historique. Au lieu de deviner quel serait un point de départ « raisonnable », cette méthode examine des centaines d'expériences passées de la même entreprise pour apprendre la vérité sur l'ampleur habituelle des effets.

Imaginez que vous êtes un chef cuisinier. Au Niveau 2, vous devinez la quantité de sel à ajouter en vous basant sur un livre de recettes. Au Niveau 3, vous consultez un registre de tous les plats que vous avez cuisinés l'année dernière pour voir exactement quelle quantité de sel les clients ont réellement appréciée. C'est ce qu'on appelle un a priori Bayésien empirique.

Le papier montre que lorsque vous utilisez cet a priori basé sur l'historique, vous obtenez deux avantages incroyables :

Correction automatique : Cela corrige naturellement le problème de tester trop de choses à la fois (la multiplicité). Si vous testez 10 boutons, vous n'avez pas besoin de faire des calculs supplémentaires pour éviter les fausses alertes ; l'historique fait le travail pour vous.
Réduction calibrée (Shrinkage) : Cela ramène les résultats extrêmes vers la réalité. Si un test montre une amélioration massive de 50 %, mais que votre historique indique que les améliorations sont généralement minimes, cette méthode dira : « C'est probablement un coup de chance », et ramènera l'estimation à la baisse. Cela évète la « Malédiction du Gagnant » (Winner's Curse), où l'on célèbre une victoire énorme qui n'était en fait qu'un simple bruit.

Mais il y a un piège. Le papier avertit que cette magie du Niveau 3 ne fonctionne que si votre historique est honnête et représentatif.

Si vous ne regardez que vos succès passés (en ignorant les échecs), votre historique est biaisé et la méthode échoue.
Si vous mélangez des données provenant de deux types d'expériences différents (comme mélanger des recettes de gâteaux avec des tests de moteurs de voitures), l'historique devient confus et la protection disparaît.
Vous avez besoin d'un certain volume d'historique (environ 200 expériences passées) pour que cela fonctionne de manière fiable.

Le Verdict : Il s'agit du Risque, pas de l'Étiquette

Les auteurs ont fait tourner des simulations pour tester ces niveaux les uns contre les autres et contre les méthodes fréquentistes standards. Voici leurs conclusions :

Niveau 1 (A priori plat + Peeking) : C'est un désastre pour le contrôle des erreurs. Il produit des faux positifs environ 30 % du temps, tout comme le simple coup d'œil furtif.
Niveau 2 (Facteur de Bayes) : Il maintient les faux positifs bas (sous les 5 %) et est très flexible. Il ne nécessite pas de décider à l'avance de la durée de l'expérience.
Niveau 3 (Bayésien empirique) : Lorsque l'historique est bon, il produit les estimations les plus précises (erreurs les plus faibles) de toutes les méthodes. Il ramène les estimations sauvages vers la réalité mieux que quiconque.
Le piège de l'« Espérance de perte » : Certaines personnes essaient de s'arrêter en fonction de « combien d'argent nous pourrions perdre ». Le papier montre que cela ne fonctionne que si le déploiement d'une mauvaise fonctionnalité est gratuit. S'il y a le moindre coût lié au déploiement d'une mauvaise fonctionnalité (comme corriger le code ou agacer les utilisateurs), cette méthode finit par déployer des fonctionnalités médiocres beaucoup trop souvent.

Le papier conclut que la « meilleure » méthode n'est pas une question d'être Bayésien ou Fréquentiste. C'est une question de quel risque vous essayez de contrôler.

Si vous devez être absolument certain de ne pas faire de fausses affirmations, vous avez besoin du Niveau 2 ou 3.
Si vous avez beaucoup d'historique et que vous voulez les chiffres les plus précis, le Niveau 3 est le roi.
Si vous n'avez pas assez d'historique, tenez-vous en au Niveau 2 et utilisez des règles strictes pour éviter les fausses alertes.

En fin de compte, le papier suggère que l'étape la plus importante n'est pas de choisir un nom statistique sophistiqué. C'est de se demander : « Que se passe-t-il si je me trompe ? » Si le coût de l'erreur est élevé, vous avez besoin des garde-fous du Niveau 2 ou 3. Si vous traitez la méthode comme une baguette magique sans comprendre les règles, vous pourriez finir par célébrer une victoire qui n'était qu'un coup de chance.

Résumé Technique : Procédures d'Inférence Bayésienne pour les Tests A/B

1. Énoncé du Problème

L'inférence bayésienne pour les tests A/B est fréquemment traitée dans la littérature et la pratique comme une méthode monolithique. Elle est pourtant en réalité une famille de configurations définies par différentes combinaisons de priors (a priori) et de règles d'arrêt, possédant des propriétés statistiques fondamentalement différentes. Cette confusion mène à des affirmations trompeuses où des propriétés valables pour des configurations spécifiques (ex: contrôle du taux d'erreur) sont incorrectement attribuées au cadre global. De plus, de nombreuses plateformes d'expérimentation commerciales opèrent par défaut au niveau d'un « niveau inférieur » de garanties statistiques, échouant souvent à contrôler les taux de faux positifs (FPR) sous surveillance continue ou à calibrer les estimations d'effets. Il existe un manque de vue d'ensemble systématique organisant ces configurations, leurs garanties et leur relation avec les méthodes fréquentistes.

2. Méthodologie et Cadre

Le document organise les configurations bayésiennes courantes en une hiérarchie de garanties à trois niveaux, ordonnée par la force de leur contrôle du taux d'erreur. L'analyse repose sur un modèle normal standard à deux groupes où l'effet de traitement moyen $\delta = \mu_T - \mu_C$ est estimé à partir de données séquentielles.

La Hiérarchie des Trois Niveaux

Niveau 1 : Cohérence de la Postériorité (Sans contrôle d'erreur)

Définition : Toute procédure produisant une distribution a posteriori propre. La distribution a posteriori représente une mise à jour valide des croyances, quel que soit la règle d'arrêt (Principe de Vraisemblance).
Mécanismes : Inclut l'arrêt par probabilité a posteriori (ex: $P(B > A) > \gamma$ ) et l'arrêt par perte attendue (minimisation du regret attendu).
Limitations : Ces configurations ne fournissent aucune garantie de taux d'erreur fréquentiste. Sous un prior plat, l'arrêt par probabilité a posteriori est algébriquement identique au « regard furtif » (simple peeking, ex: arrêter quand une p-valeur < 0,05), entraînant une inflation des taux de faux positifs (Type I). L'arrêt par perte attendue optimise une fonction de perte spécifique mais ne limite pas le FPR.

Niveau 2 : FPR Borné via l'Arrêt par Facteur de Bayes (BF)

Définition : Atteint un contrôle inconditionnel du Taux de Faux Positifs ( $FPR \le \alpha$ ) même sous arrêt optionnel (continu).
Mécanisme : Combine un prior propre avec une règle de seuillage par Facteur de Bayes ( $BF_{10} > 1/\alpha$ ).
Base Théorique : Sous l'hypothèse nulle, la séquence des Facteurs de Bayes forme une martingale non négative. Selon l'inégalité de Ville, la probabilité que le BF dépasse un jour $1/\alpha$ est bornée par $\alpha$ , quel que soit le moment où l'expérience s'arrête.
Optimalité : Pour les fonctions de coût dont les gains terminaux sont affines par rapport à la distribution a posteriori, l'arrêt par BF est proche de l'optimalité pour la prise de décision séquentielle. Le choix entre une formulation décisionnelle et une formulation fréquentiste est largement une question de paramétrage.

Niveau 3 : FDR Borné et Shrinkage Calibré via l'Empirical Bayes (EB)

Définition : Ajoute un contrôle sur le Taux de Fausses Découvertes (FDR) sur plusieurs métriques et fournit un rétrécissement (shrinkage) calibré des estimations d'effets.
Mécanisme : Nécessite un prior Empirical Bayes estimé à partir d'un corpus d'expériences historiques. Ce prior est typiquement un mélange à deux composantes : une masse ponctuelle à zéro (représentant les effets nuls) et une distribution normale (représentant les effets non nuls).
Garanties :
- Contrôle du FDR : Le prior de mélange encode le taux historique de non-nullité ( $p$ ). Combiné à l'arrêt par BF, le plancher $(1-\hat{p})$ dans les rapports de probabilité (odds) a posteriori limite le FDR bayésien sans nécessiter de corrections de multiplicité explicites (ex: Bonferroni).
- Shrinkage Calibré : La moyenne a posteriori est ramenée vers zéro en fonction de la distribution réelle de la taille d'effet du programme, corrigeant ainsi le « biais du gagnant » (erreur de Type M) et réduisant la variance d'estimation.
Contraintes : Les garanties du Niveau 3 dépendent entièrement de la qualité et de la représentativité du corpus historique. Les modes de défaillance incluent les corpus « sélectionnés sur les gagnants » (excluant les nuls), les programmes groupés avec des distributions d'effets hétérogènes, ou une taille de corpus insuffisante (la stabilisation nécessite $\approx 200$ expériences historiques).

3. Contributions Clés

Taxonomie Systématique : Le document fournit la première vue d'ensemble systématique organisant les configurations de tests A/B bayésiens en une hiérarchie à trois niveaux basée sur les garanties de taux d'erreur, clarifiant que le terme « Bayésien » n'est pas une méthode unique mais un spectre de propriétés statistiques.
Équivalence des Cadres : Il démontre que pour de nombreuses configurations pratiques, la distinction entre approches bayésiennes et fréquentistes est superficielle.
- L'inférence a posteriori avec un prior plat est numériquement identique aux tests z fréquentistes.
- Le Facteur de Bayes est identique à la statistique du test de rapport de vraisemblance séquentiel de mélange (mSPRT).
- Les règles d'arrêt motivées par le coût convergent souvent vers les seuils de BF, liant les taux d'erreur décisionnels et fréquentistes.
Validation Empirique des Risques : Par des simulations, le document quantifie les risques des différentes configurations :
- Niveau 1 (Prior Plat + Arrêt A Posteriori) : Reproduit le simple "peeking" avec un FPR de $\approx 0,30$ (pour $\alpha=0,05$ ).
- Niveau 2 (Arrêt par BF) : Contrôle strictement le FPR en dessous de $\alpha$ , mais peut avoir une puissance moindre que les tests séquentiels de groupe (GST) pour les signaux marginaux en raison de l'augmentation logarithmique des seuils.
- Niveau 3 (EB + BF) : Atteint l'erreur quadratique moyenne (MSE) la plus faible parmi toutes les configurations grâce au shrinkage calibré, mais cet avantage disparaît si le prior est mal spécifié (ex: issu d'un corpus de gagnants).
Compromis Décisionnels : Le document analyse le « regret » des différentes méthodes. L'arrêt par perte attendue minimise le regret uniquement lorsque le coût de déploiement d'une variante à effet nul est effectivement nul. Dès lors que le déploiement engendre un coût non lié à la métrique (maintenance, complexité), les méthodes exigeant des preuves statistiques (arrêt par BF) atteignent un regret total plus faible.

4. Résultats de Simulation

Les auteurs présentent quatre contextes de simulation pour valider la hiérarchie :

Configuration A (Contrôle du FPR) : Confirme que l'arrêt a posteriori avec un prior plat ne contrôle pas le FPR (FPR $\approx 0,30$ ), tandis que l'arrêt par BF avec des priors propres maintient le FPR $\le 0,05$ .
Configuration B (Comparaison Séquentielle) : Compare l'arrêt par BF au GST fréquentiste et aux séquences de confiance toujours valides (WS-R).
- Toutes les méthodes séquentielles valides contrôlent le FPR.
- Le GST atteint la puissance la plus élevée mais nécessite une taille d'échantillon pré-engagée ( $n_{max}$ ).
- L'arrêt par BF offre de la flexibilité (pas de $n_{max}$ ) et, lorsqu'il est couplé à un prior Oracle EB, atteint la MSE la plus faible.
- Les priors EB mal spécifiés (ex: issus de données de gagnants) perdent l'avantage de la MSE et peuvent gonfler les taux d'erreur.
Configuration C (Qualité du Corpus) : Démontre que les propriétés du Niveau 3 (contrôle du FDR, shrinkage) sont très sensibles à la qualité du corpus. Un corpus d'environ 200 expériences est nécessaire pour la stabilité. Les corpus « sélectionnés sur les gagnants » ou « groupés » entraînent une inflation persistante du FPR/FDR qui ne converge pas avec davantage de données.
Configuration D (Analyse du Regret) : Montre que l'arrêt par perte attendue est optimal uniquement quand les coûts de déploiement sont nuls. À mesure que les coûts de déploiement augmentent, l'arrêt par BF (même avec un calibrage lâche) devient supérieur pour minimiser le regret attendu.

5. Signification et Revendications

Le document soutient que le choix de la configuration (prior et règle d'arrêt) est plus crucial que le choix du cadre (Bayésien vs Fréquentiste). La méthode appropriée doit être dictée par les risques que le programme doit contrôler.

Configuration Basée sur le Risque :
- Si l'objectif est de minimiser le coût attendu par décision et que déployer des variantes nulles est peu coûteux, les règles décisionnelles (perte attendue) peuvent être appropriées.
- Si l'objectif est de limiter le Taux de Faux Positifs ou le Taux de Fausses Découvertes à travers un programme, le Niveau 2 (Arrêt par BF) ou le Niveau 3 (EB + BF) est requis.
La Nécessité du Calibrage : Le document souligne que les bénéfices souvent attribués aux « méthodes bayésiennes » (correction automatique de multiplicité, shrinkage, faible erreur d'estimation) ne sont pas inhérents à l'utilisation d'une distribution a posteriori. Ils sont spécifiques au Niveau 3, nécessitant un prior Empirical Bayes calibré dérivé d'un corpus historique représentatif. Sans cela, une configuration bayésienne n'offre aucune protection supplémentaire contre la multiplicité par rapport à une méthode fréquentiste.
Conseils Pratiques : Beaucoup de plateformes opèrent actuellement au Niveau 1, reproduisant par inadvertance les erreurs de "peeking" fréquentistes. Les auteurs suggèrent que les programmes ne disposant pas d'un corpus historique large et représentatif devraient opérer au Niveau 2 (en utilisant l'arrêt par BF avec un prior faiblement informatif) et appliquer des corrections de multiplicité explicites, plutôt que de tenter le Niveau 3 avec un prior sous-ajusté.

En conclusion, le document affirme que le choix de la configuration (prior et règle d'arrêt) est plus important que le choix du cadre (Bayésien vs Fréquentiste). L'étiquette « Bayésien » seule ne garantit pas le contrôle des erreurs ; seules des configurations spécifiques au sein de la hiérarchie fournissent les garanties rigoureuses nécessaires à une expérimentation à grande échelle.