📊 statistics

Bayesian Inference Procedures for A/B Testing: An Overview

Dit artikel biedt een systematische drie-lagen hiërarchie van Bayesiaanse A/B-testconfiguraties, waarbij wordt aangetoond dat hoewel veel commerciële platforms ongekalibreerde methoden gebruiken, de juiste selectie van priors en stopregels — specif</strong>er de Bayes factor stopregel en empirische Bayes — essentieel is om onderscheidende risico's zoals foutpositieve ratio's, schattingsfouten en regret te beheersen.

Oorspronkelijke auteurs: Mårten Schultzberg, Mattias Frånberg

Gepubliceerd 2026-08-14

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mårten Schultzberg, Mattias Frånberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: "Heeft deze nieuwe aanwijzing de zaak echt opgelost, of was het gewoon een gelukkige gok?" In de wereld van wetenschap en zaken wordt dit A/B-testen genoemd. Het is een manier om twee versies van iets te vergelijken (zoals een rode knop versus een blauwe knop) om te zien welke beter werkt. Maar hier komt het lastige deel bij: als je de resultaten blijft controleren terwijl het experiment nog loopt, kun je worden misleid door willekeurige ruis. Het is alsof je een munt opgooit en stopt zodra je drie keer achter elkaar kop ziet; je zou kunnen denken dat de munt magisch is, maar het is gewoon geluk. Dit is het gevaar van "peeken" (gluren).

Om dit op te lossen, gebruiken wetenschappers Bayesiaanse inferentie, een methode die overtuigingen bijwerkt naarmate er nieuwe data binnenkomt, een beetje zoals hoe je je mening over een film bijwerkt terwijl je meer scènes ziet. Er is echter niet één manier om dit te doen. Sommige methoden zijn als gissen op basis van een onderbuikgevoel, terwijl andere als een strikt regelboek werken om valse alarmen te voorkomen. De grote vraag is: welke methode houdt je daadwerkelijk veilig tegen slechte beslissingen, en welke voelt alleen maar veilig aan? Dit artikel duikt in de rommelige realiteit van deze verschillende methoden om te ontdekken welke echt betrouwbaar zijn en welke slechts fancy manieren zijn om in de strik van het toeval te trappen.

De Drie Niveaus van Waarheid

De auteurs, Mårten Schultzberg en Mattias Frånberg van Spotify, realiseerden zich dat mensen vaak over "Bayesiaanse A/B-testen" praten alsof het één enkel, magisch hulpmiddel is. Ze ontdekten dat het eigenlijk een familie is van verschillende instrumenten met zeer verschillende superkrachten (en zwakheden). Om dit begrijpelijk te maken, hebben ze deze instrumenten georganiseerd in een hiërarchie van drie niveaus, zoals een videogame met drie moeilijkheidsgraden en veiligheidsniveaus.

Niveau 1: Het "Onderbuikgevoel"-niveau (Posterior Coherence)

Stel je voor dat je een spel speelt waarbij je gewoon zeker wilt willen zijn van je gok. Je kijkt naar de data en zegt: "Ik ben 95% zeker dat de blauwe knop beter is!" Dit is Niveau 1. Het is wiskundig consistent, wat betekent dat je updates van je overtuigingen intern logisch zijn. Maar hier is de adder onder het gras: het biedt nul bescherming tegen valse alarmen als je de resultaten blijft controleren.

Het artikel laat zien dat als je een "platte" prior gebruikt (in feite zonder mening beginnen) en gewoon stopt wanneer je je 95% zeker voelt, je precies hetzelfde doet als een "simpele peeker". Het is alsof je elke seconde je muntopgooi controleert en stopt zodra je drie keer achter elkaar kop ziet. De simulaties in het artikel bevestigen dat deze methode een foutpositievector heeft van ongeveer 30% (veel hoger dan de 5% die mensen meestal willen). Het voelt goed, maar het is gevaarlijk. Zelfs als je een "decision-theoretic" aanpak gebruikt (het berekenen van de kosten van een fout), kun je er nog steeds voor zorgen dat je de helft van de tijd een slechte feature implementeert als je geen strikte regel voor het stoppen hebt.

Niveau 2: Het "Beveiligde" niveau (Bayes Factor Stopping)

Laten we nu een beveiligingsbeambte toevoegen. Niveau 2 maakt gebruik van iets dat een Bayes Factor wordt genoemd. Denk aan dit als een score die vergelijkt hoeveel de data ondersteunt dat "Versie B beter is" versus "Versie B is hetzelfde als A".

Het artikel stelt vast dat als je een goede prior gebruikt (een redelijke begininschatting) en alleen stopt wanneer deze score een specifieke lijn overschrijdt, je een garantie krijgt. Hoe vaak je ook even kijkt, de kans op een vals alarm blijft onder je limiet (meestal 5%). Dit is een enorme zaak. De auteurs laten zien dat voor veel zakelijke kosten in de echte wereld, deze methode bijna de beste manier is om te beslissen wanneer je moet stoppen. Het is als een uitsmijter die je ID controleert elke keer dat je probeert binnen te komen, om ervoor te zorgen dat alleen de echt gelukkigen (of echt bekwamen) binnenkomen.

Interessant genoeg betogen de auteurs dat de keuze tussen "Bayesiaans" en "Frequentistisch" (de andere grote statistische stroming) vaak minder belangrijk is dan mensen denken. Als je een Bayesiaanse test opzet met een specifiek kostenmodel, lijkt deze vaak precies op een Frequentistische test. De wiskunde is anders, maar de uitkomst is vaak hetzelfde.

Niveau 3: Het "Meesters"-niveau (Empirical Bayes)

Dit is de VIP-sectie. Niveau 3 voegt een geheim wapen toe: geschiedenis. In plaats van te gissen wat een "redelijk" startpunt is, kijkt deze methode naar honderden eerdere experimenten van hetzelfde bedrijf om te leren hoe groot effecten meestal zijn.

Stel je voor dat je een chef-kok bent. Bij Niveau 2 raad je hoeveel zout je moet toevoegen op basis van een receptenboek. Bij Niveau 3 kijk je in een logboek van elk gerecht dat je het afgelopen jaar hebt gekookt om precies te zien hoeveel zout de klanten daadwerkelijk lekker vonden. Dit wordt een Empirical Bayes prior genoemd.

Het artikel laat zien dat wanneer je deze geschiedenis-gebaseerde prior gebruikt, je twee geweldige voordelen krijgt:

Automatische Correctie: Het lost het probleem van het te vaak controleren van zaken tegelijkertijd (multipliciteit) op. Als je 10 knoppen test, hoef je geen extra wiskunde te doen om valse alarmen te vermijden; de geschiedenis doet het werk voor je.
Gekalibreerde Shrinkage (Krimp): Het trekt extreme resultaten terug naar de realiteit. Als een test een enorme verbetering van 50% laat zien, maar je geschiedenis zegt dat verbeteringen meestal klein zijn, dan zegt deze methode: "Dat is waarschijnlijk een toevalstreffer," en trekt het de schatting naar beneden. Dit voorkomt de "Winner's Curse", waarbij je een enorme overwinning viert die eigenlijk gewoon ruis was.

Maar er is een valkuil. Het artikel waarschuwt dat deze Niveau 3-magie alleen werkt als je geschiedenis eerlijk en representatief is.

Als je alleen naar je eerdere overwinningen kijkt (en de mislukkingen negeert), is je geschiedenis kapot en faalt de methode.
Als je data van twee verschillende soorten experimenten mengt (zoals cakerecepten mengen met tests voor automotoren), raakt de geschiedenis in de war en verdwijnt de bescherming.
Je hebt een aanzienlijke hoeveelheid geschiedenis nodig (rond de 200 eerdere experimenten) om dit betrouwbaar te laten werken.

Het Oordeel: Het gaat om het Risico, niet om de Naam

De auteurs hebben simulaties uitgevoerd om deze niveaus tegen elkaar en tegen standaard Frequentistische methoden te testen. Dit is wat ze vonden:

Niveau 1 (Platte Prior + Peeken): Het is een ramp voor foutcontrole. Het produceert ongeveer 30% van de tijd foutpositieven, net als simpel peeken.
Niveau 2 (Bayes Factor): Het houdt foutpositieven laag (onder de 5%) en is zeer flexibel. Je hoeft niet van tevoren te beslissen hoe lang het experiment zal duren.
Niveau 3 (Empirical Bayes): Wanneer de geschiedenis goed is, levert dit de meest nauwkeurige schattingen (laagste fout) van alle methoden op. Het krimpt wilde gokken beter naar de realiteit dan wie dan ook.
De "Verwachte Verlies"-valkuil: Sommige mensen proberen te stoppen op basis van "hoeveel geld we mogelijk verliezen." Het artikel laat zien dat dit alleen werkt als het implementeren van een slechte feature gratis is. Als er enige kosten verbonden zijn aan het implementeren van een slechte feature (zoals het repareren van code of het irriteren van gebruikers), begint deze methode veel te vaak slechte features te implementeren.

Het artikel concludeert dat de "beste" methode niet gaat over hetzij Bayesiaans of Frequentistisch zijn. Het gaat erom welk risico je probeert te beheersen.

Als je er absoluut zeker van wilt zijn dat je geen valse claims maakt, heb je Niveau 2 of 3 nodig.
Als je veel geschiedenis hebt en de meest nauwkeurige cijfers wilt, is Niveau 3 de koning.
Als je niet genoeg geschiedenis hebt, houd je aan Niveau 2 en gebruik je strikte regels om valse alarmen te voorkomen.

Uiteindelijk suggereert het artikel dat de belangrijkste stap niet het kiezen van een chique statistische naam is. Het is vragen: "Wat gebeurt er als ik ernaast zit?" Als de kosten van het ernaast zitten hoog zijn, heb je de vangrails van Niveau 2 of 3 nodig. Als je de methode behandelt als een toverstaf zonder de regels te begrijpen, eindig je misschien met het vieren van een overwinning die slechts een gelukkige gok was.

Technische Samenvatting: Bayesiaanse Inferentieprocedures voor A/B-testen

1. Probleemstelling

Bayesiaanse inferentie voor A/B-testen wordt in de literatuur en de praktijk vaak behandeld als een monolithische methode. Het is echter in feite een familie van configuraties die worden gedefinieerd door verschillende combinaties van priors en stopregels, met fundamenteel verschillende statistische eigenschappen. Deze samensmelting leidt tot misleidende claims waarbij eigenschappen die waar zijn voor specifieke configuraties (bijv. controle over de foutenratio) onterecht aan het volledige framework worden toegeschreven. Bovendien opereren veel commerciële experimentatieplatforms standaard op een "laagste niveau" van statistische garanties, waarbij ze vaak falen in het controleren van de vals-positieve ratio (FPR) onder continue monitoring of in het kalibreren van effectschattingen. Er is een gebrek aan een systematisch overzicht dat deze configuraties, hun garanties en hun relatie tot frequentistische methoden organiseert.

2. Methodologie en Framework

Het artikel organiseert veelvoorkomende Bayesiaanse configuraties in een hiërarchie van drie niveaus van garanties, geordend op basis van de sterkte van hun foutenratio-controle. De analyse steunt op een standaard twee-groepen normaalmodel waarbij het gemiddelde behandelingseffect $\delta = \mu_T - \mu_C$ wordt geschat uit sequentiële data.

De Hiërarchie van Drie Niveaus

Niveau 1: Posterieure Coherentie (Geen Foutcontrole)

Definitie: Elke procedure die een passende posterieure produceert. De posterieure vertegenwoordigt een geldige update van overtuigingen, ongeacht de stopregel (Likelihood Principle).
Mechanismen: Omvat het stoppen op basis van posterieure waarschijnlijkheid (bijv. $P(B > A) > \gamma$ ) en het stoppen op basis van verwachte verliezen (minimaliseren van verwachte regret).
Beperkingen: Deze configuraties bieden geen frequentistische foutenratio-garanties. Onder een vlakke prior is het stoppen op basis van posterieure waarschijnlijkheid algebraïsch identiek aan "simpel peeken" (stoppen wanneer een p-waarde < 0,05 is), wat resulteert in opgeblazen Type I-foutenratio's. Het stoppen op basis van verwacht verlies optimaliseert voor een specifieke verliesfunctie, maar begrenst de FPR niet.

Niveau 2: Begrensde FPR via Bayes Factor (BF) Stopping

Definitie: Bereikt onvoorwaardelijke controle van de Vals-Positieve Ratio ( $FPR \le \alpha$ ), zelfs onder optionele (continue) monitoring.
Mechanisme: Combineert een gepaste (proper) prior met een Bayes Factor-drempelregel ( $BF_{10} > 1/\alpha$ ).
Theoretische Basis: Onder de nulhypothese vormt de sequentie van de Bayes Factoren een niet-negatieve martingale. Volgens de stelling van Ville is de kans dat de BF ooit $1/\alpha$ overschrijdt begrensd door $\alpha$ , ongeacht wanneer het experiment stopt.
Optimaliteit: Voor kostenfuncties waarvan de terminale uitbetaling affien is aan de posterieure verdeling, is BF-stopping bijna optimaal voor sequentiële besluitvorming. De keuze tussen een besluittheoretische en een frequentistische formulering is grotendeels een kwestie van parametrisatie.

Niveau 3: Begrensde FDR en Gekalibreerde Shrinkage via Empirical Bayes (EB)

Definitie: Voegt controle toe over de False Discovery Rate (FDR) over meerdere metrieken en biedt gekalibreerde shrinkage van effectschattingen.
Mechanisme: Vereist een Empirical Bayes prior die wordt geschat uit een corpus van historische experimenten. Deze prior is doorgaans een twee-componenten mengverdeling: een puntmassa bij nul (die nul-effecten vertegenwoordigt) en een normale verdeling (die niet-nul effecten vertegenwoordigt).
Garanties:
- FDR-controle: De mengprior codeert de historische niet-nul ratio ( $p$ ). Wanneer gecombineerd met BF-stopping, begrenst de $(1-\hat{p})$ vloer in de posterieure odds de Bayesiaanse FDR zonder dat expliciete multipliciteitscorrecties (bijv. Bonferroni) nodig zijn.
- Gekalibreerde Shrinkage: Het posterieure gemiddelde wordt naar nul teruggedrongen (shrinkage) op basis van de werkelijke effectgrootte-verdeling van het programma, wat de "winner's curse" (Type M-fout) corrigeert en de schattingsvariantie vermindert.
Restricties: De garanties van Niveau 3 hangen volledig af van de kwaliteit en representativiteit van het historische corpus. Faalmodi omvatten "winner-selected" corpora (waarbij nul-effecten zijn uitgesloten), gepoolde programma's met heterogene effectverdelingen, of een onvoldoende groot corpus (stabilisatie vereist $\approx 200$ historische experimenten).

3. Belangrijkste Bijdragen

Systematische Taxonomie: Het artikel biedt het eerste systematische overzicht dat Bayesiaanse A/B-testconfiguraties organiseert in een drie-traps hiërarchie op basis van foutenratio-garanties, waarbij wordt verduidelijkt dat "Bayesiaans" niet één enkele methode is, maar een spectrum van statistische eigenschappen.
Equivalentie van Frameworks: Het toont aan dat voor veel praktische configuraties het onderscheid tussen Bayesiaanse en frequentistische benaderingen oppervlakkig is.
- De inferentie met een vlakke prior is numeriek identiek aan frequentistische z-testen.
- De Bayes Factor is identiek aan de meng Sequential Probability Ratio Test (mSPRT) statistiek.
- Door kosten gemotiveerde stopregels convergeren vaak naar BF-drempels, wat de besluittheoretische en frequentistische foutenratio's aan elkaar koppelt.
Empirische Validatie van Risico's: Door middel van simulaties kwantificeert het artikel de risico's van verschillende configuraties:
- Niveau 1 (Vlakke Prior + Posterieure Stopping): Reproduceert simpel peeken met een FPR van $\approx 0,30$ (voor $\alpha=0,05$ ).
- Niveau 2 (BF Stopping): Controleert de FPR strikt onder $\alpha$ , maar kan een lagere power hebben dan Group Sequential Tests (GST) voor marginale signalen vanwege logaritmisch toenemende drempels.
- Niveau 3 (EB + BF): Bereikt de laagste Mean Squared Error (MSE) van alle configuraties dankzij gekalibreerde shrinkage, maar dit voordeel verdwijnt als de prior verkeerd gespecificeerd is (bijv. door een "winner-selected" corpus).
Besluittheoretische Trade-offs: Het artikel analyseert de "regret" van verschillende methoden. Expected-loss stopping minimaliseert regret alleen wanneer de kosten van het implementeren van een variant met een nul-effect effectief nul zijn. Zodra implementatie enige niet-metrische kosten met zich meebrengt (onderhoud, complexiteit), bereiken methoden die statistisch bewijs vereisen (BF-stopping) een lagere totale regret.

4. Simulatie-resultaten

De auteurs presenteren vier simulatie-instellingen om de hiërarchie te valideren:

Instelling A (FPR Controle): Bevestigt dat posterieure stopping met een vlakke prior faalt in het controleren van de FPR (FPR $\approx 0,30$ ), terwijl BF-stopping met passende priors de FPR $\le 0,05$ behoudt.
Instelling B (Sequentiële Vergelijking): Vergelijkt BF-stopping met frequentistische GST en always-valid confidence sequences (WS-R).
- Alle geldige sequentiële methoden controleren de FPR.
- GST bereikt de hoogste power maar vereist een vooraf vastgestelde steekproefomvang ( $n_{max}$ ).
- BF-stopping biedt flexibiliteit (geen $n_{max}$ ) en bereikt, wanneer gekoppeld aan een Oracle EB prior, de laagste MSE.
- Verkeerd gespecificeerde EB-priors (bijv. uit winner-selected data) verliezen het MSE-voordeel en kunnen de foutenratio opschalen.
Instelling C (Corpus Kwaliteit): Demonstreert dat de eigenschappen van Niveau 3 (FDR-controle, shrinkage) zeer gevoelig zijn voor de kwaliteit van het corpus. Een corpus van $\approx 200$ experimenten is nodig voor stabiliteit. "Winner-selected" of "gepoolde" corpora leiden tot een aanhoudende inflatie van FPR/FDR die niet convergeert met meer data.
Instelling D (Regret Analyse): Toont aan dat expected-loss stopping alleen optimaal is wanneer de implementatiekosten nul zijn. Naarmate de kosten voor implementatie toenemen, wordt BF-stopping (zelfs met losse kalibratie) superieur in het minimaliseren van de verwachte regret.

5. Betekenis en Claims

Het artikel betoogt dat de geschikte methode voor een experimentatieprogramma moet worden bepaald door de risico's die het programma moet controleren, en niet door een voorkeur voor een specifiek statistisch framework.

Risico-gebaseerde Configuratie:
- Als het doel is om de verwachte kosten per beslissing te minimaliseren en het implementeren van nul-effecten goedkoop is, kunnen besluittheoretische (expected-loss) regels passend zijn.
- Als het doel is om de Vals-Positieve Ratio of de False Discovery Rate over een heel programma te begrenzen, is Niveau 2 (BF stopping) of Niveau 3 (EB + BF) vereist.
De Noodzaak van Kalibratie: Het artikel benadrukt dat de voordelen die vaak aan "Bayesiaanse methoden" worden toegeschreven (automatische multipliciteitscorrectie, shrinkage, lage schattingsfout) niet inherent zijn aan het gebruik van een posterieure. Het zijn specifieke eigenschappen van Niveau 3, die een gekalibreerde Empirical Bayes prior vereisen die is afgeleid van een representatief historisch corpus. Zonder dit biedt een Bayesiaanse configuratie geen meer bescherming tegen multipliciteit dan een frequentistische.
Praktische Richtlijnen: Veel platforms opereren momenteel op Niveau 1, waardoor ze onbedoeld de frequentistische peeken-fouten reproduceren. De auteurs suggereren dat programma's zonder een groot, representatief historisch corpus op Niveau 2 moeten opereren (door BF-stopping te gebruiken met een zwak informatieve prior) en expliciete multipliciteitscorrecties moeten toepassen, in plaats van te proberen Niveau 3 te gebruiken met een onderaangelaste prior.

Concluderend stelt het artikel dat de keuze van de configuratie (prior en stopregel) belangrijker is dan de keuze van het framework (Bayesiaans versus Frequentistisch). De label "Bayesiaans" alleen garandeert geen foutencontrole; alleen specifieke configuraties binnen de hiërarchie bieden de noodzakelijke rigoureuze garanties voor grootschalige experimentatie.