📊 statistics

Nobody Puts Bonferroni in a Corner

Dit paper pleit ervoor dat de Bonferroni-correctie in online experimenten een ondergewaardeerde, maar superieure keuze is vanwege zijn eenvoud, geschiktheid voor steekproefgrootteberekeningen en het feit dat het, wanneer correct toegepast op succesmetrieken, een vergelijkbaar vermogen behoudt als complexere FWER-methoden.

Oorspronkelijke auteurs: Mårten Schultzberg

Gepubliceerd 2026-04-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mårten Schultzberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom de "Bonferroni" de onterecht gemiste held is van online experimenten

Stel je voor dat je een groot feest organiseert (een experiment) en je wilt weten of je nieuwe muziek (een nieuwe functie) de sfeer verbetert. Je kijkt naar tien verschillende dingen: lachen de mensen meer? Zullen ze langer blijven dansen? Kopen ze meer drankjes? (Dit zijn je metrieken).

Het probleem is: hoe meer dingen je bekijkt, hoe groter de kans dat je per ongeluk iets ziet dat er niet is. Als je naar tien dingen kijkt, is het bijna zeker dat er één ding "toevallig" beter lijkt, terwijl het eigenlijk niets is. In de statistiek noemen we dit het meerdere-toetsingsprobleem.

Vroeger dachten experts: "Oh nee, als je naar zoveel dingen kijkt, moet je je eisen extreem streng maken om geen fouten te maken." Ze gebruikten daarvoor een methode genaamd Bonferroni. Maar die methode kreeg een slechte reputatie: "Te streng! Te conservatief! Je mist hierdoor leuke dingen!" Mensen begonnen daarom andere, "slimmere" methoden te gebruiken.

Mårten Schultzberg, een data-expert bij Spotify, zegt in dit artikel: "Wacht even. Die reputatie is onterecht. Bonferroni is eigenlijk de beste vriend voor online experimenten, mits je het goed gebruikt."

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Waarheidscontrole" (Betrouwbaarheid)

Stel je voor dat je een nieuwsbericht leest.

Andere methoden zeggen: "Kijk, dit nieuwsbericht is waar!" Maar als je de details in de krant leest, blijkt dat het alleen waar is als je al gelooft dat het waar is. Het is een beetje wazig.
Bonferroni zegt: "Hier is een foto van de gebeurtenis. Deze foto is 100% eerlijk en toont precies wat er is gebeurd, ongeacht of je het gelooft of niet."

In de wereld van data betekent dit: Bonferroni geeft je een betrouwbare schatting (een "betrouwbaarheidsinterval") van het effect. Je weet precies hoe groot de verbetering is en hoe zeker je kunt zijn. De "slimmere" methoden geven vaak een mooier getal, maar dat getal is soms een illusie als je te veel variabelen hebt. Voor een bedrijf als Spotify is het belangrijker om niet per ongeluk een slechte functie te lanceren, dan om elke kleine kans op een verbetering te grijpen.

2. De "Wachters" vs. De "Winnaars" (De sleutel tot de oplossing)

Dit is het belangrijkste punt van het artikel. Veel mensen denken dat je alle tien metrieken moet straffen met de strenge Bonferroni-regel. Maar dat is niet nodig!

Stel je voor dat je een team hebt dat een nieuwe auto bouwt:

De Winnaars (Success Metrics): Dit zijn de dingen die de auto beter moeten maken (bijv. snellere acceleratie). Als één van deze dingen echt beter is, mogen we de auto lanceren.
De Wachters (Guardrail Metrics): Dit zijn de dingen die de auto niet slechter mogen maken (bijv. de motor mag niet oververhitten, de banden mogen niet lekken). Als één van deze dingen slechter wordt, blokkeren we de lancering.

Het inzicht:
Als je een "wachter" (zoals de motor) controleert en je ziet per ongeluk dat hij "beter" lijkt (een vals positief), maakt dat de lancering niet waarschijnlijker. Integendeel, als je per ongeluk denkt dat de motor slechter is dan hij is, blokkeer je een goede auto. Dat is jammer, maar het leidt niet tot een verkeerde lancering.

De enige manier om een verkeerde lancering te krijgen, is als je denkt dat een "Winnaar" (zoals de snelheid) beter is, terwijl dat niet zo is.

De conclusie: Je hoeft alleen maar streng te zijn voor de Winnaars. De "Wachters" tellen niet mee voor de strenge straf.
Het resultaat: In plaats van je eisen streng te maken voor 10 dingen, doe je dat alleen voor de 2 of 3 echte Winnaars. De straf (Bonferroni) wordt dus veel milder dan mensen denken!

3. De "Reisplanner" (Voorbereiding)

Voordat je een experiment start, moet je weten hoeveel mensen je nodig hebt.

Bonferroni is als een simpele, betrouwbare GPS. Je typt je bestemming in en hij zegt: "Je hebt X brandstof nodig." Iedereen begrijpt dit en iedereen kan het controleren.
De "slimmere" methoden zijn als een GPS die zegt: "Je hebt X brandstof nodig, als het weer goed is, als er geen files zijn, en als je auto een bepaalde kleur heeft." Je kunt de berekening niet controleren omdat je die voorwaarden niet kent voordat je vertrekt.

Voor grote bedrijven is het cruciaal om van tevoren te weten of een experiment kans van slagen heeft. Bonferroni maakt dit makkelijk en eerlijk.

4. De Kosten van "Slimmer" zijn

Is het dan helemaal niet erg dat Bonferroni iets minder vaak een "winnaar" vindt dan de andere methoden?
Het artikel laat zien dat het verschil heel klein is, zolang je maar de "Wachters" en "Winnaars" goed scheidt (zoals in punt 2).

Als er echt maar weinig verbeteringen zijn (wat vaak het geval is bij productveranderingen), vinden de "slimme" methoden nauwelijks meer dan Bonferroni.
Als je de "Wachters" per ongeluk meetelt, zijn de "slimme" methoden bijna net zo streng als Bonferroni anyway.

De Grootte van het Probleem

Het artikel concludeert met een belangrijke les voor iedereen die met data werkt:
Vertrouwen is alles.
Als je een methode kiest die complex is, waar mensen niet begrijpen hoe het werkt, en die soms "wazige" resultaten geeft, verliezen mensen het vertrouwen in je data. Dan stoppen ze met luisteren naar de experimenten.

Bonferroni is de "oude, saaie" methode, maar hij is:

Eerlijk: Hij geeft altijd een waarheidsgetrouwe foto.
Eenvoudig: Iedereen begrijpt de berekening.
Veilig: Hij voorkomt dat je per ongeluk slechte functies lanceert.

Kortom:
Stop met bang te zijn voor Bonferroni. Gebruik het, maar zorg ervoor dat je weet welke metrieken echt belangrijk zijn voor succes (de Winnaars) en welke alleen als waarschuwing dienen (de Wachters). Als je dat doet, is Bonferroni de perfecte, betrouwbare kompasnaald voor je experimenten.

Titel: Nobody Puts Bonferroni in a Corner

Auteur: Mårten Schultzberg (Spotify, Confidence Platform)
Onderwerp: Meerdere toetsing (Multiple Testing) in online experimenten (A/B-tests).

1. Het Probleem

In online experimenten worden vaak meerdere hypotheses tegelijk getoetst (bijv. verschillende succes- en bewakingsmetrieken). Dit leidt tot een inflatie van het Family-Wise Error Rate (FWER): de kans op ten min één vals positief resultaat stijgt drastisch boven het nominale significantieniveau ( $\alpha$ ).

Huidige praktijk: Veel praktici vermijden correcties omdat ze te conservatief worden geacht, of kiezen voor methoden die op papier krachtiger lijken (zoals Benjamini-Hochberg voor FDR-controle of Holm/Hommel voor FWER), zonder te beseffen of deze methoden geschikt zijn voor de specifieke besluitvormingslogica van productexperimenten.
De misvatting: Er heerst een narratief dat Bonferroni "verouderd" en te conservatief is, terwijl FDR-methoden (zoals BH) de moderne standaard zouden zijn. De auteurs betogen dat dit narratief niet past bij de context van productexperimenten, waar de meeste veranderingen geen effect hebben (hoge null-ratio) en elke vals positieve beslissing (het "shippen" van een slechte feature) direct en kostbaar is.

2. Methodologie

Het artikel combineert theoretische argumentatie met empirische analyse en simulaties:

Theoretisch Kader:
- Analyse van de besluitvormingslogica: onderscheid tussen succesmetrieken (minstens één moet significant zijn) en guardrail/kwaliteitsmetrieken (alleen niet-verslechtering is toegestaan).
- Toepassing van Intersection-Union (IU) en Union-Intersection (UI) logica om te bepalen welke metrieken daadwerkelijk bijdragen aan het FWER-risico.
- Vergelijking van Bonferroni met geavanceerdere methoden (Holm, Hommel, Benjamini-Hochberg, Benjamini-Yekutieli) op het gebied van:
  - Constructie van simultane betrouwbaarheidsintervallen (CI).
  - Berekenbaarheid van steekproefgrootte (power calculations).
  - Compatibiliteit met sequentiële monitoring (group sequential testing).
Empirische Analyse:
- Dataset: 1.296 experimenten (1.840 behandelings-controle vergelijkingen) uitgevoerd op Spotify's "Confidence" platform.
- Vergelijking van "ship rates" (percentage experimenten waarvoor de behandeling wordt ingezet) tussen verschillende correctiemethoden.
- Variatie in scenario's: met en zonder variantiereductie (variance reduction), en verschillende definities van de "correctie-familie" (alle metrieken vs. alleen succesmetrieken).
Simulaties:
- Monte Carlo simulaties met variërende aantallen metrieken ( $m$ ), effectgroottes, en correlaties ( $\rho$ ) om de power van methoden te testen onder verschillende condities (van nul-correlatie tot hoge correlatie).

3. Belangrijkste Bijdragen

De auteurs presenteren vier kernargumenten waarom Bonferroni de beste keuze is voor online experimenten:

Unieke Coherentie in Betrouwbaarheidsintervallen (CI):
- Bonferroni is de enige breed toepasbare FWER-methode die onvoorwaardelijke simultane betrouwbaarheidsintervallen levert voor elke metriek, ongeacht of deze significant is of niet.
- Geavanceerdere methoden (zoals Holm en Hommel) leveren vaak niet-informatieve intervallen voor verworpen hypotheses (wanneer een resultaat significant is, weet je alleen dat het in het verwerpingsgebied ligt, niet de exacte grenzen).
- FDR-methoden (BH) vereisen complexe constructies (False Coverage Rate) die zelden worden geïmplementeerd in platforms, wat leidt tot te smalle intervallen die de onzekerheid onderschatten.
De "Ware" Correctiedenominator (Decision Framework):
- De auteurs betogen dat de standaard aanpak (alle metrieken tellen mee) fout is.
- Guardrail-metrieken (die verslechtering blokkeren) werken volgens Intersection-Union logica. Een vals positief op een guardrail maakt het makkelijker om te shippen, maar verhoogt niet het risico op een vals positieve ship-beslissing (want alle guardrails moeten passeren).
- Conclusie: De Bonferroni-denominator moet alleen het aantal succesmetrieken ( $S$ ) zijn, niet het totale aantal metrieken. In de praktijk is $S$ vaak klein (bijv. 2), terwijl het totale aantal metrieken groot kan zijn (bijv. 12). Dit maakt de correctie veel milder dan gedacht ( $\alpha/2$ vs $\alpha/12$ ).
Berekenbaarheid van Steekproefgrootte:
- Bonferroni is uniek eenvoudig te integreren in pre-experiment power-berekeningen. De aanpassing is een simpele substitutie van $\alpha$ door $\alpha/S$ .
- Methoden zoals BH vereisen aannames over het onbekende aandeel ware nulls ( $\pi_0$ ) en de gezamenlijke verdeling, wat planning op voorhand onmogelijk of onbetrouwbaar maakt.
Empirische Power-kosten:
- De "kost" van Bonferroni (verlies aan power) is in de praktijk vaak verwaarloosbaar.
- Scenario A (Foutieve familie-definitie): Als guardrails foutief worden meegerekend, zijn Holm en Hommel bijna identiek aan Bonferroni.
- Scenario B (Correcte familie-definitie): Als alleen succesmetrieken worden gebruikt, winnen Holm/Hommel ongeveer 4-5 procentpunten in ship-rate ten opzichte van Bonferroni.
- Scenario C (Sparce effecten): In de typische productomgeving waar de meeste veranderingen geen effect hebben (weinig non-null metrieken), is het verschil in power tussen Bonferroni en geavanceerde methoden verwaarloosbaar (nabij nul).

4. Resultaten

Empirische Ship Rates (Spotify Data):
- Met een correcte "success-only" familie definitie:
  - Bonferroni: 23,1% ship rate.
  - Holm/Hommel: ~27,7% ship rate (+4,5 tot +4,6 pp).
  - Benjamini-Hochberg (BH): 28,0% ship rate.
- Met een "naive" familie (alle metrieken):
  - Holm/Hommel zijn slechts +0,5 tot +0,6 pp beter dan Bonferroni. Dit toont aan dat de meerwaarde van geavanceerde methoden volledig afhankelijk is van een correcte besluitvormingslogica.
Simulatie Resultaten:
- Bij hoge correlatie tussen metrieken en veel non-null effecten, wint BH/Bonferroni meer power, maar in het sparse regime (waar 1 of 2 van de 8 metrieken echt effect hebben, wat typisch is voor producten), is het verschil tussen Bonferroni en Hommel/BH minder dan 1 procentpunt.
- FDR-methoden (BH) hebben een hoger FWER in de praktijk dan de nominale waarde suggereert wanneer er hoge correlatie is, wat het risico op vals positieve ship-beslissingen verhoogt.
Variantiereductie:
- Het gebruik van variantiereductie verlaagt de correlatie tussen metrieken, wat de voordelen van correlatie-uitbuitende methoden (zoals Hommel) iets verkleint, waardoor Bonferroni nog relatief sterker wordt.

5. Significantie en Conclusie

Het artikel concludeert dat de reputatie van Bonferroni als "te conservatief" en "verouderd" grotendeels onterecht is in de context van productexperimenten.

Vertrouwen: Bonferroni biedt de enige methode die consistent, eerlijke en interpreteerbare betrouwbaarheidsintervallen levert voor alle metrieken, wat cruciaal is voor het opbouwen van vertrouwen in data-gedreven besluitvorming.
Praktische Implementatie: Door de besluitvormingslogica correct toe te passen (alleen succesmetrieken tellen mee voor de correctie), wordt de Bonferroni-correctie mild en zeer effectief.
Aanbeveling: Teams moeten niet zoeken naar de "meest krachtige" methode op papier, maar naar de methode die het beste past bij hun besluitvormingskader. Voor de meeste teams is Bonferroni de robuustste, meest transparante en makkelijkst te plannen keuze. De kleine winst in ship-rate van complexere methoden (4-5%) weegt niet op tegen het verlies aan interpretatiekwaliteit (CI) en de complexiteit van planning.

Kernboodschap: "Worry less about using Bonferroni." (Maak je minder zorgen over het gebruik van Bonferroni).