Nobody Puts Bonferroni in a Corner
Die Autoren argumentieren, dass die Bonferroni-Korrektur für Online-Experimente aufgrund ihrer Einfachheit, ihrer Eignung für Stichprobenumfangsberechnungen und ihrer empirisch nachgewiesenen Leistungsfähigkeit, insbesondere bei korrekter Definition der Korrekturfamilie, eine oft unterschätzte und robuste Wahl darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du bist ein Koch in einer riesigen Küche (wie Spotify), und du willst herausfinden, welche neuen Rezepte deine Gäste wirklich lieben. Du testest ständig neue Zutaten: mehr Knoblauch, weniger Salz, eine neue Gewürzmischung.
Das Problem ist: Je mehr Rezepte du gleichzeitig testest, desto wahrscheinlicher ist es, dass du aus purem Zufall denkst, eines sei genial, obwohl es eigentlich nur Glück war. In der Statistik nennt man das das „Multiple-Testing-Problem". Wenn du 100 Gerichte probierst, wird fast sicher eines davon zufällig gut schmecken, auch wenn es eigentlich nichts Besonderes ist.
Bisher haben viele Leute gedacht: „Oh, wir müssen eine sehr strenge Regel anwenden, damit wir keine falschen Gerichte servieren!" Diese Regel heißt Bonferroni-Korrektur. Sie ist wie ein sehr strenger Sicherheitschef, der sagt: „Wir testen 100 Gerichte? Dann muss jedes einzelne Gericht 100-mal besser sein als der Durchschnitt, damit wir es auf die Speisekarte setzen."
Die Leute haben diese Regel oft gehasst. Sie dachten, sie sei zu streng, zu langsam und würde verhindern, dass gute neue Rezepte überhaupt auf die Karte kommen. Sie wollten stattdessen „schlauere" und „flexiblere" Sicherheitschefs (wie Holm oder Hommel), die versprechen, mehr gute Gerichte zu finden.
Aber Mårten Schultzberg von Spotify sagt in diesem Papier: „Wartet mal! Der strenge Sicherheitschef (Bonferroni) ist eigentlich der Beste für uns, und die anderen sind gar nicht so viel besser, wenn man die Situation richtig versteht."
Hier ist die einfache Erklärung, warum das so ist, mit ein paar Analogien:
1. Die zwei Arten von Regeln: „Erfolg" vs. „Sicherheit"
Stell dir vor, du testest ein neues Rezept. Du hast zwei Arten von Regeln:
- Erfolgs-Metriken (Success Metrics): Das sind die Dinge, die besser sein müssen, damit das Rezept auf die Karte kommt (z. B. „Der Geschmack muss um 5% besser sein").
- Sicherheits-Metriken (Guardrails): Das sind die Dinge, die nicht schlechter sein dürfen (z. B. „Die Gäste dürfen sich nicht vergiften" oder „Der Service darf nicht langsamer werden").
Der große Fehler: Viele denken, sie müssen für alle Regeln (Geschmack UND Sicherheit) die strenge Bonferroni-Regel anwenden. Das wäre, als würde man sagen: „Damit das Gericht auf die Karte kommt, muss der Geschmack 100-mal besser sein UND die Sicherheit muss 100-mal besser sein."
Die Erkenntnis des Papiers: Das ist Quatsch!
- Wenn der Geschmack gut ist (Erfolg), wollen wir das Gericht servieren.
- Wenn die Sicherheit nicht verletzt ist (Sicherheits-Check), ist das gut. Aber wenn der Sicherheits-Check zufällig sagt „Alles okay", obwohl es eigentlich giftig ist (ein falscher Positiv), passiert das nichts Schlimmes für die Entscheidung, das Gericht zu servieren? Doch! Aber hier ist der Clou: Mehrere Sicherheitsregeln machen es schwerer, das Gericht zu servieren, nicht leichter.
- Stell dir vor, du hast 10 Sicherheitschecks. Damit das Gericht serviert wird, müssen alle 10 grün sein. Wenn einer zufällig grün ist, aber die anderen rot, wird das Gericht trotzdem nicht serviert.
- Das bedeutet: Sicherheitsregeln erhöhen die Wahrscheinlichkeit, nichts zu servieren (sie machen es konservativer), aber sie erhöhen nicht die Wahrscheinlichkeit, ein schlechtes Gericht zu servieren.
- Fazit: Du musst die strenge Bonferroni-Regel nur auf die Erfolgs-Regeln anwenden, nicht auf die Sicherheits-Regeln. Wenn du nur 2 Erfolgs-Regeln hast, ist die Strafe viel milder als wenn du sie auf 12 Regeln anwendest.
2. Der „Zertifikat"-Effekt (Vertrauen)
Stell dir vor, du bekommst ein Zertifikat für dein Gericht.
- Bonferroni gibt dir ein Zertifikat, das für jedes Gericht gilt, egal ob es gewonnen hat oder nicht. Es sagt: „Dieses Gericht ist mit 95% Sicherheit wirklich gut." Das ist ehrlich und einfach zu verstehen.
- Die „schlaueren" Methoden (wie BH oder Hommel) geben dir oft nur ein Zertifikat für die Gewinner. Für die Verlierer sagen sie: „Tja, da wissen wir nichts." Oder ihre Zertifikate sind so kompliziert, dass niemand sie versteht.
- In einer großen Firma wie Spotify ist es wichtig, dass jeder (vom Koch bis zum Manager) versteht, was die Zahlen bedeuten. Bonferroni ist wie ein klarer, einfacher Text. Die anderen Methoden sind wie ein verschlüsseltes Rätsel, das nur Experten lösen können. Wenn die Zahlen nicht klar sind, verlieren die Leute das Vertrauen in das ganze System.
3. Die Planungs-Falle (Rezeptbuch)
Bevor du kochst, musst du planen: „Wie viele Gäste muss ich einladen, damit ich sicher bin, dass mein neues Rezept funktioniert?"
- Mit Bonferroni kannst du das leicht berechnen. Du nimmst einfach die Regel und rechnest sie in dein Rezeptbuch ein.
- Mit den „schlaueren" Methoden ist das fast unmöglich, weil sie davon abhängen, wie viele der Rezepte wirklich gut sind (was du vorher nicht weißt). Das ist wie zu versuchen, eine Reise zu planen, ohne zu wissen, wie viel Benzin du brauchst, weil du nicht weißt, ob du bergauf oder bergab fährst.
- Für eine Firma, die tausende Experimente gleichzeitig macht, ist es wichtig, die Planung einfach und vorhersehbar zu halten.
4. Der Preis der „Schlauheit" (Ist der Unterschied groß?)
Die Leute sagen: „Aber die anderen Methoden finden mehr gute Rezepte!"
Das Papier sagt: „Ja, aber nur unter bestimmten Bedingungen."
- Wenn du wirklich viele neue, gute Rezepte hast (viele „nicht-null" Effekte), dann sind die anderen Methoden ein bisschen besser.
- Aber in der echten Welt (wie bei Spotify) sind die meisten neuen Rezepte eigentlich nicht besser als das alte. Die meisten Änderungen bringen nichts.
- Wenn nur wenige Rezepte wirklich gut sind (was oft der Fall ist), dann sind die „schlaueren" Methoden kaum besser als Bonferroni. Der Unterschied ist winzig.
- Und wenn man die Sicherheitsregeln (Guardrails) falsch in die Berechnung einbezieht (was viele tun), dann sind die „schlaueren" Methoden fast genauso streng wie Bonferroni anyway.
Die große Zusammenfassung
Die Autoren sagen im Grunde:
„Hört auf, Bonferroni als den bösen, strengen Sicherheitschef zu sehen. Er ist eigentlich der ehrlichste, einfachste und vertrauenswürdigste Partner für uns.
Wenn wir die Regeln richtig aufstellen (nur auf die Erfolgs-Metriken anwenden, nicht auf die Sicherheits-Metriken), ist Bonferroni gar nicht so streng. Er gibt uns klare Antworten, hilft uns bei der Planung und verhindert, dass wir schlechte Dinge servieren, nur weil wir Glück hatten. Die komplizierten, modernen Methoden versprechen mehr, liefern aber in der echten Welt oft kaum mehr Ergebnisse und machen das System unverständlich."
Die Moral von der Geschichte:
Mach es einfach. Vertraue dem klaren, ehrlichen Sicherheitschef (Bonferroni), aber stelle sicher, dass er nur auf die richtigen Regeln achtet (die Erfolgs-Regeln). Dann wirst du weniger schlechte Entscheidungen treffen und mehr Vertrauen in deine Experimente haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.