📊 statistics

A closed-form sample size correction for always-valid inference with optional stopping

Dieses Paper führt einen geschlossenen Korrekturfaktor für die Stichprobengröße ein, der Feststichproben-Berechnungen für immer gültige sequentielle Tests anpasst, wodurch eine präzise Potenzschätzung ohne Simulationen ermöglicht und das erforderliche Stichprobenbudget im Vergleich zu konservativen Last-Punkt-Regeln um 8–20 % reduziert wird.

Ursprüngliche Autoren: Mårten Schultzberg

Veröffentlicht 2026-06-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mårten Schultzberg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen Fall (einen A/B-Test) zu lösen, um herauszufinden, ob ein neuer Hinweis (eine Behandlung) besser ist als der alte. Sie wollen sichergehen, dass Sie keinen Fehler machen, aber Sie wollen auch so früh wie möglich aufhören, sobald Sie genügend Beweise haben.

Das Problem: Die „Letzter-Stopp-Falle“

Früher nutzten Detektive eine Regel namens „Letzter-Stopp-Regel“. Sie sagten: „Ich werde die Beweise jeden Tag prüfen, aber ich werde den Sieg erst offiziell am Tag 100 erklären. Ich muss sicherstellen, dass ich am Tag 100 spezifisch eine 95-prozentige Chance habe, den Kriminellen zu fassen, falls er da ist.“

Um auf der sicheren Seite zu sein, berechneten sie, wie viele Tage sie benötigen würden, um diese 95-prozentige Chance zu erreichen. Aber hier liegt der Haken: Da sie es ihnen erlaubten, die Beweise jeden einzelnen Tag vor Tag 100 zu prüfen, hätte der Kriminelle auch an Tag 10, Tag 50 oder Tag 99 gefasst werden können. Die „Letzter-Stopp-Regel“ ignorierte all diese früheren Chancen.

Da sie die frühen Chancen ignorierte, war die Regel übermäßig vorsichtig. Sie sagte dem Detektiv: „Sie brauchen 100 Tage, um sicher zu sein“, obwohl sie in Wirklichkeit vielleicht schon mit 85 Tagen sicher gewesen wären. Dies bedeutete eine Verschwendung von Zeit, Geld und Ressourcen durch eine längere Untersuchung als notwendig.

Die Lösung: Der „Magische Multiplikator“

Dem Autor dieser Arbeit, Mårten Schultzberg, ist ein geschlossener Korrekturfaktor (ein schicker mathematischer Begriff für eine einfache „magische Zahl“, die man ohne komplexe Computersimulationen berechnen kann) gelungen.

Betrachten Sie dies als einen magischen Multiplikator (genannt $k^*$ ). Anstatt zu raten, wie lange man das Experiment laufen lassen muss, nehmen Sie Ihre standardmäßige, „feste“ Berechnung und multiplizieren sie mit dieser magischen Zahl.

Der alte Weg: „Wir brauchen 1.000 Menschen, um sicher zu sein.“ (Das ist eigentlich zu viele).
Der neue Weg: „Wir brauchen 1.000 Menschen, aber multiplizieren wir das mit 0,85. Also brauchen wir nur 8ase 850 Menschen.“

Diese neue Methode berücksichtigt die Tatsache, dass Sie die Beweise kontinuierlich prüfen. Sie erkennt, dass Sie nicht so lange warten müssen, um sicher zu sein, weil Sie die ganze Zeit über nachsehen.

Wie es funktioniert (Die Metapher)

Stellen Sie sich vor, die Beweise sind ein Ball, der einen Hügel hinaufrollt.

Die Grenze ist ein Zaun am oberen Ende des Hügels. Wenn der Ball den Zaun überquert, stoppen Sie und erklären den Sieg.
Die alte Regel ging davon aus, dass der Ball den Zaun erst ganz am Ende der Strecke überqueren muss. Um sicher zu gehen, bauten sie eine sehr lange Strecke.
Die neue Methode erkennt, dass der Ball den Zaun überall entlang der Strecke überqueren könnte.
Der Autor nutzt einen klugen Trick: Er zeichnet eine gerade Linie (eine Tangente), die den oberen Teil des Zauns am Endpunkt gerade so berührt. Da der Zaun gekrümmt ist (es wird schwieriger, ihn zu überqueren), liegt diese gerade Linie etwas über dem tatsächlichen Zaun.
Durch die Berechnung der Wahrscheinlichkeit, dass der Ball stattdessen diese gerade Linie statt des gekrümmten Zauns überquert, wird die Mathematik einfach und mit einem Taschenrechner lösbar. Diese geradlinige Annäherung ist so genau, dass sie Ihnen exakt sagt, wie viel kürzer die Strecke sein kann.

Die Ergebnisse: Geld und Zeit sparen

Die Arbeit testete diesen „magischen Multiplikator“ gegen drei verschiedene Arten von Zäunen (statistische Grenzen), die von Unternehmen wie Spotify verwendet werden.

Die Ersparnis: Durch die Verwendung dieser neuen Formel können Unternehmen 8 % bis 20 % der Stichprobengröße einsparen, die sie ansonsten gesammelt hätten.
- Analogie: Wenn Sie planen, einen Kuchen für 100 Personen zu backen, sagt Ihnen diese neue Methode: „Eigentlich brauchen Sie nur Zutaten für 85 Personen, und Sie werden trotzdem zu 95 % sicher sein, dass der Kuchen gut ist.“
Genauigkeit: Als sie tausende Computersimulationen durchführten, traf die neue Methode die Zielquote der Erfolgsrate fast perfekt (innerhalb von etwa 3 Prozentpunkten).
Praxisbeweis: Der Autor testete dies mit echten Daten von Spotifys Experimentierplattform. Über 713 verschiedene Tests hinweg sparte die Methode im Median 9,5 % an Stichprobengröße. Das ist eine Menge gespartes Geld und Zeit.

Wichtige Grenzen

Die Arbeit stellt fest, dass dieser „magische Multiplikator“ am besten funktioniert, wenn die Daten „gutartig“ sind (wie eine Glockenkurve) und wenn man über eine angemessene Menge an Ausgangsdaten verfügt (genannt „Burn-in“). Wenn Sie etwas sehr Seltenes testen (wie eine Krankheit, die nur bei 1 von 10.000 Menschen auftritt), wird die Mathematik etwas wackelig und die Ersparnisse sind möglicherweise nicht so zuverlässig.

Zusammenfassung

Kurz gesagt liefert dieses Paper Experimentatoren einen einfachen, vorab berechneten „Rabattcode“ für ihre Stichprobengrößen. Es verhindert, dass sie sich zu viel für Experimente vorbereiten, die eine kontinuierliche Überwachung erlauben, und spart ihnen etwa 10–20 % ihres Budgets, ohne die Sicherheit ihrer Schlussfolgerungen zu gefährden.

Technisches Resümee: Eine geschlossene Form zur Stichprobengrößenkorrektur für immer-gültige Inferenz mit optionalem Stoppen

Problemstellung
Sequenzielle Tests, die eine kontinuierliche Überwachung erlauben (immer-gültige Inferenz), werden weit verbreitet in A/B-Experimentierplattformen eingesetzt, um ein vorzeitiges Stoppen zu ermöglichen, wenn die Evidenz eindeutig ist. Die Bestimmung der angemessenen Stichprobengröße für diese Tests ist jedoch rechenintensiv. Traditionelle Power-Berechnungen für sequenzielle Tests erfordern umfangreiche Simulationen, die sich nicht gut skalieren lassen, wenn sie über Tausende von Metriken hinweg auf großen Experimentierplattformen überwacht werden müssen.

Eine gängige Heuristik, die „Last-Point-Regel“ (Letzter-Punkt-Regel), versucht, diese Experimente zu dimensionieren, indem sie die feste Stichprobengröße ( $n_z$ ) so lange aufbläht, bis die marginale Ablehnungswahrscheinlichkeit am geplanten Endpunkt die Ziel-Power ( $1-\beta$ ) erreicht. Das Paper identifiziert einen kritischen Fehler in diesem Ansatz: Die immer-gültige (AV) Power ist als die Wahrscheinlichkeit definiert, die Grenze zu einem beliebigen Zeitpunkt während des Laufs zu überschreiten, und nicht nur am Endpunkt. Folglich ist die Last-Point-Regel zu konservativ. Bei Standard-Betriebscharakteristika ( $\alpha=0,05, 1-\beta=0,80$ ) führt diese Regel zu einer empirischen Power zwischen 0,86 und 0,88, was die Experimente effektiv um 7–9 Prozentpunkte überdimensioniert.

Methodik
Die Autoren schlagen einen Korrekturfaktor in geschlossener Form, $k^*(\alpha, \beta, t_0)$ , vor, um die feste Stichprobengröße $n_z$ anzupassen, sodass die gesamte Stichprobengröße $n = k^* \cdot n_z$ näherungsweise die Ziel-AV-Power ohne Simulation erreicht.

Die Methodik stützt sich auf die folgenden Komponenten:

Reskalierte Zeit und Brownsche Bewegung Approximation: Das Problem wird auf eine reskalierte Zeitvariable $t = n/n_z$ abgebildet. Unter der Alternativhypothese ( $H_1$ ) wird der standardisierte kumulative Prozess $Y_t$ als eine Brownsche Bewegung mit Drift $\mu_d = z_\alpha + z_\beta$ und einer Varianzrate von eins approximiert.
Tangential-Linearisierung: Der Kern der Approximation besteht darin, die gekrümmte sequenzielle Grenze $b(t)$ durch ihre Tangente am geplanten Endpunkt $t=k$ zu ersetnen. Dieser lineare Surrogat ermöglicht die Anwendung der Bachelier-First-Passage-Formel.
Analytische Ableitung: Die Autoren leiten die Wahrscheinlichkeit der Grenzüberschreitung der linearisierten Grenze über das Intervall $[t_0, k]$ $[t_{0}, k]$ ab, wobei $t_0 = m/n_z$ $t_{0} = m / n_{z}$ der Burn-in-Anteil (der Punkt, an dem die Überwachung beginnt) ist. Die Ableitung integriert über den Anfangswert des Prozesses bei $t_0$ $t_{0}$ unter Verwendung der Gaußschen Vervollständigung des Quadrats und der bivariaten Normalen kumulativen Verteilungsfunktion (CDF), $\Phi_2$ $Φ_{2}$ .
- Die resultierende Power-Approximation $\pi_{closed}(k)$ besteht aus drei Termen: der unmittelbaren Ablehnungswahrscheinlichkeit bei $t_0$ , der Wahrscheinlichkeit der Grenzüberschreitung während $(t_0, k]$ und einem Reflexions-Korrekturterm.
Grenzen-Spezifität: Der Korrekturfaktor hängt von der spezifischen sequenziellen Grenze nur durch deren Wert $b(k)$ $b (k)$ und Steigung $b'(k)$ $b^{'} (k)$ am Endpunkt ab. Das Paper leitet diese explizit für drei gängige Grenzen her:
- Die Waudby-Smith et al. [2023] (WSKR) Konfidenzsequenz.
- Die Maharaj et al. [2023] Konfidenzsequenz.
- Der Johari et al. [2022] Mixture Sequential Probability Ratio Test (mSPRT).

Wesentliche Beiträge

Korrekturfaktor in geschlossener Form: Das Paper liefert einen expliziten Wert für $k^*$ , der mit elementaren Funktionen und der bivariaten Normalen CDF ausgewertet werden kann, wodurch die Notwendigkeit von simulationsbasierten Power-Berechnungen entfällt.
Generalisierbarkeit: Die Approximation ist für jede glatte, konkave Grenze anwendbar, sofern deren Wert und Steigung am Endpunkt bekannt sind.
Burn-in Sensitivität: Die Analyse berücksichtigt den Burn-in-Parameter $m$ und zeigt, wie der Korrekturfaktor mit dem Start des Überwachungsfensters variiert.
Empirische Validierung: Die Autoren validieren diesen Korrekturfaktor über drei verschiedene Grenzfamilien und ein breites Gitter von $(\alpha, \beta)$ -Parametern mittels Monte-Carlo-Simulationen mit 50.000 Replikationen pro Zelle.

Ergebnisse

Genauigkeit: Die Festlegung der Stichprobengröße auf $k^* \cdot n_z$ trifft die empirische Ziel-Power innerhalb von etwa 3 Prozentpunkten des Ziels über das getestete Gitter hinweg. In Gaußschen Simulationen liegt die empirische Power oft leicht über $1-\beta$ , was auf einen konservativen Bias zurückzuführen ist, da die Tangente über der konkaven Grenze liegt.
Effizienzgewinne: Der Korrekturfaktor ermöglicht signifikante Einsparungen bei der Stichprobengröße im Vergleich zur Last-Point-Regel. Über den gesamten Betriebsbereich liegen die Einsparungen zwischen 8 % und 20 %.
- Beispielsweise betragen die Einsparungen bei $\alpha=0,05$ und $1-\beta=0,80$ etwa 10–14 %, abhängig vom Typ der Grenze.
Produktionsvalidierung: Die Autoren haben die Korrektur auf 713 Metriken von Spotifys Experimentierplattform angewendet (unter Verwendung der Maharaj-Grenze). Die mediane Reduktion der Stichprobengröße lag bei 9,5 %, der Mittelwert bei 9,8 %.
Einfluss des Burn-in: Das Paper stellt fest, dass während realistische Burn-in-Werte ( $m \ll n_z$ ) das gesamte Stichprobenbudget (oft das 2- bis 3-fache der festen Stichprobengröße) aufgrund breiterer Konfidenzsequenzen erhöhen, der Korrekturfaktor dennoch erhebliche Einsparungen gegenüber der unkorrigierten Last-Point-Regel bietet.
Limitierungen: Die Autoren merken an, dass bei sehr niedrigen Basisraten (z. B. $p_C \le 0,01$ ) die Approximation des Zentralen Grenzwertsatzes (CLT) nachlässt und der Korrekturfaktor in geschlossener Form die Ziel-Power unterschätzen könnte.

Bedeutung
Das Paper behauptet, dass die Last-Point-Regel, obwohl sie einfach ist, für sequenzielle Tests ineffizient ist und zu unnötigem Ressourcenaufwand führt. Durch die Bereitstellung eines Korrekturfaktors in geschlossener Form bieten die Autoren eine skalierbare Lösung für Experimentierplattformen, um immer-gültige Tests präzise zu dimensionieren. Dies ermöglicht es Plattformen, die Stichprobengrößen um 8–20 % zu reduzieren, ohne die statistische Validität zu gefährden, wodurch Entscheidungsfindung beschleunigt und die Kosten für Experimente gesenkt werden. Die Arbeit schließt die Lücke zwischen theoretischer sequenzieller Analyse und praktischer, großflächiger Implementierung in industriellen Umgebungen.