📊 statistics

A closed-form sample size correction for always-valid inference with optional stopping

Dit artikel introduceert een gesloten vorm van een correctiefactor voor steekproefomvang die berekeningen met een vaste steekproefomvang aanpast voor altijd-geldige sequentiële tests, waardoor nauwkeurige machtsestimatie mogelijk wordt zonder simulaties en het vereiste steekproefbudget met 8–20% wordt verminderd ten opzichte van conservatieve last-point-regels.

Oorspronkelijke auteurs: Mårten Schultzberg

Gepubliceerd 2026-06-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mårten Schultzberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een zaak probeert op te lossen (een A/B-test) om te zien of een nieuwe aanwijzing (de behandeling) beter is dan de oude. Je wilt er zeker van zijn dat je geen fout maakt, maar je wilt ook stoppen zodra je genoeg bewijs hebt.

Het Probleem: De "Laatste-Stop"-valstrik

In het verleden gebruikten detectives een regel genaamd de "Laatste-Stop-regel." Ze zeiden: "Ik zal elke dag naar het bewijs kijken, maar ik zal pas officieel een winnaar verklaren op Dag 100. Ik moet ervoor zorgen dat ik specifiek op Dag 100 een kans van 95% heb om de crimineel te vangen als hij er is."

Om veilig te zijn, berekenden ze hoeveel dagen ze nodig hadden om die 95% kans te bereiken. Maar hier is de crux: omdat ze elke dag vóór Dag 100 naar het bewijs mochten kijken, had de crimineel op Dag 10, Dag 50 of Dag 99 al gepakt kunnen worden. De "Laatste-Stop-regel" negeerde al die eerdere kansen.

Omdat het die eerdere kansen negeerde, was de regel te voorzichtig. Het vertelde de detective: "Je hebt 100 dagen nodig om veilig te zijn," terwijl ze in werkelijkheid misschien al veilig waren met slechts 85 dagen. Dit betekende dat er tijd, geld en middelen werden verspild aan een langere onderzoeken dan nodig was.

De Oplossing: De "Magische Vermenigvuldiger"

De auteur van dit artikel, Mårten Schultzberg, heeft een closed-form correctiefactor gevonden (een chique wiskundige term voor een simpele "magische getal" dat je kunt berekenen zonder complexe computersimulaties uit te voeren).

Beschouw dit als een magische vermenigvuldiger (genoemd $k^*$ ). In plaats van te gokken hoe lang je een experiment moet draaien, neem je je standaard "vaste" berekening en vermenigvuldig je die met dit magische getal.

De Oude Manier: "We hebben 1.000 mensen nodig om veilig te zijn." (Dit is eigenlijk te veel).
De Nieuwe Manier: "We hebben 1.000 mensen, maar vermenigvuldig dat met 0,85. Dus we hebben slechts 850 mensen nodig."

Deze nieuwe methode houdt rekening met het feit dat je het bewijs continu controleert. Het realiseert zich dat omdat je de hele tijd kijkt, je niet zo lang hoeft te wachten om zeker te zijn.

Hoe het werkt (De Metafoor)

Stel je voor dat het bewijs een bal is die een heuvel op rolt.

De Grensdraad (Boundary) is een hek bovenop de heuvel. Als de bal het hek passeert, stop je en verklaar je de overwinning.
De Oude Regel nam aan dat de bal het hek pas aan het einde van het traject moest passeren. Om veilig te zijn, bouwden ze een zeer lang traject.
De Nieuwe Methode realiseert zich dat de bal het hek overal langs het traject kan passeren.
De auteur gebruikt een slimme truc: ze trekken een rechte lijn (een raaklijn) die het topje van het hek aan het eindpunt net raakt. Omdat het hek gebogen is (het wordt moeilijker om eroverheen te gaan naarmate je verder komt), ligt deze rechte lijn iets boven het eigenlijke hek.
Door te berekenen wat de kans is dat de bal deze rechte lijn in plaats van het gebogen hek passeert, wordt de wiskunde eenvoudig en oplosbaar met een rekenmachine. Deze benadering met een rechte lijn is zo nauwkeurig dat het je precies vertelt hoeveel korter het traject kan zijn.

De Resultaten: Geld en Tijd Besparen

Het artikel testte deze "magische vermenigvuldiger" tegen drie verschillende soorten hekken (statistische grenzen) die bedrijven zoals Spotify gebruiken.

De Besparing: Door deze nieuwe formule te gebruiken, kunnen bedrijven 8% tot 20% van de steekproefomvang besparen die ze anders hadden verzameld.
- Analogie: Als je van plan bent een taart te bakken voor 100 mensen, vertelt deze nieuwe methode je: "Eigenlijk heb je alleen ingrediënten nodig voor 85 mensen, en je zult nog steeds voor 95% zeker weten dat de taart goed is."
Nauwkeurigheid: Wanneer ze duizenden computersimulaties uitvoerden, raakte de nieuwe methode het doel succespercentage bijna perfect (binnen ongeveer 3 procentpunten).
Echt Bewijs: De auteur testte dit op echte gegevens van het experimentatieplatform van Spotify. Over 713 verschillende tests heen, bespaarde de methode een mediaan van 9,5% aan steekproefomvang. Dat is een aanzienlijke besparing aan geld en tijd.

Belangrijke Beperkingen

Het artikel merkt op dat dit "magische getal" het beste werkt wanneer de data zich netjes gedraagt (zoals een klokcurve) en wanneer je een redelijke hoeveelheid data hebt om mee te beginnen (de zogenaamde "burn-in"). Als je iets heel zeldzaams test (zoals een ziekte die slechts bij 1 op de 10.000 mensen voorkomt), wordt de wiskunde wat wankel en zijn de besparingen mogelijk minder betrouwbaar.

Samenvatting

Kortom, dit artikel geeft experimentatoren een eenvoudige, vooraf berekende "kortingscode" voor hun steekproefomvang. Het voorkomt dat ze zich te veel voorbereiden op experimenten die continue monitoring toestaan, waardoor ze ongeveer 10–20% van hun budget besparen zonder de veiligheid van hun conclusies in gevaar te brengen.

Technische Samenvatting: Een gesloten vorm sample grootte correctie voor Always-Valid Inferentie met Optioneel Stoppen

Probleemstelling
Sequentiële toetsen die continue monitoring toestaan (always-valid inferentie) worden breed ingezet in A/B-experimentatieplatformen om vroegtijdige beëindiging mogelijk te maken wanneer het bewijs duidelijk is. Echter, het bepalen van de passende steekproefomvang voor deze toetsen is computationeel kostbaar. Traditionele power-berekeningen voor sequentiële toetsen vereisen uitgebreide simulaties, wat niet goed schaalt over de duizenden metrieken die worden gemonitord op grote experimentatieplatformen.

Een veelgebruikte heuristiek, de "last-point rule", probeert deze experimenten te dimensioneren door de vaste steekproefomvang ( $n_z$ ) op te blazen totdat de marginale verwerpingskans bij het geplande eindpunt de doelstelling voor power ( $1-\beta$ ) bereikt. Het artikel identificeert een kritiek gebrek in deze aanpak: always-valid (AV) power wordt gedefinieerd als de kans op een grensoverschrijding op elk moment tijdens de run, niet alleen op het eindpunt. Bij consequent, blijkt deze regel te conservatief te zijn. Bij standaard operationele kenmerken ( $\alpha=0,05, 1-\beta=0,80$ ) resulteert deze regel in een empirische power tussen 0,86 en 0,88, wat effectief leidt tot een overdimensionering van experimenten met 7–9 procentpunten.

Methodologie
De auteurs stellen een correctiefactor in gesloten vorm voor, $k^*(\alpha, \beta, t_0)$ , om de vaste steekproefomvang $n_z$ aan te passen zodat de totale steekproefomvang $n = k^* \cdot n_z$ ongeveer de doelstelling voor AV power bereikt zonder simulatie.

De methodologie rust op de volgende componenten:

Rescaled Time en Brownian Motion Approximatie: Het probleem wordt gemapt naar een tijdvariabele $t = n/n_z$ . Onder de alternatieve hypothese ( $H_1$ ) kan het gestandaardiseerde cumulatieve proces $Y_t$ worden benaderd als een Brownian motion met drift $\mu_d = z_\alpha + z_\beta$ en een eenheidsvariantie-snelheid.
Tangent Linearization: De kern van de benadering is het vervangen van de gebogen sequentiële grens $b(t)$ door de raaklijn aan het geplande eindpunt $t=k$ . Deze lineaire surrogaat maakt de toepassing van de Bachelier first-passage formule mogelijk.
Analytische Afleiding: De auteurs leiden de kans af op het overschrijden van de lineaire grens over het interval $[t_0, k]$ $[t_{0}, k]$ , waarbij $t_0 = m/n_z$ $t_{0} = m / n_{z}$ de burn-in fractie is (het punt waar de monitoring begint). De afleiding integreert over de initiële waarde van het proces bij $t_0$ $t_{0}$ met behulp van Gaussian completion-of-the-square en de bivariate normale cumulatieve verdeling (CDF), $\Phi_2$ $Φ_{2}$ .
- De resulterende power-benadering $\pi_{closed}(k)$ bestaat uit drie termen: de onmiddellijke verwerpingskans bij $t_0$ , de kans op het overschrijden van de lineaire grens tijdens $(t_0, k]$ , en een reflectie-correctieterm.
Grensspecificiteit: De correctiefactor hangt van de specifieke sequentiële grens alleen af via de waarde $b(k)$ $b (k)$ en de helling $b'(k)$ $b^{'} (k)$ op het eindpunt. Het artikel leidt deze expliciet af voor drie veelvoorkomende grenzen:
- De Waudby-Smith et al. [2023] (WSKR) confidence sequence.
- De Maharaj et al. [2023] confidence sequence.
- De Johari et al. [2022] mixture sequential probability ratio test (mSPRT).

Belangrijkste Bijdragen

Correctiefactor in Gesloten Vorm: Het artikel biedt een expliciete formule voor $k^*$ die met elementaire functies en de bivariate normale CDF kan worden geëvalueerd, waardoor simulatie-gebaseerde power-berekeningen overbodig worden.
Generaliseerbaarheid: De benadering is toepasbaar op elke gladde, concave grens, mits de waarde en de helling op het eindpunt bekend zijn.
Burn-in Sensitiviteit: De analyse houdt rekening met de burn-in parameter $m$ , waarbij wordt getoond hoe de correctiefactor varieert met het startpunt van het monitoringvenster.
Empirische Validatie: De auteurs valideren deze correctie over drie verschillende grensgroepen en een breed grid van $(\alpha, \beta)$ parameters met behulp van Monte Carlo-simulaties met 50.000 replicaties per cel.

Resultaten

Nauwkeurigheid: Het instellen van de steekproefomvang op $k^* \cdot n_z$ bereikt de doelstelling voor empirische power binnen ongeveer 3 procentpunten van de doelstelling over het geteste grid. In Gaussische simulaties ligt de empirische power vaak iets boven $1-\beta$ , een conservatieve bias die wordt toegeschreven aan het feit dat de raaklijn boven de concave grens ligt.
Efficiëntiewinst: De correctiefactor levert significante besparingen op de steekproefomvang vergeleken met de last-point rule. Over het volledige operationele bereik variëren de besparingen van 8% tot 20%.
- Bijvoorbeeld, bij $\alpha=0,05$ en $1-\beta=0,80$ , bedragen de besparingen ongeveer 10–14%, afhankelijk van het type grens.
Productievalidatie: De auteurs hebben de correctie toegepast op 713 metrieken van het experimentatieplatform van Spotify (met gebruik van de Maharaj-grens). De mediaan van de waargenomen reductie in steekproefomvang was 9,5%, met een gemiddelde van 9,8%.
Impact van Burn-in: Het artikel merkt op dat hoewel realistische burn-in waarden ( $m \ll n_z$ ) het totale steekproefbudget vergroten (vaak 2 tot 3 keer de vaste steekproefomvang) door bredere confidence sequences, de correctiefactor nog steeds substantiële besparingen biedt ten opzichte van de ongecorrigeerde last-point rule.
Beperkingen: De auteurs merken op dat bij zeer lage basispercentages (bijv. $p_C \le 0,01$ ) de Central Limit Theorem (CLT) benadering degradeert, en de factor in gesloten vorm de doelstelling voor power kan onderschatten.

Betekenis
Het artikel stelt dat de last-point rule, hoewel eenvoudig, inefficiënt is voor sequentiële toetsing, wat leidt tot onnodige middelenconsumptie. Door een correctiefactor in gesloten vorm te bieden, bieden de auteurs een schaalbare oplossing voor experimentatieplatformen om altijd-valide toetsen accuraat te dimensioneren. Dit stelt platformen in staat om de steekproefomvang met 8–20% te verkleinen zonder de statistische validiteit in gevaar te brengen, waardoor besluitvorming wordt versneld en de kosten van experimentatie worden verlaagd. Het werk overbrugt de kloof tussen theoretische sequentiële analyse en praktische, grootschalige implementatie in industriële omgevingen.