📊 statistics

A closed-form sample size correction for always-valid inference with optional stopping

Questo articolo introduce un fattore di correzione della dimensione campionaria in forma chiusa che adatta i calcoli a campione fisso per i test sequenziali sempre validi, consentendo una stima accurata della potenza senza simulazioni e riducendo il budget campionario richiesto dell'8–20% rispetto alle regole conservative dell'ultimo punto.

Autori originali: Mårten Schultzberg

Pubblicato 2026-06-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mårten Schultzberg

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un caso (un test A/B) per vedere se un nuovo indizio (il trattamento) è migliore del vecchio. Vuoi essere sicuro di non commettere errori, ma vuoi anche fermarti non appena hai abbastanza prove.

Il Problema: La Trappola dell' "Ultima Tappa"

In passato, i detective usavano una regola chiamata "Regola dell'Ultima Tappa". Dicevano: "Osserverò le prove ogni giorno, ma dichiarerò ufficialmente un vincitore solo al Giorno 100. Devo assicurarmi che proprio al Giorno 100 io abbia il 95% di probabilità di catturare il criminale, se c'è".

Per essere sicuri, calcolavano quanti giorni fossero necessari per raggiungere quella probabilità del 95%. Ma ecco il punto: poiché avevano il permesso di controllare le prove ogni singolo giorno prima del Giorno 100, il criminale poteva essere catturato al Giorno 10, al Giorno 50 o al Giorno 99. La "Regola dell'Ultima Tappa" ignorava tutte quelle possibilità precedenti.

Poiché ignorava le possibilità precoci, la regola era eccessivamente cauta. Diceva al detective: "Hai bisogno di 100 giorni per essere sicuro", quando in realtà si sarebbe potuto essere sicuri con soli 85 giorni. Questo significava sprecare tempo, denaro e risorse in un'indagine più lunga del necessario.

La Soluzione: Il "Moltiplicatore Magico"

L'autore di questo articolo, Mårten Schultzberg, ha trovato un fattore di correzione in forma chiusa (un termine matematico elaborato per un semplice "numero magico" che si può calcolare senza eseguire complesse simulazioni al computer).

Pensa a questo come a un moltiplicatore magico (chiamato $k^*$ ). Invece di tirare a indovinare quanto far durare l'esperimento, prendi il tuo calcolo "fisso" standard e lo moltiplichi per questo numero magico.

Vecchio Modo: "Abbiamo bisogno di 1.000 persone per essere sicuri". (Questo è in realtà troppo).
Nuovo Modo: "Abbiamo bisogno di 1.000 persone, ma moltiplicale per 0,85. Quindi, ci servono solo 850 persone".

Questo nuovo metodo tiene conto del fatto che stai controllando le prove continuamente. Si rende conto che, poiché guardi le prove tutto il tempo, non hai bisogno di aspettare così tanto per esserne sicuro.

Come Funziona (La Metafora)

Immagina che l'evidenza sia una palla che rotola su una collina.

Il Confine è una recinzione sulla cima della collina. Se la palla attraversa la recinzione, ti fermi e dichiari vittoria.
La Vecchia Regola assumeva che la palla dovesse attraversare la recinzione solo alla fine del percorso. Per sicurezza, costruivano un percorso molto lungo.
Il Nuovo Metodo si rende conto che la palla potrebbe attraversare la recinzione in qualsiasi punto lungo il percorso.
L'autore usa un trucco astuto: disegna una linea retta (una tangente) che tocca appena la cima della recinzione nel punto finale. Poiché la recinzione è curva (diventa più difficile da attraversare man mano che si sale), questa linea retta si trova leggermente sopra la recinzione reale.
Calcolando le probabilità che la palla attraversi questa linea retta invece della recinzione curva, la matematica diventa semplice e risolvibile con una calcolatrice. Questa approssimazione con la linea retta è così accurata che ti dice esattamente quanto può essere accorciato il percorso.

I Risultati: Risparmiare Denaro e Tempo

L'articolo ha testato questo "moltiplicatore magico" contro tre diversi tipi di recinzioni (confini statistici) utilizzate da aziende come Spotify.

Il Risparmio: Utilizzando questa nuova formula, le aziende possono risparmiare dall' 8% al 20% della dimensione del campione che avrebbero altrimenti raccolto.
- Analogia: Se stessi pianificando di preparare una torta per 100 persone, questo nuovo metodo ti direbbe: "In realtà, hai bisogno solo degli ingredienti per 85 persone, e avrai comunque il 95% di probabilità che la torta sia buona".
Accuratezza: Quando hanno eseguito migliaia di simulazioni al computer, il nuovo metodo ha centrato quasi perfettamente l'obiettivo del tasso di successo (entro circa 3 punti percentuali).
Prova nel Mondo Reale: L'autore ha testato questo metodo sui dati reali della piattaforma di sperimentazione di Spotify. Attraverso 713 test differenti, il metodo ha fatto risparmiare una mediana del 9,5% in termini di dimensione del campione. Questo è un grande risparmio di denaro e tempo.

Limiti Importanti

L'articolo nota che questo "numero magico" funziona meglio quando i dati si comportano bene (come una curva a campana) e quando si dispone di una quantità ragionevole di dati iniziali (chiamata "burn-in"). Se stai testando qualcosa di molto raro (come una malattia che si verifica in 1 persona su 10.000), la matematica diventa un po' incerta e i risparmi potrebbero non essere così affidabili.

Riassunto

In breve, questo articolo fornisce agli sperimentatori un semplice "codice sconto" pre-calcolato per le loro dimensioni campionarie. Impedisce loro di prepararsi eccessivamente per esperimenti che consentono il monitoraggio continuo, risparmiando circa il 10-20% del loro budget senza sacrificare la sicurezza delle loro conclusioni.

Sintesi Tecnica: Una Correzione del Campione a Forma Chiusa per l'Inferenza Sempre Valida con Arresto Opzionale

Definizione del Problema
I test sequenziali che consentono il monitoraggio continuo (inferenza sempre valida o always-valid inference) sono ampiamente implementati nelle piattaforme di sperimentazione A/B per consentire l'arresto anticipato quando l'evidenza è chiara. Tuttavia, determinare la dimensione del campione appropriata per questi test è computazionalmente costoso. I tradizionali calcoli della potenza per i test sequenziali richiedono estese simulazioni che non scalano bene attraverso le migliaia di metriche monitorate nelle grandi piattaforme di sperimentazione.

Un'euristica comune, la "regola dell'ultimo punto" (last-point rule), tenta di dimensionare questi esperimenti gonfiando la dimensione del campione fisso ( $n_z$ ) finché la probabilità marginale di rifiuto all'endpoint pianificato non raggiunge la potenza target ( $1-\beta$ ). Il documento identifica un difetto critico in questo approccio: la potenza sempre valida (AV) è definita come la probabilità di superamento di un limite in qualsiasi momento durante l'esecuzione, non solo all'endpoint. Di conseguenza, la regola dell'ultimo punto è eccessivamente conservativa. Alle caratteristiche operative standard ( $\alpha=0,05, 1-\beta=0,80$ ), questa regola produce una potenza empirica compresa tra 0,86 e 0,88, sovradimensionando di fatto gli esperimenti di 7–9 punti percentuali.

Metodologia
Gli autori propongono un fattore di correzione a forma chiusa, $k^*(\alpha, \beta, t_0)$ , per regolare la dimensione del campione fisso $n_z$ in modo che la dimensione totale del campione $n = k^* \cdot n_z$ raggiunga approssimativamente la potenza AV target senza ricorrere a simulazioni.

La metodologia si basa sui seguenti componenti:

Tempo Riscalato e Approssimazione al Moto Browniano: Il problema viene mappato su una variabile di tempo riscalata $t = n/n_z$ . Sotto l'ipotesi alternativa ( $H_1$ ), il processo cumulativo standardizzato $Y_t$ è approssimato come un moto browniano con drift $\mu_d = z_\alpha + z_\beta$ e tasso di varianza unitario.
Linearizzazione Tangente: Il nucleo dell'approssimazione consiste nel sostituire la curva del limite sequenziale $b(t)$ con la sua retta tangente all'endpoint pianificato $t=k$ . Questo surrogato lineare permette l'applicazione della formula di primo passaggio di Bachelier.
Derivazione Analitica: Gli autori derivano la probabilità di superamento del limite lineare nell'intervallo $[t_0, k]$ $[t_{0}, k]$ , dove $t_0 = m/n_z$ $t_{0} = m / n_{z}$ è la frazione di burn-in (il punto in cui inizia il monitoraggio). La derivazione integra sul valore iniziale del processo in $t_0$ $t_{0}$ utilizzando la completazione del quadrato gaussiana e la funzione di ripartizione (CDF) della normale bivariata, $\Phi_2$ $Φ_{2}$ .
- La risultante approssimazione della potenza $\pi_{closed}(k)$ consiste in tre termini: la probabilità di rifiuto immediato a $t_0$ , la probabilità di superamento del limite lineare durante $(t_0, k]$ , e un termine di correzione per riflessione.
Specificità del Limite: Il fattore di correzione dipende dal limite sequenziale specifico solo attraverso il suo valore $b(k)$ $b (k)$ e la sua pendenza $b'(k)$ $b^{'} (k)$ all'endpoint. Il documento deriva esplicitamente questi valori per tre comuni confini:
- La sequenza di confidenza di Waudby-Smith et al. [2023] (WSKR).
- La sequenza di confidenza di Maharaj et al. [2023].
- Il test del rapporto di verosimiglianza sequenziale misto (mSPRT) di Johari et al. [2022].

Contributi Chiave

Fattore di Correzione a Forma Chiusa: Il documento fornisce una formula esplicita per $k^*$ che può essere valutata utilizzando funzioni elementari e la CDF della normale bivariata, eliminando la necessità di calcoli della potenza basati su simulazioni.
Generalizzabilità: L'approssimazione è applicabile a qualsiasi limite concavo e liscio, a condizione che il suo valore e la sua pendenza all'endpoint siano noti.
Sensibilità al Burn-in: L'analisi tiene conto del parametro di burn-in $m$ , mostrando come il fattore di correzione vari in base all'inizio della finestra di monitoraggio.
Validazione Empirica: Gli autori validano la correzione attraverso tre diverse famiglie di limiti e una vasta griglia di parametri $(\alpha, \beta)$ utilizzando simulazioni Monte Carlo con 50.000 repliche per cella.

Risultati

Accuratezza: Impostare la dimensione del campione a $k^* \cdot n_z$ raggiunge la potenza empirica target entro circa 3 punti percentuali rispetto al target attraverso la griglia testata. Nelle simulazioni gaussiane, la potenza empirica è spesso leggermente superiore a $1-\beta$ , un bias conservativo attribuito al fatto che la retta tangente giace sopra il limite concavo.
Guadagni di Efficienza: Il fattore di correzione produce risparmi significativi nella dimensione del campione rispetto alla regola dell'ultimo punto. Nell'intervallo operativo, i risparmi variano dall'8% al 20%.
- Ad esempio, per $\alpha=0,05$ e $1-\beta=0,80$ , i risparmi sono di circa il 10–14% a seconda del tipo di limite.
Validazione in Produzione: Gli autori hanno applicato la correzione a 713 metriche della piattaforma di sperimentazione di Spotify (utilizzando il limite di Maharaj). La riduzione mediana della dimensione del campione osservata è stata del 9,5%, con una media del 9,8%.
Impatto del Burn-in: Il documento nota che, sebbene i valori realistici di burn-in ( $m \ll n_z$ ) aumentino il budget totale del campione (spesso 2–3 volte la dimensione del campione fisso) a causa di sequenze di confidenza più ampie, il fattore di correzione fornisce comunque risparmi sostanziali rispetto alla regola non corretta dell'ultimo punto.
Limitazioni: Gli autori osservano che a tassi di base molto bassi (ad esempio, $p_C \le 0,01$ ), l'approssimazione del Teorema del Limite Centrale (CLT) degrada e il fattore a forma chiusa potrebbe sottostimare il target di potenza.

Significatività
Il documento sostiene che la regola dell'ultimo punto, sebbene semplice, è inefficiente per i test sequenziali, portando a uno spreco inutile di risorse. Fornendo un fattore di correzione a forma chiusa, gli autori offrono una soluzione scalabile per le piattaforme di sperimentazione per dimensionare accuratamente i test sempre validi. Ciò consente alle piattaforme di ridurre le dimensioni dei campioni dell'8–20% senza compromettere la validità statistica, accelerando così il processo decisionale e riducendo il costo della sperimentazione. Il lavoro colma il divario tra l'analisi sequenziale teorica e la sua implementazione pratica su larga scala in contesti industriali.