Nobody Puts Bonferroni in a Corner

1. Il Problema: Il Dilemma del Testing Multiplio nell'Esperimentazione Online

Nell'ambito dell'esperimentazione online (A/B testing), testare simultaneamente molteplici ipotesi (metriche) su un singolo esperimento inflaziona il tasso di falsi positivi, noto come Family-Wise Error Rate (FWER).

• La situazione attuale: Molti praticanti evitano le correzioni per il testing multiplo a causa della loro reputazione di essere "costose" in termini di potenza statistica (power) o di essere scomode da implementare. Quando vengono applicate, si tende spesso a preferire metodi più sofisticati (come Holm, Hommel o Benjamini-Hochberg) basandosi su una percezione teorica di maggiore potenza, senza considerare se questi metodi supportino effettivamente le inferenze necessarie nel contesto del prodotto.
• Il malinteso: La distinzione tra controllo del FWER e del False Discovery Rate (FDR) è spesso fraintesa. Il controllo FDR (es. Benjamini-Hochberg) è nato per la genomica, dove ci si aspetta migliaia di effetti veri e un alto numero di falsi positivi è accettabile se diluito. Nell'esperimentazione di prodotto, la maggior parte delle modifiche non ha effetto (alto tasso di nullità, ~70%). In questo contesto, l'approccio permissivo del FDR complica il problema, permettendo un eccesso di falsi positivi che erodono la fiducia nella piattaforma di sperimentazione e portano al rilascio di funzionalità inefficaci.

2. Metodologia e Approccio

L'autore sostiene che la correzione di Bonferroni è una scelta superiore per l'esperimentazione online rispetto alla percezione comune. L'argomentazione si basa su quattro pilastri fondamentali, supportati da:

1. Uno studio di simulazione Monte Carlo: 10.000 repliche con vari scenari di correlazione tra metriche ($\rho = 0$ e $\rho = 0.95$) e diverse configurazioni di effetti non nulli.
2. Analisi empirica: Esame di 1.296 esperimenti (1.840 confronti trattamento-controllo) eseguiti sulla piattaforma "Confidence" di Spotify.

3. Contributi Chiave e Argomentazioni Tecniche

A. Coerenza degli Intervalli di Confidenza (CI)

La correzione di Bonferroni è l'unico metodo FWER ampiamente implementabile che produce intervalli di confidenza simultanei incondizionati per ogni metrica.

• Vantaggio: Sostituendo $\alpha$ con $\alpha/m$ nella formula standard, si ottengono intervalli onesti e interpretabili. Se un test rifiuta a $\alpha/m$, l'intervallo di confidenza $1-\alpha/m$ esclude lo zero.
• Svantaggio degli altri metodi: Metodi come Benjamini-Hochberg (BH) o Hommel non offrono facilmente CI simultanee incondizionate. Le CI per BH richiedono un framework di "False Coverage Rate" (FCR) che è condizionato alla selezione delle ipotesi, rendendole inapplicabili o fuorvianti se riportate come standard. Metodi come Hommel offrono CI non informative (solo regioni di rifiuto) per le ipotesi rifiutate, il che è problematico per valutare l'entità dell'effetto (evitando la "maledizione del vincitore").

B. La Definizione Corretta del Denominatore (Decision Framework)

Questo è il contributo concettuale più significativo. L'autore distingue tre tipi di metriche con ruoli asimmetrici:

1. Metriche di Successo: Almeno una deve essere significativa per il rilascio (struttura Union-Intersection). Qui è necessario il controllo del Tipo I.
2. Metriche di Guardrail (e Qualità): Devono tutte confermare la non-inferiorità (struttura Intersection-Union).
   • Logica: Un falso positivo su una metrica di guardrail (concludere erroneamente che non c'è regressione) rende più facile il rilascio, non più probabile un errore di rilascio. Il rischio reale è il falso negativo (bloccare un buon trattamento), che è un problema di potenza (beta), non di Tipo I (alfa).
   • Implicazione: Il denominatore della correzione di Bonferroni non deve essere il numero totale di metriche ($m$), ma solo il numero di metriche di successo ($S$).
   • Risultato: Invece di correggere per 12 metriche (2 successo + 10 guardrail), si corregge solo per 2. Questo rende la correzione di Bonferroni molto meno conservativa in pratica ($\alpha/2$ invece di $\alpha/12$).

C. Calcolo della Dimensione Campionaria (Sample Size)

Bonferroni è l'unico metodo che permette calcoli di potenza pre-esperimento semplici e tracciabili.

• La formula richiede solo la sostituzione di $\alpha$ con $\alpha/S$.
• Metodi come BH richiedono assunzioni sconosciute al momento della progettazione (es. proporzione di ipotesi nulle vere $\pi_0$ e distribuzione congiunta delle statistiche), rendendo i calcoli di potenza spesso ineseguibili o basati su ipotesi non verificate.

D. Testing Sequenziale e Correlazione

Bonferroni si integra perfettamente con i test sequenziali a gruppi (Group Sequential Testing). Assegnando un budget $\alpha$ indipendente a ciascuna metrica, ogni metrica può gestire la propria funzione di spesa senza dover stimare complesse distribuzioni congiunte nel tempo, a differenza di metodi come Hommel che richiedono la conoscenza della correlazione tra le statistiche test.

4. Risultati Empirici e di Simulazione

• Analisi Empirica (Spotify):

  • Quando le metriche di guardrail vengono correttamente escluse dal gruppo di correzione (usando solo le metriche di successo), i metodi più potenti (Holm, Hommel) guadagnano circa 4-5 punti percentuali in "ship rate" (tasso di rilascio) rispetto a Bonferroni.
  • Tuttavia, se si usa una definizione "naive" (inclusione di tutte le metriche), Holm e Hommel sono quasi indistinguibili da Bonferroni (+0.5-0.6 pp).
  • I metodi FDR (BH) mostrano tassi di rilascio più alti, ma questo riflette la loro natura permissiva (accettano più falsi positivi) piuttosto che un recupero di effetti veri, dato l'alto tasso di nullità negli esperimenti di prodotto.

• Simulazioni:

  • Regime Sparsa (pochi effetti veri): Quando solo poche metriche sono non-nulli (scenario tipico del prodotto), il divario di potenza tra Bonferroni e metodi più sofisticati si riduce a quasi zero, indipendentemente dalla correlazione.
  • Regime Densa (molti effetti veri): Il divario si allarga solo se molte metriche sono attive e altamente correlate, ma questo è meno comune nella pratica quotidiana.
  • Correlazione: La riduzione della varianza (variance reduction) tende a diminuire la correlazione tra le metriche, riducendo ulteriormente il vantaggio dei metodi che sfruttano la correlazione rispetto a Bonferroni.

5. Significato e Conclusioni

Il paper conclude che la correzione di Bonferroni è spesso sottovalutata e che la sua "reputazione" di essere troppo conservativa deriva spesso da un'applicazione errata (inclusione di metriche di guardrail nel denominatore) o da un confronto con metodi che non soddisfano i requisiti pratici dell'esperimentazione di prodotto (CI incondizionate, pianificazione del campione).

Punti chiave di impatto:

1. Fiducia e Coerenza: Bonferroni offre un quadro inferenziale coerente dall'inizio alla fine (dalla pianificazione del campione al monitoraggio sequenziale e alla comunicazione dei risultati), essenziale per costruire la fiducia nelle organizzazioni basate sui dati.
2. Costo Marginale: La perdita di potenza rispetto a metodi FWER più complessi (Holm, Hommel) è trascurabile quando il set di metriche di successo è piccolo e ben definito (come dovrebbe essere nella buona pratica sperimentale) e quando le metriche di guardrail sono correttamente escluse dal controllo del FWER.
3. Raccomandazione Pratica: Non è necessario abbandonare le correzioni per il testing multiplo. Piuttosto, le organizzazioni dovrebbero adottare Bonferroni con una definizione corretta del "famiglia di test" (solo metriche di successo), ottenendo un controllo rigoroso degli errori di Tipo I, intervalli di confidenza onesti e una pianificazione sperimentale robusta, con una perdita di potenza minima o nulla nella maggior parte degli scenari reali.

In sintesi, Bonferroni non è un metodo obsoleto, ma lo strumento più robusto e pratico per l'esperimentazione di prodotto, a condizione che venga applicato con una logica decisionale corretta.