Randomization Tests in Switchback Experiments

1. Il Problema

Gli esperimenti Switchback (o esperimenti a "andata e ritorno") sono ampiamente utilizzati nelle piattaforme digitali (es. mercati, trasporti, pubblicità) quando la randomizzazione a livello di unità individuale è impossibile, i risultati sono aggregati o esiste un'interferenza tra gli utenti. In questi esperimenti, il trattamento viene alternato tra condizione di controllo e trattamento nel tempo, piuttosto che tra individui diversi.

Tuttavia, l'inferenza causale in questi contesti presenta sfide metodologiche significative:

• Dipendenze temporali: I risultati mostrano serialità, stagionalità e shock a coda pesante.
• Interferenza temporale: Gli effetti del trattamento possono persistere nel tempo (carryover) o essere influenzati da assegnazioni future (anticipation).
• Campioni limitati: Le aziende devono prendere decisioni rapide (giorni/settimane), rendendo le approssimazioni asintotiche (basate su grandi campioni) spesso inaffidabili o mal calibrate.
• Limiti dei test esistenti: I test di randomizzazione di Fisher standard falliscono quando l'ipotesi nulla non è "sharp" (cioè quando non è possibile imputare tutti i potenziali risultati mancanti a causa dell'interferenza), portando a errori di tipo I (falsi positivi) o a una perdita di potenza.

2. Metodologia Proposta

Gli autori sviluppano un quadro di Test di Randomizzazione Condizionale (Conditional Randomization Tests - CRT) che garantisce validità in campioni finiti e distribuzione libera, basandosi solo sul meccanismo di assegnazione noto.

Assunzioni Fondamentali

Il framework si basa su due condizioni primitive sui potenziali risultati:

1. Non-anticipazione: I risultati al tempo $t$ non dipendono dalle assegnazioni future ($W_{t+1:T}$).
2. Orizzonte di Carryover Finito ($m$): I risultati al tempo $t$ dipendono solo dalle ultime $m+1$ assegnazioni ($W_{t-m:t}$).

Meccanismo del Test (CRT)

Per gestire l'interferenza temporale, gli autori introducono un approccio basato su sezioni predeterminate:

• Pooling dei blocchi: I blocchi di design vengono aggregati in "sezioni" contigue di lunghezza fissa (decisa ex ante).
• Condizionamento: Si identificano le sezioni che rimangono costanti (tutte 0 o tutte 1) sotto l'assegnazione osservata.
• Unità Focali: Si selezionano solo i periodi all'interno di queste sezioni costanti che sono sufficientemente lontani dai bordi della sezione (per evitare contaminazione da carryover esterno).
• Imputabilità: Condizionando su queste sezioni costanti, l'ipotesi nulla diventa "sharp" per le unità focali, permettendo di imputare i risultati mancanti e calcolare la distribuzione di randomizzazione esatta tramite simulazione Monte Carlo.

Estensioni del Framework

1. Test per l'Effetto Totale: Verifica l'ipotesi nulla di nessun effetto del trattamento sostenuto ($H_0^{tot}$).
2. Diagnostica per il Carryover: Propone un test sequenziale per stimare la lunghezza massima $m$ dell'effetto carryover, controllando il tasso di errore familiare (FWER) senza correzioni di molteplicità aggressive, sfruttando la struttura nidificata delle ipotesi nulle.
3. Test per la Non-anticipazione: Adatta il test PIRT (Pairwise Imputation-based Randomization Test) di Zhong (2024) per verificare se i risultati dipendono da assegnazioni future, utilizzando un meccanismo di randomizzazione che preserva i prefissi.
4. Ipotesi Nulle Deboli (Weak Null): Per testare effetti medi (es. stagionalità intra-sessione), introducono CRT studentizzati. Questi test sono asintoticamente validi anche quando l'ipotesi nulla non è sharp, permettendo di gestire la stagionalità all'interno delle sessioni.

3. Risultati Chiave

Validità Teorica

• Validità in Campioni Finiti: I test CRT proposti forniscono p-value validi in campioni finiti, senza assumere una distribuzione parametrica per i risultati.
• Controllo del Tasso di Errore: Il test per la lunghezza del carryover controlla il FWER. I test per le ipotesi nulle deboli (studentizzati) sono asintoticamente validi sotto condizioni di momento e stabilizzazione.

Analisi di Potenza e Simulazioni

Gli autori derivano approssimazioni di potenza sotto un modello di superpopolazione con effetti a ritardo distribuito e rumore AR(1).

• Fattori di Design: La potenza è guidata dalla lunghezza dei blocchi, dal periodo di "burn-in" (per eliminare il carryover) e dal pooling predeterminato.
• Confronto con Alternative:
  • Gaussianità: I CRT proposti hanno una potenza comparabile ai test asintotici di Horvitz-Thompson.
  • Code Pesanti (Heavy-tailed): I CRT mantengono un controllo accurato della dimensione (size) e una potenza superiore rispetto ai test di Fisher (che soffrono di sovrarifiuto se l'ipotesi nulla è specificata male) e ai test asintotici (che possono essere conservativi).
  • Robustezza: I test sono robusti a shock a coda pesante e dipendenze seriali, tipici dei dati reali.

Diagnostica

Le simulazioni dimostrano che i test diagnostici per il carryover e la non-anticipazione controllano correttamente la dimensione e mostrano una potenza crescente con l'entità dell'effetto e la dimensione del campione.

4. Contributi Principali

1. Framework Unificato: Fornisce un approccio coerente per l'inferenza esatta in esperimenti temporali strutturati, estendendosi oltre i semplici switchback a design regolari.
2. Soluzione al Problema dell'Interferenza: Risolve il problema della non-imputabilità nei test di randomizzazione tradizionali in presenza di interferenza temporale, utilizzando il condizionamento su sezioni costanti.
3. Strumenti Pratici: Offre procedure operative per:
   • Stimare la finestra di carryover necessaria.
   • Verificare l'assunzione di non-anticipazione.
   • Testare effetti medi stagionali con validità asintotica.
4. Guida al Design: Le approssimazioni di potenza offrono linee guida pratiche per ottimizzare la lunghezza dei blocchi e il pooling in base al rumore osservato e all'effetto atteso.

5. Significato e Impatto

Questo lavoro è cruciale per la comunità della scienza dei dati e dell'inferenza causale applicata alle piattaforme online.

• Affidabilità Operativa: Permette ai team di prodotto di prendere decisioni basate su dati sperimentali in orizzonti temporali brevi e con campioni limitati, dove le approssimazioni classiche falliscono.
• Robustezza Statistica: Offre una garanzia di validità (p-value esatti) anche in presenza di violazioni delle assunzioni standard (come code pesanti o dipendenze complesse), riducendo il rischio di decisioni errate basate su falsi positivi.
• Generalizzabilità: Il framework non è limitato agli switchback, ma può essere applicato a qualsiasi disegno sperimentale con struttura temporale (es. esperimenti time-series, disegni crossover), fornendo un metodo unificato per l'inferenza esatta in contesti dinamici.

In sintesi, Liu e Zhong trasformano la sfida dell'interferenza temporale da un ostacolo insormontabile per l'inferenza esatta in un problema risolvibile attraverso un'attenta progettazione del condizionamento e l'uso di test di randomizzazione adattivi.