Design Stability in Adaptive Experiments: Implications for Treatment Effect Estimation

1. Problema e Contesto

Il lavoro affronta la sfida di stimare l'effetto medio del trattamento (ATE - Average Treatment Effect) in contesti sperimentali dove l'assegnazione del trattamento non è fissa, ma sequenziale e adattiva.

• Contesto: A differenza dei classici disegni completamente randomizzati (dove le unità sono assegnate indipendentemente con probabilità fisse), in molti scenari reali (trial clinici adattivi, test A/B online, valutazioni di politiche pubbliche) le unità arrivano sequenzialmente e la probabilità di assegnazione al trattamento può dipendere dalla storia precedente (assegnazioni passate e risultati osservati).
• Sfida: Questi meccanismi adattivi introducono dipendenze complesse tra le unità, rendendo gli stimatori ATE tradizionali (come la differenza delle medie) potenzialmente distorti o inefficienti e invalidando i risultati asintotici convenzionali basati sull'indipendenza e identica distribuzione (i.i.d.).
• Framework: L'analisi si svolge nel framework dei potenziali risultati (Neyman-Rubin) in una popolazione finita, dove i potenziali risultati sono considerati quantità fisse e l'unica fonte di casualità deriva dal meccanismo di randomizzazione.

2. Metodologia e Struttura Teorica

Concetto Chiave: Stabilità del Disegno (Design Stability)

Il pilastro dell'analisi è la definizione di una nuova proprietà strutturale chiamata stabilità del disegno. Per garantire la normalità asintotica degli stimatori, il disegno deve soddisfare una delle due condizioni:

1. Stabilità Forte (Strong Stability): Le probabilità di assegnazione $p_i$ convergono asintoticamente a un valore scalare non casuale $p^*$.
2. Stabilità Debole (Weak Stability): Anche se le singole probabilità $p_i$ non convergono (possono fluttuare), le medie campionarie degli inversi delle probabilità di propensione ($1/p_i$) e degli inversi delle probabilità complementari ($1/(1-p_i)$) convergono in probabilità a limiti fissi non casuali ($1/p^*_1$ e $1/p^*_2$).

Stimatori Proposti

Gli autori analizzano due stimatori naturali per l'ATE:

1. Stimatore IPW (Inverse Propensity Weighted): Una versione Horvitz-Thompson adattata alla popolazione finita, che pesa le osservazioni osservate per l'inverso della probabilità di assegnazione.
2. Stimatore AIPW (Augmented IPW): Una versione "augmentata" (doppia robustezza) specifica per la popolazione finita. Utilizza stime sequenziali dei potenziali risultati medi per ridurre la varianza, senza assumere un modello probabilistico per i risultati (model-free).

Risultati Teorici Principali

• Teoremi del Limite Centrale (CLT): Sotto le condizioni di stabilità (forte o debole) e ipotesi di regolarità (limitatezza delle probabilità e dei potenziali risultati), sia lo stimatore IPW che quello AIPW soddisfano un teorema del limite centrale.
  • $\sqrt{N}(\hat{\tau} - \bar{\tau}) \xrightarrow{d} N(0, V)$
  • Vengono fornite espressioni esplicite per le varianze asintotiche $V_{IPW}$ e $V_{AIPW}$, che dipendono dalla stabilità del disegno e dai momenti dei potenziali risultati.
• Stimatori di Varianza Conservativi: Poiché i risultati potenziali non sono osservabili simultaneamente per la stessa unità, la varianza asintotica non può essere stimata in modo coerente senza assunzioni aggiuntive.
  • Gli autori propongono stimatori conservativi della varianza (basati sulla disuguaglianza di Cauchy-Schwarz) che garantiscono una copertura asintoticamente valida (sovracopertura) per gli intervalli di confidenza.
  • Questi stimatori diventano coerenti (e la copertura esatta) quando i potenziali risultati soddisfano condizioni di omogeneità dell'effetto del trattamento (es. additività o additività logaritmica).

3. Applicazioni ed Esempi Illustrativi

Il paper applica la teoria generale a due disegni adattivi classici:

1. Disegno a Moneta Adattiva di Wei (Wei's Adaptive Coin Design):

   • Caratteristica: Mira a bilanciare le dimensioni dei gruppi riducendo lo squilibrio relativo.
   • Risultato: Soddisfa la stabilità forte (le probabilità convergono a $p^*=0.5$).
   • Implicazione: Permette una stima diretta e coerente delle varianze e degli intervalli di confidenza.

2. Disegno a Moneta Biasata di Efron (Efron's Biased Coin Design):

   • Caratteristica: Assegna il trattamento con probabilità $\eta$ o $1-\eta$ in base allo squilibrio corrente per forzare il bilanciamento.
   • Risultato: Non soddisfa la stabilità forte (le probabilità oscillano tra $\eta$ e $1-\eta$), ma soddisfa la stabilità debole.
   • Implicazione: Richiede l'uso delle formule per la stabilità debole e condizioni aggiuntive per stimare i momenti dei risultati, ma il CLT rimane valido.

4. Risultati Empirici (Simulazioni)

Le simulazioni confermano i risultati teorici:

• Copertura: Gli intervalli di confidenza costruiti con gli stimatori di varianza proposti mostrano una copertura empirica affidabile, spesso conservativa (copertura > livello nominale) nei casi non additivi, e vicina al livello nominale quando le condizioni di omogeneità sono soddisfatte.
• Efficienza: Lo stimatore AIPW si dimostra sistematicamente più efficiente dello stimatore IPW, producendo intervalli di confidenza più stretti a parità di copertura, specialmente in scenari non additivi.
• Bias: Gli stimatori risultano privi di bias anche in campioni finiti.

5. Significato e Contributi Chiave

Questo lavoro è significativo per diversi motivi:

1. Unificazione Teorica: Fornisce un quadro unificato per l'inferenza causale in popolazioni finite con assegnazioni adattive, colmando il divario tra la teoria dei disegni classici e quella dei bandit adattivi (che spesso operano in framework di superpopolazione).
2. Robustezza: Dimostra che l'inferenza valida è possibile senza assumere modelli sui potenziali risultati, basandosi esclusivamente sulla randomizzazione (inferenza basata sul disegno).
3. Distinzione Stabilità: Introduce la distinzione cruciale tra stabilità forte e debole, permettendo di applicare metodi rigorosi anche a disegni complessi come quello di Efron, che precedentemente potevano essere problematici per l'inferenza asintotica standard.
4. Praticità: Offre strumenti pratici (stimatori di varianza conservativi) per costruire intervalli di confidenza validi in trial clinici e test online adattivi, garantendo che le conclusioni statistiche siano robuste nonostante la dipendenza sequenziale dei dati.

In sintesi, il paper stabilisce le fondamenta teoriche necessarie per condurre inferenze causali rigorose in un mondo sempre più dominato da esperimenti adattivi, fornendo sia la teoria asintotica che gli strumenti pratici per l'implementazione.