Design-based theory for causal inference from adaptive experiments

1. Il Problema

Le sperimentazioni adattive (o sequenziali) aggiornano dinamicamente le probabilità di assegnazione del trattamento basandosi sulle informazioni accumulate durante l'esperimento. Esempi comuni includono i multi-armed bandit, la randomizzazione adattiva alle covariate e la sequential rerandomization.

Sebbene esistano teorie per l'inferenza causale in questi contesti, la letteratura attuale si basa prevalentemente sul framework della superpopolazione, che assume unità indipendenti e identicamente distribuite (i.i.d.). Questo approccio presenta due limiti fondamentali:

1. Non validità per popolazioni finite non scambiabili: Se la distribuzione delle unità evolve nel tempo (non scambiabilità), le stime basate sulla superpopolazione possono essere distorte.
2. Limiti nell'uso di modelli "black-box": Le tecniche esistenti spesso richiedono forti ipotesi di consistenza o stabilità sugli stimatori dei risultati, rendendo difficile l'integrazione con metodi avanzati di machine learning (modelli black-box) che non soddisfano tali condizioni classiche.

L'obiettivo del paper è colmare queste lacune sviluppando una teoria basata sul disegno (design-based theory) valida per popolazioni finite, che permetta l'inferenza causale robusta anche in presenza di unità non scambiabili, probabilità di trattamento non convergenti o vanificanti, e modelli di outcome complessi.

2. Metodologia e Quadro Teorico

Gli autori adottano il framework di popolazione finita (Neyman, 1923), dove i potenziali risultati e le covariate sono considerati fissi, e l'unica fonte di casualità è l'assegnazione del trattamento.

Stimatori Proposti

Il paper si concentra su due stimatori principali adattati al contesto adattivo:

1. IPW (Inverse Propensity Weighted): Uno stimatore classico che pesa i risultati osservati per l'inverso della probabilità di trattamento condizionata alla storia ($H_t$).
2. AIPW (Augmented IPW): Uno stimatore "doppio-robusto" che combina l'IPW con un modello di regressione dei risultati ($\hat{m}_t(z)$). La forma è:
   $$\hat{Y}_{t, \text{aipw}}(z) = \hat{Y}_{t, \text{ipw}}(z) + \left(1 - \frac{\mathbb{1}(Z_t=z)}{e_t(z)}\right)\hat{m}_t(z)$$
   dove $\hat{m}_t(z)$ è uno stimatore adattivo costruito utilizzando solo le informazioni disponibili fino al tempo $t$ (la storia $H_t$).

Struttura Martingala

Un contributo chiave è l'identificazione della struttura martingala indotta dall'aggiornamento adattivo. Poiché $\hat{m}_t(z)$ dipende solo dalla storia passata e non dal risultato corrente, gli errori di previsione formano una sequenza di differenze di martingala. Questo permette di applicare il Teorema del Limite Centrale per Martingale (Brown, 1971), anche quando i modelli di outcome sono "black-box" (es. Random Forest, reti neurali) e non soddisfano le condizioni di consistenza uniforme richieste dai metodi tradizionali.

Stima della Varianza

Il paper introduce un nuovo stimatore della covarianza per l'AIPW che riduce la conservatività intrinseca dell'inferenza in popolazioni finite (dove la varianza è spesso sovrastimata).

• Viene proposto uno stimatore basato sui residui adattivi ($\tilde{V}_{\text{aipw}}$) che diventa "sharp" (esatto) quando i residui della regressione adattiva sono additivi tra le unità.
• Viene esteso anche al caso di randomizzazione a blocchi adattivi, dove le unità sono assegnate in gruppi sequenziali.

3. Contributi Chiave

1. Teoria Design-Based per Popolazioni Finite:

   • Estensione della teoria causale adattiva al framework di popolazione finita, permettendo unità non scambiabili (es. trend temporali nei dati).
   • Validità garantita anche quando le probabilità di trattamento non convergono a una costante o tendono a zero (vanishing probabilities).

2. Inferenza con Modelli Black-Box:

   • Dimostrazione che l'uso di stimatori AIPW con modelli di outcome adattivi (costruiti solo su dati passati) permette inferenze valide senza forti assunzioni di consistenza globale, sfruttando la struttura martingala. Questo apre la strada all'uso di algoritmi di machine learning complessi nelle sperimentazioni adattive.

3. Nuovi Stimatori di Varianza:

   • Introduzione di uno stimatore di covarianza per l'AIPW che è meno conservativo rispetto agli standard, migliorando la precisione degli intervalli di confidenza quando i modelli di outcome sono predittivi.

4. Adattamento per Disegni Non Adattivi:

   • Proposta di un approccio di aggiustamento adattivo delle covariate anche per disegni non adattivi (es. randomizzazione completamente casuale). Trattare un disegno non adattivo come se fosse adattivo (costruendo $\hat{m}_t$ solo su dati passati) permette di utilizzare modelli black-box con garanzie teoriche valide, superando i limiti delle tecniche di cross-fitting tradizionali che richiedono correzioni di Bonferroni o forti ipotesi di stabilità.

5. Generalizzazione ai Blocchi:

   • Estensione della teoria alla randomizzazione adattiva a blocchi (es. sequential rerandomization), fornendo teoremi asintotici e stime di varianza per questo scenario comune.

4. Risultati Principali

• Teoremi di Consistenza e Normalità Asintotica: Gli autori dimostrano che gli stimatori IPW e AIPW sono non distorti e asintoticamente normali ($\sqrt{T}(\hat{\tau} - \tau) \xrightarrow{d} N(0, \Sigma)$) sotto condizioni di regolarità generali (convergenza della varianza e condizione di Lindeberg per le martingale).
• Validità degli Intervalli di Confidenza: Vengono costruiti intervalli di confidenza di tipo Wald che garantiscono una copertura asintotica corretta ($\ge 1-\alpha$) anche con probabilità di trattamento vanificanti e modelli di outcome complessi.
• Simulazioni:
  • Aggiustamento adattivo vs. Cross-fitting: In scenari non adattivi, l'approccio adattivo proposto (AIPW) fornisce intervalli di confidenza validi e più brevi rispetto ai metodi standard quando si usano modelli complessi (es. Random Forest), dove i metodi tradizionali falliscono (sottocopertura).
  • Sequential Rerandomization: L'applicazione alla sequential rerandomization mostra una riduzione significativa dell'errore quadratico medio (RMSE) rispetto alla randomizzazione completamente casuale, mantenendo una copertura corretta degli intervalli di confidenza.
  • Effetto delle probabilità vanificanti: Lo studio mostra che l'inferenza rimane valida finché le probabilità di trattamento non decadono troppo rapidamente (es. tasso $t^{-1/2+\delta}$ con $\delta \ge 0$), confermando la robustezza della teoria rispetto a scenari di esplorazione aggressiva.

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento fondamentale nella statistica causale applicata:

• Ponte tra Machine Learning e Sperimentazione: Fornisce la giustificazione teorica per l'uso di modelli di machine learning flessibili (black-box) nelle sperimentazioni adattive, un'area dove la teoria classica era carente.
• Robustezza: Rende l'inferenza causale robusta a violazioni delle assunzioni di i.i.d., cruciali in contesti reali come le sperimentazioni cliniche, il marketing digitale e le politiche pubbliche dove i dati evolvono nel tempo.
• Versatilità: Offre un quadro unificato che copre una vasta gamma di disegni sperimentali (bandit, randomizzazione adattiva, rerandomizzazione) sia in popolazioni finite che infinite, fornendo strumenti pratici per la stima della varianza e la costruzione di intervalli di confidenza affidabili.

In sintesi, il paper trasforma l'inferenza causale adattiva da un campo dominato da assunzioni di superpopolazione rigide a un framework flessibile e basato sul disegno, capace di gestire la complessità dei dati moderni e degli algoritmi di apprendimento automatico.