Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities

1. Il Problema

Gli esperimenti randomizzati adattivi (come trial clinici responsivi, bandit contestuali e sistemi di sperimentazione su larga scala) aggiornano le probabilità di assegnazione del trattamento ($\pi_t$) man mano che i dati vengono raccolti, per bilanciare l'apprendimento e il dispiegamento. Tuttavia, molte piattaforme richiedono ancora una stima classica dell'effetto medio del trattamento (ATE) al termine dello studio, in un orizzonte temporale predefinito.

Il problema centrale identificato dall'autore è la calibrazione degli intervalli di confidenza (Wald) in questo contesto:

• Sotto assegnazione adattiva, il processo di propensione $\{\pi_t\}$ è dipendente dai dati.
• Di conseguenza, la variazione quadratica prevedibile degli incrementi del punteggio AIPW/DML (Augmented Inverse Propensity Weighted / Double Machine Learning) può rimanere casuale (stocastica) e non convergere a un unico limite deterministico.
• Quando non esiste un limite di varianza deterministico, le statistiche Wald standard, normalizzate utilizzando una singola varianza a lungo termine fissa, possono risultare miscalibrate condizionatamente al regime di varianza realizzato. Questo porta a tassi di copertura che possono essere sistematicamente troppo bassi o troppo alti a seconda del percorso specifico assunto dalle propensioni durante l'esperimento.

2. Metodologia Proposta

L'articolo propone un approccio basato sulla teoria dei martingali auto-normalizzati per ottenere inferenze valide a orizzonte fisso senza richiedere la stabilizzazione della varianza.

Assumzioni Chiave e "Contratto di Dati"

Il metodo si basa su un contratto di dati verificabile (auditable) che include:

1. Propensioni Esecutive Registrate (Logged Executed Propensities): La piattaforma deve registrare esattamente la probabilità $\pi_t$ utilizzata per randomizzare ogni unità $t$ (inclusa qualsiasi casualità algoritmica interna).
2. Costruzione Prevedibile dei Nuisance (Predictable Nuisance Fitting): Le regressioni di "nuisance" (modelli per le outcome) utilizzate per calcolare il punteggio AIPW/DML per l'unità $t$ devono essere costruite esclusivamente utilizzando dati passati ($t-1$ o precedenti). Questo esclude il "peeking" (uso di dati contemporanei o futuri).
3. Cross-fitting Avanzato (Forward Cross-Fitting): Per garantire la prevedibilità, i dati sono partizionati in blocchi temporali contigui. I modelli di nuisance sono addestrati sui blocchi precedenti e mantenuti fissi per la valutazione sui blocchi successivi.

Costruzione dello Stima

• Punteggio AIPW/DML: Viene utilizzato lo score standard Augmented IPW (o Double Robust), ma valutato con le propensioni registrate e i modelli di nuisance prevedibili.
• Struttura di Martingala: Sotto le condizioni sopra, gli incrementi centrati del punteggio formano una sequenza esatta di differenze di martingala (MDS). Questo è un risultato fondamentale che sostituisce l'assunzione di indipendenza tra fold tipica del DML i.i.d. con l'indipendenza condizionata esatta sul passato.
• Auto-Normalizzazione: Invece di stimare una varianza asintotica deterministica, l'autore propone di normalizzare la statistica di Wald utilizzando la variazione quadratica realizzata (realized quadratic variation) lungo il percorso dell'esperimento. La statistica studentizzata è definita come:
  $$\frac{\sqrt{n_{eff}}(\hat{\theta} - \theta_0)}{\hat{V}}$$
  dove $\hat{V}$ è la varianza campionaria calcolata sui residui del punteggio.

3. Contributi Chiave

1. Martingala Auditabile: Formalizzazione di un contratto di registrazione e previsione che garantisce che gli incrementi del punteggio AIPW/DML formino una MDS esatta, anche in presenza di assegnazione adattiva complessa.
2. Inferenza Wald Auto-Normalizzata a Orizzonte Fisso: Dimostrazione che la statistica Studentizzata, normalizzata dalla variazione quadratica realizzata, converge asintoticamente a una distribuzione Normale standard $N(0,1)$ al termine dello studio, anche se la varianza prevedibile non converge a un limite deterministico.
3. Validità della Studentizzazione Fattibile: Dimostrazione che lo stimatore di varianza standard (plug-in sample variance) è asintoticamente equivalente alla variazione quadratica realizzata, rendendo l'intervallo di confidenza pratico e implementabile.
4. Benchmark Oracle e Precisione: Decomposizione del secondo momento condizionato che mostra come l'errore di stima dei modelli di nuisance (nuisance error) influenzi solo la precisione (lunghezza dell'intervallo) e non la validità della copertura, fornendo un benchmark di precisione "oracle".

4. Risultati Teorici e Simulazioni

• Teorema Principale (5.14): Sotto le assunzioni di randomizzazione sequenziale, assenza di interferenza, sovrapposizione eseguita (overlap) e costruzione prevedibile dei nuisance, la statistica di Wald auto-normalizzata è asintoticamente normale. Non è necessaria la condizione di "stabilizzazione della varianza" (che richiede che la varianza media converga a una costante).
• Studio di Simulazione (Design A): In uno scenario dove la varianza a lungo termine converge a due diversi valori casuali a seconda di un segnale iniziale (burn-in), gli intervalli di confidenza standard basati su una varianza fissa mostrano una copertura condizionata errata (troppo conservativi in un regime, troppo ottimisti nell'altro). L'approccio proposto (SN - Self-Normalized) mantiene una copertura vicina al 95% in entrambi i regimi.
• Stress Test (Design C1): Quando si viola l'assunzione di prevedibilità (usando dati futuri o contemporanei per addestrare i nuisance), la copertura crolla drasticamente, confermando la criticità del protocollo di "forward cross-fitting".
• Robustezza alla Logistica: Simulazioni mostrano che se le propensioni eseguite non vengono registrate correttamente (es. si assume un valore fisso $\pi=0.5$ quando in realtà è adattivo), l'inferenza diventa fortemente distorta e la copertura è catastrofica.

5. Significato e Implicazioni

Questo lavoro è significativo per la comunità della sperimentazione adattiva e del causal inference per diversi motivi:

• Rimozione di Assunzioni Irraggiungibili: Elimina la necessità di imporre condizioni di "stabilizzazione" o "design stability" sulle propensioni, che sono spesso violate nelle piattaforme reali dove le policy reagiscono a stime rumorose.
• Implementazione Pratica: Fornisce un protocollo operativo chiaro e verificabile (logging delle propensioni esecutive e forward cross-fitting) che le piattaforme possono adottare per garantire inferenze valide senza modificare l'algoritmo di assegnazione.
• Distinzione tra Validità e Precisione: Chiarisce che l'apprendimento dei modelli di nuisance è necessario per la precisione (ridurre la lunghezza dell'intervallo), ma non per la validità della copertura, purché la prevedibilità sia rispettata.
• Limiti: L'autore sottolinea che i risultati sono validi solo per un orizzonte temporale predefinito. Non forniscono garanzie "anytime-valid" (validi in qualsiasi momento di arresto), per le quali sarebbero necessari metodi basati su super-martingale o confidence sequences.

In sintesi, il paper offre una soluzione rigorosa e pratica per l'inferenza causale in esperimenti adattivi, trasformando la dipendenza dai dati delle propensioni da un ostacolo per la varianza in una caratteristica gestibile attraverso la teoria dei martingali e la normalizzazione auto-adattiva.