Anytime-Valid Inference in Adaptive Experiments: Covariate Adjustment and Balanced Power

1. Il Problema: Limiti degli Esperimenti Adattivi

Gli esperimenti adattivi, come i Multi-Armed Bandits (MAB), offrono vantaggi di efficienza rispetto ai tradizionali esperimenti randomizzati (RCT) permettendo di identificare rapidamente i trattamenti ottimali e massimizzare il benessere dei partecipanti durante lo studio. Tuttavia, presentano due sfide critiche per l'inferenza causale:

1. Inferenza Causale Invalida: L'assegnazione del trattamento $W_t$ dipende dalle osservazioni precedenti (storia $H_{t-1}$). Questo viola le assunzioni di indipendenza richieste dagli stimatori standard (come la differenza delle medie o gli stimatori per punteggio di propensione), rendendo le stime dell'Effetto Medio del Trattamento (ATE) distorte e gli intervalli di confidenza non validi.
2. Squilibrio di Potenza Statistica: Le strategie adattive tendono a concentrare il campionamento sui trattamenti ottimali, lasciando i trattamenti sub-ottimali con un numero insufficiente di osservazioni. Ciò porta a una bassa potenza statistica e a un alto rischio di errori di Tipo II (non rilevare effetti reali) per i trattamenti non ottimali.

Sebbene approcci recenti come il Mixture Adaptive Design (MAD) di Liang e Bojinov (2024) abbiano risolto il problema dell'inferenza valida attraverso le Confidence Sequences (CS) asintotiche, le stime dell'ATE sufferono spesso di una varianza eccessiva (intervalli ampi) e non risolvono lo squilibrio di potenza.

2. Metodologia Proposta

Gli autori propongono due estensioni al framework MAD per affrontare simultaneamente varianza e squilibrio di potenza, mantenendo la proprietà di "validità in qualsiasi momento" (anytime-valid).

A. MADCovar: Aggiustamento per Covariate

MADCovar estende MAD incorporando un aggiustamento per le covariate nello stimatore dell'ATE, ispirandosi ai metodi di Robins e Rotnitzky (1995).

• Stimatore: Utilizza un modello di risultato $\hat{\mu}_w(X_i)$ per prevedere gli esiti potenziali. Lo stimatore per l'effetto individuale $\hat{\tau}_i$ combina la differenza dei modelli predittivi con termini di correzione basati sui residui, pesati per la probabilità di assegnazione adattiva $p^{MAD}_t(w)$.
• Meccanismo: L'assegnazione del trattamento è una miscela tra una politica adattiva pura (es. Thompson Sampling) e un'assegnazione completamente randomizzata, controllata da una sequenza deterministica $\delta_t$.
• Vantaggio: Riduce drasticamente la varianza dello stimatore dell'ATE senza compromettere l'unbiasedness o la validità delle Confidence Sequences asintotiche.

B. MADMod: Riallocazione Dinamica della Potenza

MADMod affronta lo squilibrio di potenza riallocando dinamicamente il campione verso i bracci di trattamento sottopotenziati.

• Meccanismo di Ripesatura: Introduce pesi di importanza $w_k(t)$ per ogni braccio $k$.
  • Se un braccio non ha ancora raggiunto la significatività statistica (la sua CS non esclude 0), $w_k(t) = 1$.
  • Una volta raggiunta la significatività, il peso decade secondo una funzione definita dal ricercatore (es. $1/t^\gamma$).
• Ridistribuzione: Le probabilità di assegnazione vengono ricalcolate riducendo la massa di probabilità dei bracci significativi e ridistribuendola proporzionalmente ai bracci sottopotenziati.
• Flessibilità: I ricercatori possono scegliere la velocità di decadimento per bilanciare l'efficienza dell'esplorazione/sfruttamento con la necessità di potenza statistica uniforme.

3. Contributi Chiave

1. MADCovar: Un stimatore dell'ATE aggiustato per covariate che è inattaccabile (unbiased) e garantisce inferenze valide in qualsiasi momento, riducendo significativamente la larghezza degli intervalli di confidenza.
2. MADMod: Un algoritmo che garantisce una potenza statistica più bilanciata tra tutti i trattamenti, riducendo gli errori di Tipo II per i trattamenti sub-ottimali senza sacrificare la validità dell'inferenza.
3. Validità Asintotica: Entrambi i metodi preservano la costruzione di Confidence Sequences (CS) asintotiche, permettendo ai ricercatori di monitorare i dati in tempo reale e fermare la raccolta dati quando si raggiunge un criterio di precisione o significatività desiderato, mantenendo il controllo dell'errore di Tipo I.
4. Implementazione Open Source: I metodi sono implementati in un pacchetto Python disponibile su PyPI e GitHub.

4. Risultati Empirici

Gli autori hanno validato i metodi attraverso simulazioni e un RCT su larga scala.

• Simulazioni (MADCovar):
  • In scenari con segnali di covariate da medi ad alti, MADCovar ha ridotto la larghezza delle CS fino al 60-70% rispetto al MAD standard.
  • I guadagni di precisione sono stati robusti anche con l'inclusione di un gran numero di covariate irrilevanti.
• RCT Reale (Voelkel et al., 2024):
  • Applicando i metodi a un dataset di 32.000 partecipanti su interventi politici, MADCovar ha mostrato guadagni di precisione simili alle simulazioni (60-75%) rispetto alla baseline non aggiustata.
• Simulazioni (MADMod):
  • Con 4 bracci di trattamento, MADMod ha ridotto drasticamente l'errore di Tipo II per i bracci sub-ottimali (quelli con effetti più difficili da rilevare).
  • Ha prodotto intervalli di confidenza più stretti per tutti i bracci, a costo di una ridistribuzione del campione: MADMod assegna più osservazioni ai bracci sub-ottimali rispetto al MAD puro, sacrificando parte dell'efficienza di allocazione per garantire inferenze robuste su tutti i trattamenti.

5. Significato e Impatto

Questo lavoro rende gli esperimenti adattivi più pratici, affidabili ed efficienti per la ricerca applicata in settori ad alto rischio come sanità, educazione e politiche sociali.

• Efficienza ed Etica: Migliorare la precisione senza aumentare la dimensione del campione riduce i costi e limita l'esposizione dei partecipanti a trattamenti inferiori.
• Robustezza Inferenziale: Permette di valutare l'efficacia di tutti gli interventi, non solo del migliore, riducendo il rischio di scartare trattamenti che, pur non essendo ottimali, potrebbero avere valore pratico.
• Flessibilità: Offre ai ricercatori il controllo sul compromesso tra efficienza (sfruttamento) e potenza statistica (esplorazione), superando i limiti degli approcci puramente teorici o statici.

In sintesi, MADCovar e MADMod risolvono le principali barriere all'adozione degli esperimenti adattivi, fornendo strumenti che combinano l'efficienza operativa dei MAB con la rigore statistico richiesto per l'inferenza causale.