Sintesi Tecnica: Stima degli Effetti del Trattamento in Condizioni di Nonstazionarietà tramite lo Stimatore del Gradiente della Politica Troncato

1. Definizione del Problema

Gli esperimenti randomizzati (A/B test) sono strumenti standard per valutare gli interventi in sistemi dinamici come piattaforme di raccomandazione, marketplace e sanità digitale. Tuttavia, in questi ambienti, gli interventi spesso inducono effetti di carryover (o interferenza temporale), dove un'azione al tempo $t$ influenza gli stati del sistema e i risultati in tempi futuri $t' > t$. Ciò viola l'assunto standard di indipendenza a livello di unità.

La sfida è esacerbata dalla nonstazionarietà: le dinamiche di sistema (kernel di transizione e distribuzioni dei premi) variano nel tempo a causa di fattori quali l'evoluzione delle preferenze degli utenti, tendenze stagionali o shock esterni. In tali contesti markoviani nonstazionari, gli approcci di stima esistenti affrontano limitazioni significative:

• Stimatori ingenui (es. Differenza tra Medie) ignorano le dipendenze temporali, portando a un bias sostanziale.
• Metodi di Valutazione Off-Policy (OPE) stazionari (es. Differenza tra Q o stimatori DQ) assumono un ambiente stazionario. Quando applicati a dati nonstazionari, soffrono di alto bias e varianza perché si basano su assunti (es. osservabilità stazionaria, traiettorie multiple indipendenti) che non sussistono.
• Design sperimentali complessi (es. esperimenti switchback) possono mitigare l'interferenza, ma sono difficili da implementare e richiedono una calibrazione attenta della lunghezza degli intervalli.

Il problema centrale affrontato è la stima dell'Effetto Medio Globale del Trattamento (GATE) da una singola traiettoria di un sistema nonstazionario sotto una politica randomizzata di Bernoulli, senza richiedere la conoscenza dello spazio degli stati o di molteplici esecuzioni indipendenti.

2. Metodologia: Lo Stimatore del Gradiente della Politica Troncato (TPG)

Gli autori propongono lo stimatore del Gradiente della Politica Troncato (TPG), che modifica l'approccio standard della Differenza tra Medie (DM) aggregando i risultati su un breve orizzonte fisso $k$ anziché utilizzare i premi istantanei.

2.1 Framework Formale

Il sistema è modellato come un processo decisionale di Markov (MDP) nonstazionario con un orizzonte finito $T$.

• Stato/Azione: $X_t \in \mathcal{X}$ (stato), $Z_t \in \{0, 1\}$ (controllo/trattamento).
• Dinamica: Le transizioni sono governate da kernel tempo-dipendenti $P^t_z$. Il sistema soddisfa un assunto di tempo di miscelazione (Assunto 1), in cui l'influenza delle azioni passate decade esponenzialmente a un tasso $\gamma \in (0, 1)$.
• Target: Il GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$, dove $\pi_1$ e $\pi_0$ sono le politiche "sempre trattamento" e "sempre controllo".
• Dati: Una singola traiettoria generata da una politica di randomizzazione di Bernoulli $\pi_{1/2}$.

2.2 Lo Stimatore

Lo stimatore TPG $\hat{\tau}_k$ è definito come:
$$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$$
Quando $k=0$, questo si riduce al naive DM estimator. Per $k \ge 1$, somma i premi su una finestra di dimensione $k$.

2.3 Interpretazione Teorica

Il documento stabilisce che $\hat{\tau}_k$ è uno stimatore non distorto di un gradiente della politica troncato $\nabla J_k(1/2)$.

• Prospettiva del Gradiente della Politica: Il gradiente della politica standard $\nabla J(1/2)$ è un'approssimazione di Taylor del primo ordine del GATE. In contesti nonstazionari, lo stimatore del gradiente completo (dove $k=T$) soffre di un bias che scala quadraticamente con $T$ ($O(T^2)$).
• Troncamento: Troncando l'orizzonte a $k$, lo stimatore approssima il gradiente di una ipotetica politica che passa al trattamento o al controllo solo per gli ultimi $k$ passi.
• Decomposizione del Bias: Il bias di $\hat{\tau}_k$ rispetto al vero GATE si decompone in:
  1. Errore di Taylor: L'errore derivante dall'approssimazione del GATE con il gradiente. Questo scala come $O(k^2)$ (molto meglio di $O(T^2)$).
  2. Bias di Miscelazione (Mixing Bias): L'errore derivante dalla differenza tra il valore della politica troncata e il vero GATE. Questo decade geometricamente con $k$ grazie all'assunto del tempo di miscelazione.

2.4 Stima della Varianza e Inferenza

Il documento deriva un Teorema del Limite Centrale (CLT) per lo stimatore TPG sotto nonstazionarietà. Per supportare l'inferenza statistica, gli autori sviluppano uno stimatore della varianza HAC (eteroschedasticità e autocorrelazione consistente) nonstazionario coerente. Questo stimatore consente la costruzione di intervalli di confidenza utilizzando dati di singola traiettoria, superando la "maledizione dell'orizzonte" che affligge i metodi OPE standard in ambienti nonstazionari.

3. Contributi Chiave

1. Nuovo Stimatore: Introduzione dello stimatore TPG, che bilancia bias e varianza tramite il troncamento dell'orizzonte dei premi. Non richiede l'osservabilità dello stato e funziona con una singola traiettoria.
2. Garanzie Teoriche:
   • Trade-off Bias-Varianza: Il Teorema 1 fornisce limiti che mostrano come, per $k \ge 1$, lo stimatore TPG ottenga un trade-off favorevole. Il bias è controllato dal tasso di miscelazione $\gamma$ e dalla deviazione del kernel $\delta$, mentre la varianza è limitata e non esplode con $T$ (a differenza dello stimatore non troncato).
   • Asintotica Normalità: Il Teorema 2 stabilisce il CLT per $\hat{\tau}_k$ e prova la coerenza del proposto stimatore della varianza HAC sotto condizioni di regolarità deboli (stabilità della media Cesàro-$L^2$).
3. Euristica Pratica: Viene proposto un algoritmo data-driven (Appendice B) per selezionare la dimensione di troncamento $k$ post-esperimento monitorando la stabilità della stima rispetto alla sua varianza.
4. Validazione Empirica: Il metodo è validato su due casi studio realistici:
   • Un simulatore di code basato su dati nonstazionari di arrivo dei pazienti.
   • Un simulatore di ride-sharing di NYC su larga scala utilizzando dati reali di taxi.

4. Risultati

• MDP a due stati: Nelle simulazioni, il naive DM estimator ($k=0$) mostrava un Errore Assoluto Medio (MAE) del ~50%. Il gradiente della politica non troncato ($k=T$) presentava segni errati e una varianza massiccia. Lo stimatore TPG con un piccolo $k$ (es. $k=1$ a $5$) ha ridotto significativamente il bias mantenendo una bassa varianza.
• Caso studio sulle code: Rispetto al DQ stazionario, LSTD-OPE e agli stimatori switchback corretti dal bias, lo stimatore TPG (con $k=4$ o $5$) si è avvicinato molto al GATE reale. Il proposto stimatore della varianza HAC ha ottenuto una copertura quasi nominale del 95%.
• Caso studio Ride-Sharing: In un ambiente complesso e nonstazionario con dati reali di NYC, lo stimatore TPG ha ridotto costantemente il bias attraverso vari intervalli di switchback (da 10 a 60 minuti). Ha superato gli stimatori switchback allo stato dell'arte (sensibili alla scelta dell'intervallo) e i metodi OPE stazionari (che non riuscivano a apprendere valori Q affidabili). Lo stimatore TPG con $k=2$ o $3$ ha prodotto stime molto vicine al vero GATE.

5. Significato e Rivendicazioni

Il documento sostiene che lo stimatore TPG offre una soluzione semplice, pratica e teoricamente fondata per l'inferenza causale in sistemi dinamici nonstazionari. La sua importanza primaria risiede nella:

• Robustezza: Ottiene un equilibrio favorevole tra bias e varianza in scenari in cui i metodi esistenti (naive DM, OPE stazionario) falliscono.
• Fattibilità: Opera su dati di singola traiettoria senza richiedere la conoscenza dello spazio degli stati, rendendolo applicabile a piattaforme reali dove l'osservabilità completa dello stato è spesso impossibile.
• Inferenza: Fornisce il primo stimatore della varianza coerente e il CLT per la stima dell'effetto del trattamento in contesti markoviani nonstazionari a singola traiettoria, consentendo un'inferenza statistica valida.
• Flessibilità: Può essere utilizzato come strumento di post-processing per migliorare le stime provenienti da standard test A/B di Bernoulli o design più complessi come gli switchback.

Gli autori concludono che la prospettiva del gradiente della politica, specificamente attraverso il troncamento, fornisce un framework potente per progettare stimatori efficaci sotto dinamiche nonstazionarie complesse.