Technische Samenvatting: Schatting van Behandelingseffecten onder Niet-stationariteit via de Truncated Policy Gradient Estimator

1. Probleemstelling

Gerandomiseerde experimenten (A/B-tests) zijn standaardinstrumenten voor het evalueren van interventies in dynamische systemen zoals aanbevelingsplatforms, marktplaatsen en digitale gezondheidszorg. Echter, in deze omgevingen veroorzaken interventies vaak carryover-effecten (of temporele interferentie), waarbij een actie op tijdstip $t$ de systeemtoestanden en uitkomsten op toekomstige tijdstippen $t' > t$ beïnvloedt. Dit schendt de standaardveronderstelling van onafhankelijkheid op eenheidsniveau.

De uitdaging wordt verergerd door niet-stationariteit: systeemdynamieken (transitiekernels en beloningsverdelingen) variëren in de loop van de tijd door factoren zoals evoluerende gebruikersvoorkeuren, seizoensgebonden trends of externe schokken. In dergelijke niet-stationaire Markoviaanse settings kampen bestaande schattingsmethoden met aanzienlijke beperkingen:

• Naïeve schatters (bijv. Difference-in-Means) negeren temporele afhankelijkheden, wat leidt tot substantiële bias.
• Stationaire Off-Policy Evaluation (OPE) methoden (bijv. Difference-in-Q's of DQ-schatters) gaan uit van een stationaire omgeving. Wanneer ze op niet-stationaire data worden toegepast, lijden ze aan hoge bias en variantie omdat ze steunen op aannames (bijv. stationaire observeerbaarheid, meerdere onafhankelijke trajecten) die niet standhouden.
• Complexe experimentele ontwerpen (bijv. switchback-experimenten) kunnen interferentie verminderen, maar zijn moeilijk te implementeren en vereisen zorgvuldige afstemming van de intervallengtes.

Het centrale probleem dat wordt aangepakt, is de schatting van het Global Average Treatment Effect (GATE) vanuit een enkel traject van een niet-stationair systeem onder een Bernoulli gerandomiseerd beleid, zonder kennis te vereisen van de toestandsruimte of meerdere onafhankelijke runs.

2. Methodologie: De Truncated Policy Gradient (TPG) Estimator

De auteurs stellen de Truncated Policy Gradient (TPG) estimator voor, die de standaard Difference-in-Means (DM) aanpak modificeert door uitkomsten te aggregeren over een korte, vaste horizon $k$ in plaats van instantane beloningen te gebruiken.

2.1 Formeel Kader

Het systeem wordt gemodelleerd als een niet-stationair Markov Decision Process (MDP) met een eindige horizon $T$.

• Toestand/Actie: $X_t \in \mathcal{X}$ (toestand), $Z_t \in \{0, 1\}$ (controle/behandeling).
• Dynamiek: Transities worden beheerst door tijdafhankelijke kernels $P^t_z$. Het systeem voldoet aan een mixing time aanname (Aanname 1), waarbij de invloed van het verleden op acties exponentieel afneemt met een snelheid $\gamma \in (0, 1)$.
• Doel: De GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$, waarbij $\pi_1$ en $\pi_0$ de 'always-treatment' en 'always-control' beleid zijn.
• Data: Een enkel traject gegenereerd onder een Bernoulli gerandomiseerd beleid $\pi_{1/2}$.

2.2 De Estimator

De TPG estimator $\hat{\tau}_k$ wordt gedefinieerd als:
$$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$$
Wanneer $k=0$, reduceert dit tot de naïeve DM estimator. Voor $k \ge 1$ somt het beloningen op over een venster van grootte $k$.

2.3 Theoretische Interpretatie

Het artikel stelt vast dat $\hat{\tau}_k$ een onbevooroordeelde schatter is van een truncated policy gradient $\nabla J_k(1/2)$.

• Policy Gradient Perspectief: De standaard policy gradient $\nabla J(1/2)$ is een eerste-orde Taylor-benadering van de GATE. In niet-stationaire settings lijdt de volledige gradient estimator (waarbij $k=T$) aan een bias die kwadratisch schaalt met $T$ ($O(T^2)$).
• Truncatie: Door de horizon te beperken tot $k$, benadert de estimator de gradient van een hypothetisch beleid dat pas voor de laatste $k$ stappen overschakelt naar behandeling of controle.
• Bias Decompositie: De bias van $\hat{\tau}_k$ ten opzichte van de ware GATE deelt zich op in:
  1. Taylor Fout: De fout van het benaderen van de GATE met de gradient. Dit schaalt als $O(k^2)$ (veel beter dan $O(T^2)$).
  2. Mixing Bias: De fout die voortvloeit uit het verschil tussen de getrunceerde beleidswaarde en de ware GATE. Deze neemt geometrisch af met $k$ dankzij de mixing time aanname.

2.4 Variantie-schatting en Inferentie

Het artikel leidt een Centrale Limietstelling (CLT) af voor de TPG estimator onder niet-stationariteit. Om statistische inferentie te ondersteunen, hebben de auteurs een consistente niet-stationaire HAC (Heteroskedasticity and Autocorrelation Consistent) variatieschatter ontwikkeld. Deze estimator maakt de constructie van betrouwbaarheidsintervallen mogelijk met behulp van single-trajectory data, waarmee de "curse of horizon" wordt overwonnen die standaard OPE-methoden in niet-stationaire omgevingen teistert.

3. Belangrijkste Bijdragen

1. Nieuwe Estimator: Introductie van de TPG estimator, die een balans vindt tussen bias en variantie door de beloningshorizon te trunceren. Het vereist geen kennis van de toestandsruimte en werkt met een enkel traject.
2. Theoretische Garanties:
   • Bias-Variance Trade-off: Theorem 1 biedt grenzen aan waarbij voor $k \ge 1$ de TPG estimator een gunstige trade-off bereikt. De bias wordt gecontroleerd door de mixing rate $\gamma$ en kernel-deviatie $\delta$, terwijl de variantie begrensd is en niet explodeert met $T$ (in tegenstelling tot de ongetrunceerde estimator).
   • Asymptotische Normaliteit: Theorem 2 vestigt de CLT voor $\hat{\tau}_k$ en bewijst de consistentie van de voorgestelde HAC variatieschatter onder milde regulariteitsvoorwaarden (Cesàro-$L^2$ gemiddelde stabiliteit).
3. Praktische Heuristiek: Een datagestuurd algoritme (Appendix B) wordt voorgesteld om de truncatiegrootte $k$ na het experiment te selecteren door de stabiliteit van de schatting ten opzichte van de variantie te monitoren.
4. Empirische Validatie: De methode wordt gevalideerd via twee realistische casestudies:
   • Een wachtrij-simulator gebaseerd op niet-stationaire patiënt-aankomstdata.
   • Een grootschalige NYC ride-sharing simulator met echte taxi-data.

4. Resultaten

• Two-State MDP: In simulaties vertoonde de naïeve DM estimator ($k=0$) een Mean Absolute Error (MAE) van ongeveer 50%. De ongetrunceerde policy gradient ($k=T$) had onjuiste tekens en een enorme variantie. De TPG estimator met een kleine $k$ (bijv. $k=1$ tot $5$) verminderde de bias aanzienlijk terwijl de variantie laag bleef.
• Queueing Casestudy: Vergeleken met stationaire DQ, LSTD-OPE en bias-gecorrigeerde switchback estimators, benaderde de TPG estimator (met $k=4$ of $5$) de grondwaarheid van de GATE zeer nauwkeurig. De voorgestelde HAC variatieschatter bereikte een bijna-nominale 95% dekking.
• Ride-Sharing Casestudy: In een complexe, niet-stationaire omgeving met echte NYC-data, verminderde de TPG estimator consequent de bias over verschillende switchback-intervallen (10 tot 60 minuten). Het presteerde beter dan state-of-the-art switchback estimators (die gevoelig waren voor de intervalkeuze) en stationaire OPE-methoden (die faalden in het leren van betrouwbare Q-waarden). De TPG estimator met $k=2$ of $3$ produceerde schattingen die zeer dicht bij de ware GATE lagen.

5. Betekenis en Claims

Het artikel claimt dat de TPG estimator een eenvoudige, praktische en theoretisch gefundeerde oplossing biedt voor causale inferentie in niet-stationaire dynamische systemen. De primaire betekenis ligt in:

• Robuustheid: Het bereikt een gunstige balans tussen bias en variantie in situaties waar bestaande methoden (naïeve DM, stationaire OPE) falen.
• Haalbaarheid: Het opereert op single-trajectory data zonder kennis van de toestandsruimte te vereisen, wat het toepasbaar maakt voor real-world platforms waar volledige observeerbaarheid van de toestand vaak onmogelijk is.
• Inferentie: Het biedt de eerste consistente variatieschatter en CLT voor het schatten van behandelingseffecten in single-trajectory niet-stationaire Markoviaanse settings, wat geldige statistische inferentie mogelijk maakt.
• Flexibiliteit: Het kan worden ingezet als een post-processing tool om schattingen van standaard Bernoulli A/B-tests of complexere ontwerpen zoals switchbacks te verbeteren.

De auteurs concluderen dat het policy-gradient perspectief, specifiek door middel van truncatie, een krachtig kader biedt voor het ontwerpen van effectieve estimators onder complexe, niet-stationaire dynamieken.