Designing Time Series Experiments in A/B Testing with Transformer Reinforcement Learning

Technische Samenvatting: Het ontwerpen van tijdreeksexperimenten in A/B-testen met Transformer Reinforcement Learning

Probleemstelling
Het artikel behandelt de uitdaging van het ontwerpen van A/B-testen voor tijdreeksgegevens, een scenario dat veel voorkomt bij moderne technologieplatforms (bijv. ridesharing, e-commerce) waar beleidsregels sequentieel over de tijd worden toegewezen. In tegenstelling tot standaard A/B-testen waarbij eenheden onafhankelijk zijn, lijden tijdreeksexperimenten aan carryover-effecten (overdrachtseffecten): een beleid dat op tijdstip $t$ wordt geïmplementeerd, beïnvloedt de uitkomsten niet alleen op $t$, maar ook op toekomstige tijdstippen, wat de Stable Unit Treatment Value Assumption (SUTVA) schendt.

Bestaande experimentele ontwerpen voor dergelijke settings kampen met twee primaire beperkingen:

1. Onvolledige benutting van de historie: De meeste huidige strategieën (bijv. Markov-ontwerpen, statische ontwerpen, short-memory ontwerpen of switchback-ontwerpen) conditioneren de toewijzing van behandelingen op slechts de huidige observatie, de initiële actie, een beperkte historie of de tijdindex. Ze falen in het benutten van de volledige historische context.
2. Restrictieve aannames: Om het ontwerp te optimaliseren (specifiek om de Mean Squared Error, of MSE, van de Average Treatment Effect (ATE) estimator te minimaliseren), vertrouwen bestaande methoden vaak op sterke aannames over het datagenererende proces, zoals Markoviaanse dynamiek, specifieke parametrische tijdreeksmodellen (bijv. ARMA) of beperkingen op de duur van de carryover-effecten.

Het artikel stelt dat het niet conditioneren op de volledige historie leidt tot suboptimale ontwerpen vanwege de dynamische afhankelijkheden die inherent zijn aan tijdreeksexperimenten.

Methodologie
De auteurs stellen een Transformer Reinforcement Learning (TRL) framework voor om gelijktijdig de beperkingen van historie-benutting en modelleringsaannames aan te pakken. De methodologie bestaat uit twee kerncomponenten:

1. Theoretische Fundering (Onmogelijkheidstheorema):
   Het artikel stelt een onmogelijkheidstheorema vast dat bewijst dat voor de klasse van doubly robust estimators, elke behandelingsallocatiestrategie die niet afhankelijk is van de volledige verleden historie (observaties, acties en uitkomsten), niet optimaal kan zijn. Dit rechtvaardigt theoretisch de noodzaak voor een model dat de volledige sequentie van gegevens verwerkt.

2. Transformer Reinforcement Learning Algoritme:

   • State Definitie: De staat $S_t$ op tijdstip $t$ wordt gedefinieerd als de volledige historie $\{O_1, A_1, Y_1, \dots, O_t\}$, die alle temporele afhankelijkheden vastlegt.
   • Actie: De actie $A_t \in \{-1, 1\}$ bepaalt of de controle- of behandelingspolicy wordt geïmplementeerd.
   • Beloning: De beloning $R_t$ is ontworpen om direct de MSE van de ATE-estimator te minimaliseren. Deze is gedefinieerd als de negatieve gekwadrateerde afwijking tussen de huidige ATE-estimator (berekend vanaf data tot tijdstip $t$) en een Monte Carlo "ground truth" estimator ($\widehat{ATE}_{mc}$), gedisconteerd door een factor $\alpha^{T-t}$.
   • Architectuur: De auteurs maken gebruik van een Transformer encoder om de volledige historische context samen te vatten in staat-representaties. Deze staten worden gevoed aan een Double Deep Q-Network (DDQN) agent. De Transformer is specifief gekozen vanwege de capaciteit om variabel-lengte inputs te verwerken en langetermijnafhankelijkheden te vangen, waar recurrent neural networks (RNN's) moeite mee kunnen hebben.
   • Optimalisatie: De RL-agent leert de optimale policy $\pi$ die de verwachte cumulatieve beloning minimaliseert (wat overeenkomt met het minimaliseren van de MSE) door te interageren met een simulatieomgeving. Deze aanpak vereist geen datastructuren die voldoen aan Markov-aannames of specifieke parametrische structuren.

Belangrijkste Bijdragen

1. Theoretisch Onmogelijkheidsresultaat: Het artikel biedt een formeel bewijs dat optimale behandelingsallocatie in tijdreeksexperimenten (onder doubly robust estimatie) vereist dat er geconditioneerd wordt op de volledige historie, wat bestaande ontwerpen die vertrouwen op partiële historie theoretisch suboptimaal maakt.
2. Nieuw Algoritme (TRL): De auteurs introduceren een Transformer-gebaseerde RL-aanpak die:
   • De allocatie conditioneert op de gehele data-historie.
   • Direct de MSE van de ATE-estimator optimaliseert zonder te vertrouig op restrictieve modelleringsaannames (zoals MDP's of ARMA-modellen).
3. Empirische Validatie: Het voorstel wordt geëvalueerd in drie verschillende omgevingen:
   • Synthetische data met variërende varianties en transitiestructuren.
   • Een simulator gebaseerd op echte data, geconstrueerd uit een A/A-dataset van een ridesharingbedrijf met behulp van wild bootstrap.
   • Een publiekelijk beschikbare fysieke dispatch-simulator voor ridesharing.

Resultaten
Empirische evaluaties over 400 simulatie-replicaties tonen aan dat het voorgestelde TRL-ontwerp consequent beter presteert dan bestaande baselines, waaronder:

• Markov/Non-Markov Ontwerpen (TMDP/NMDP): Ontwerpen die de behandeling dagelijks wisselen.
• Switchback Ontwerpen: Varianten voorgesteld door Hu & Wager (HW), Bojinov et al. (BSZ), Xiong et al. (XCT) en Wen et al. (WSY).

Belangrijkste bevindingen zijn onder meer:

• TRL bereikt de laagste Mean Squared Error (MSE) en de kortste betrouwbaarheidsintervallen in de meerderheid van de settings.
• In omgevingen met positieve correlatie in uitkomsten (real-data simulator), presteren ontwerpen die dagelijks wisselen (TMDP/NMDP) aanzienlijk slechter, terwijl TRL effectief adapteert.
• Hoewel switchback-ontwerpen de bias verminderen vergeleken met dagelijkse wisseling, bereikt TRL nog steeds lagere MSE's door historische informatie beter te benutten om de allocatiestrategie te optimaliseren.

Betekenis en Claims
De auteurs stellen dat hun voorstel een significante vooruitgang vormt in het experimenteel ontwerp voor tijdreeksgegevens door:

• Carryover-effecten te beheersen: Het effectief beheren van temporele afhankelijkheden en vertraagde effecten zonder aan te nemen dat deze na een vaste periode verdwijnen.
• Aannames te minimaliseren: Het elimineren van de noodzaak voor specifieke aannames over het datagenererende proces (zoals Markoviaanse eigenschappen of lineariteit) die vereist zijn door eerdere optimalisatiemethoden.
• Empirische Winsten: Het behalen van substantiële verbeteringen in de nauwkeurigheid van de schatting (MSE) van de ATE, wat cruciaal is voor het detecteren van kleine behandelingseffecten (vaak 0,5%–2% in industrieën zoals ridesharing) binnen beperkte experimentele duurperiodes.

De auteurs positioneren dit werk als een brug tussen moderne deep learning architecturen (Transformers) en causale inferentie, waarbij computationele kracht wordt ingezet om complexe ontwerpproblemen op te lossen die voorheen onhandelbaar waren onder restrictieve statistische aannames.