Designing Time Series Experiments in A/B Testing with Transformer Reinforcement Learning

Résumé Technique : Conception d'expériences de séries temporelles en A/B Testing avec l'Apprentissage par Renforcement par Transformer

Énoncé du Problème
Le papier traite du défi de la conception de tests A/B pour les données de séries temporelles, un scénario courant dans les plateformes technologiques modernes (ex. : VTC, commerce électronique) où les politiques sont assignées séquentiellement au fil du temps. Contrairement aux tests A/B standards où les unités sont indépendantes, les expériences de séries temporelles souffrent d'effets de report (carryover effects) : une politique implémentée à l'instant $t$ influence les résultats non seulement à $t$, mais aussi aux instants futurs, violant ainsi l'hypothèse de stabilité de l'unité de traitement (SUTVA).

Les conceptions expérimentales existantes pour ces contextes font face à deux limitations principales :

1. Utilisation incomplète de l'historique : La plupart des stratégies actuelles (ex. : conceptions markoviennes, conceptions statiques, conceptions à mémoire courte ou conceptions de type switchback) conditionnent l'allocation du traitement uniquement sur l'observation actuelle, l'action initiale, un historique limité ou l'indice temporel. Elles ne parviennent pas à exploiter le contexte historique complet.
2. Hypothèses restrictives : Pour optimiser la conception (spécifiquement pour minimiser l'erreur quadratique moyenne, ou MSE, de l'estimateur de l'effet de traitement moyen, ATE), les méthodes existantes reposent souvent sur de fortes hypothèses concernant le processus générateur de données, telles que des dynamiques markoviennes, des modèles de séries temporelles paramétriques spécifiques (ex. : ARMA) ou des contraintes sur la durée des effets de report.

Le papier soutient que le fait de ne pas se conditionner sur l'historique complet conduit à des conceptions sous-optimales en raison des dépendances dynamiques inhérentes aux expériences de séries temporelles.

Méthodologie
Les auteurs proposent un cadre d'Apprentissage par Renforcement par Transformer (Transformer Reinforcement Learning - TRL) pour traiter simultanément les limites de l'utilisation de l'historique et des hypothèses de modélisation. La méthodologie se compose de deux composantes fondamentales :

1. Fondement Théorique (Théorème d'Impossibilité) :
   Le papier établit un théorème d'impossibilité prouvant que pour la classe des estimateurs doublesment robustes, toute stratégie d'allocation de traitement qui ne dépend pas de l'intégralité de l'historique passé (observations, actions et résultats) ne peut être optimale. Cela justifie théoriquement la nécessité d'un modèle capable de traiter la séquence complète de données.

2. Algorithme d'Apprentissage par Renforcement par Transformer :

   • Définition de l'état : L'état $S_t$ à l'instant $t$ est défini comme l'historique complet $\{O_1, A_1, Y_1, \dots, O_t\}$, capturant toutes les dépendances temporelles.
   • Action : L'action $A_t \in \{-1, 1\}$ détermine si l'on implémente la politique de contrôle ou de traitement.
   • Récompense : La récompense $R_t$ est conçue pour minimiser directement la MSE de l'estimateur de l'ATE. Elle est définie comme l'écart quadratique négatif entre l'estimateur actuel de l'ATE (calculé à partir des données jusqu'à l'instant $t$) et un estimateur de référence par Monte Carlo ($\widehat{ATE}_{mc}$), pondéré par un facteur $\alpha^{T-t}$.
   • Architecture : Les auteurs utilisent un encodeur Transformer pour résumer le contexte historique complet en représentations d'état. Ces états sont ensuite injectés dans un agent Double Deep Q-Network (DDQN). Le Transformer est choisi spécifiquement pour sa capacité à gérer des entrées de longueurs variables et à capturer des dépendances à long terme, là où les réseaux de neurones récurrents (RNN) peuvent rencontrer des difficultés.
   • Optimisation : L'agent de RL apprend la politique optimale $\pi$ qui minimise la récompense cumulée attendue (ce qui correspond à la minimisation de la MSE) en interagissant avec un environnement de simulation. Cette approche ne nécessite pas que les données satisfassent des hypothèses markoviennes ou des structures paramétriques spécifiques.

Contributions Clés

1. Résultat d'Impossibilité Théorique : Le papier fournit une preuve formelle que l'allocation de traitement optimale dans les expériences de séries temporelles (sous estimation doublement robuste) nécessite de se conditionner sur l'intégralité de l'historique passé, rendant les conceptions actuelles qui reposent sur un historique partiel théoriquement sous-optimales.
2. Nouvel Algorithme (TRL) : Les auteurs introduisent une approche de RL basée sur les Transformers qui :
   • Conditionne l'allocation sur l'intégralité de l'historique des données.
   • Optimise directement la MSE de l'estimateur de l'ATE sans dépendre d'hypothèses de modélisation restrictives (ex. : MDP ou modèles ARMA).
3. Validation Empirique : La proposition est évaluée à travers trois environnements distincts :
   • Des données synthétiques avec des variances et des structures de transition variables.
   • Un simulateur basé sur des données réelles construit à partir d'un jeu de données A/A d'une entreprise de VTC via le bootstrap sauvage (wild bootstrap).
   • Un simulateur de répartition physique disponible publiquement pour le secteur des VTC.

Résultats
Les évaluations empiriques sur 400 réplications de simulation démontrent que la conception TRL proposée surpasse systématiquement les bases de comparaison existantes, notamment :

• Conceptions Markoviennes/Non-Markoviennes (TMDP/NMDP) : Des conceptions qui alternent les traitements quotidiennement.
• Conceptions de type Switchback : Variantes proposées par Hu & Wager (HW), Bojinov et al. (BSZ), Xiong et al. (XCT) et Wen et al. (WSY).

Principales conclusions :

• Le TRL atteint la MSE la plus faible et les intervalles de confiance les plus courts dans la majorité des configurations.
• Dans les environnements présentant une corrélation positive dans les résultats (simulateur de données réelles), les conceptions qui alternent quotidiennement (TMDP/NMDP) sont nettement moins performantes, tandis que le TRL s'adapte efficacement.
• Bien que les conceptions de type switchback réduisent le biais par rapport à une alternance quotidienne, le TRL atteint tout de même des MSE plus faibles en exploitant mieux l'information historique pour optimiser la stratégie d'allocation.

Signification et Revendications
Les auteurs affirment que leur proposition représente une avancée significative dans la conception expérimentale pour les données de séries temporelles en :

• Gérant les effets de report : Gérer efficacement les dépendances temporelles et les effets différés sans supposer qu'ils disparaissent après une période fixe.
• Minimisant les hypothèses : Supprimant le besoin d'hypothèses spécifiques sur le processus générateur de données (comme la markovianité ou la linéarité) requises par les précédentes méthodes d'optimisation.
• Obtenant des gains empiriques : Atteignant des améliorations substantielles de la précision de l'estimation (MSE) de l'ATE, ce qui est crucial pour détecter de faibles effets de traitement (souvent de l'ordre de 0,5 % à 2 % dans des secteurs comme le VTC) au sein de durées expérimentales limitées.

Les auteurs positionnent ce travail comme un pont entre les architectures modernes de deep learning (Transformers) et l'inférence causale, utilisant la puissance de calcul pour résoudre des problèmes de conception complexes qui étaient auparavant insolubles sous des hypothèses statistiques restrictives.