Résumé Technique : Estimation des Effets de Traitement sous Nonstationnarité via l'Estimateur de Gradient de Politique Tronqué

1. Énoncé du Problème

Les expériences randomisées (tests A/B) sont des outils standards pour évaluer les interventions dans des systèmes dynamiques tels que les plateformes de recommandation, les places de marché et la santé numérique. Cependant, dans ces environnements, les interventions induisent souvent des effets de report (ou interférence temporelle), où une action à l'instant $t$ influence les états du système et les résultats à des instants futurs $t' > t$. Cela viole l'hypothèse standard d'indépendance au niveau de l'unité.

Le défi est exacerbé par la nonstationnarité : la dynamique du système (noyaux de transition et distributions de récompenses) varie au fil du temps en raison de facteurs tels que l'évolution des préférences des utilisateurs, les tendances saisonnières ou les chocs externes. Dans ces contextes markoviens nonstationnaires, les approches d'estimation existantes font face à des limitations significatives :

• Les estimateurs naïfs (ex: Différence de Moyennes) ignorent les dépendances temporelles, entraînant un biais substantiel.
• Les méthodes d'Évaluation Hors-Politique (OPE) stationnaires (ex: Différences de Q ou estimateurs DQ) supposent un environnement stationnaire. Appliquées à des données nonstationnaires, elles souffrent d'un biais et d'une variance élevés car elles reposent sur des hypothèses (ex: observabilité stationnaire, trajectoires multiples indépendantes) qui ne se vérifient pas.
• Les designs expérimentaux complexes (ex: expériences de type switchback) peuvent atténuer l'interférence mais sont difficiles à mettre en œuvre et nécessitent un réglage minutieux de la longueur des intervalles.

Le problème central abordé est l'estimation de l'Effet Moyen Global de Traitement (GATE) à partir d'une trajectoire unique d'un système nonstationnaire sous une politique de randomisation de Bernoulli, sans nécessiter la connaissance de l'espace d'états ou de multiples exécutions indépendantes.

2. Méthodologie : L'Estimateur de Gradient de Politique Tronqué (TPG)

Les auteurs proposent l'estimateur de Gradient de Politique Tronqué (TPG), qui modifie l'approche standard de la Différence de Moyennes (DM) en agrégeant les résultats sur un horizon court et fixe $k$ plutôt qu'en utilisant des récompenses instantanées.

2.1 Cadre Formel

Le système est modélisé comme un processus de décision markovien (MDP) nonstationnaire avec un horizon fini $T$.

• État/Action : $X_t \in \mathcal{X}$ (état), $Z_t \in \{0, 1\}$ (contrôle/traitement).
• Dynamique : Les transitions sont régies par des noyaux dépendants du temps $P^t_z$. Le système satisfait une hypothèse de temps de mélange (Hypothèse 1), où l'influence des actions passées décroît exponentiellement à un taux $\gamma \in (0, 1)$.
• Cible : Le GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$, où $\pi_1$ et $\pi_0$ sont les politiques "toujours traitement" et "toujours contrôle".
• Données : Une trajectoire unique générée sous une politique de randomisation de Bernoulli $\pi_{1/2}$.

2.2 L'Estimateur

L'estimateur TPG $\hat{\tau}_k$ est défini par :
$$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$$
Lorsque $k=0$, cela se réduit à l'estimateur DM naïf. Pour $k \ge 1$, il somme les récompenses sur une fenêtre de taille $k$.

2.3 Interprétation Théorique

L'article établit que $\hat{\tau}_k$ est un estimateur sans biais d'un gradient de politique tronqué $\nabla J_k(1/2)$.

• Vue par le Gradient de Politique : Le gradient de politique standard $\nabla J(1/2)$ est une approximation de Taylor du premier ordre du GATE. Dans les contextes nonstationnaires, l'estimateur de gradient complet (où $k=T$) souffre d'un biais qui croît de manière quadratique avec $T$ ($O(T^2)$).
• Troncation : En tronquant l'horizon à $k$, l'estimateur approxime le gradient d'une politique hypothétique qui bascule vers le traitement ou le contrôle uniquement pour les $k$ dernières étapes.
• Décomposition du Biais : Le biais de $\hat{\tau}_k$ par rapport au véritable GATE se décompose en :
  1. Erreur de Taylor : L'erreur provenant de l'approximation du GATE par le gradient. Elle croît en $O(k^2)$ (bien mieux que $O(T^2)$).
  2. Biais de Mélange : L'erreur provenant de la différence entre la valeur de la politique tronquée et le véritable GATE. Elle décroît géométriquement avec $k$ grâce à l'hypothèse de temps de mélange.

2.4 Estimation de la Variance et Inférence

L'article dérive un Théorème Central Limite (TCL) pour l'estimateur TPG sous nonstationnarité. Pour soutenir l'inférence statistique, les auteurs développent un estimateur de variance HAC (Hétéroscédasticité et Autocorrélation Consistante) nonstationnaire cohérent. Cet estimateur permet la construction d'intervalles de confiance à partir de données de trajectoire unique, surmontant la "malédiction de l'horizon" qui frappe les méthodes d'OPE standard dans les environnements nonstationnaires.

3. Contributions Clés

1. Nouvel Estimateur : Introduction de l'estimateur TPG, qui équilibre biais et variance en tronquant l'horizon de récompense. Il ne nécessite aucune observabilité de l'état et fonctionne avec une trajectoire unique.
2. Garanties Théoriques :
   • Compromis Biais-Variance : Le Théorème 1 fournit des bornes montrant que pour $k \ge 1$, l'estimateur TPG atteint un compromis favorable. Le biais est contrôlé par le taux de mélange $\gamma$ et la déviation du noyau $\delta$, tandis que la variance est bornée et ne diverge pas avec $T$ (contrairement à l'estimateur non tronqué).
   • Normalité Asymptotique : Le Théorème 2 établit le TCL pour $\hat{\tau}_k$ et prouve la cohérence de l'estimateur de variance HAC proposé sous des conditions de régularité modérées (stabilité de la moyenne Cesàro-$L^2$).
3. Heuristique Pratique : Un algorithme fondé sur les données (Annexe B) est proposé pour sélectionner la taille de la troncature $k$ après l'expérience en surveillant la stabilité de l'estimation par rapport à sa variance.
4. Validation Empirique : La méthode est validée sur deux études de cas réalistes :
   • Un simulateur de file d'attente basé sur des données d'arrivée de patients nonstationnaires.
   • Un simulateur de transport de type ride-sharing à New York utilisant des données réelles de taxis.

4. Résultats

• MDP à deux états : Dans les simulations, l'estimateur DM naïf ($k=0$) présentait une Erreur Absolue Moyenne (MAE) d'environ 50 %. Le gradient de politique non tronqué ($k=T$) présentait des signes incorrects et une variance massive. L'estimateur TPG avec un petit $k$ (ex: $k=1$ à $5$) a considérablement réduit le biais tout en maintenant une faible variance.
• Étude de Cas File d'Attente : Comparé au DQ stationnaire, au LSTD-OPE et aux estimateurs de switchback corrigés du biais, l'estimateur TPG (avec $k=4$ ou $5$) s'est rapproché de la vérité terrain du GATE. L'estimateur de variance HAC proposé a atteint une couverture proche de la couverture nominale de 95 %.
• Étude de Cas Ride-Sharing : Dans un environnement complexe et non stationnaire avec des données réelles de NYC, l'estimateur TPG a systématiquement réduit le biais à travers divers intervalles de switchback (10 à 60 minutes). Il a surpassé les estimateurs de switchback de pointe (qui étaient sensibles au choix de l'intervalle) et les méthodes d'OPE stationnaires (qui échouaient à apprendre des valeurs Q fiables). L'estimateur TPG avec $k=2$ ou $3$ a produit des estimations très proches du véritable GATE.

5. Signification et Revendications

L'article affirme que l'estimateur TPG offre une solution simple, pratique et théoriquement fondée pour l'inférence causale dans les systèmes dynamiques nonstationnaires. Sa principale importance réside dans :

• Robustesse : Il atteint un équilibre favorable entre biais et variance dans les contextes où les méthodes existantes (DM naïf, OPE stationnaire) échouent.
• Faisabilité : Il opère sur des données de trajectoire unique sans nécessiter la connaissance de l'espace d'états, ce qui le rend applicable aux plateformes réelles où l'observabilité totale de l'état est souvent impossible.
• Inférence : Il fournit le premier estimateur de variance cohérent et le premier TCL pour l'estimation de l'effet de traitement dans les contextes markoviens nonstationnaires à trajectoire unique, permettant une inférence statistique valide.
• Flexibilité : Il peut être utilisé comme outil de post-traitement pour améliorer les estimations issues de tests A/B de Bernoulli standards ou de designs plus complexes comme les switchbacks.

Les auteurs concluent que la perspective du gradient de politique, spécifiquement via la troncature, fournit un cadre puissant pour concevoir des estimateurs efficaces sous des dynamiques nonstationnaires complexes.