Robust Sequential Experimental Design for A/B Testing

Résumé technique : Conception expérimentale séquentielle robuste pour les tests A/B

Énoncé du problème
Les tests A/B sont une pierre angulaire de la prise de décision fondée sur les données dans le secteur technologique, pourtant l'affectation aléatoire indépendante standard souffre souvent de déséquilibres de covariables dans les échantillons finis, conduisant à une estimation inefficace de l'effet moyen du traitement (ATE). Bien que des conceptions expérimentales séquentielles aient été développées pour maintenir l'équilibre des covariables, les approches existantes se heurtent à deux limitations critiques :

1. Sensibilité au modèle : Elles reposent généralement sur des modèles linéaires correctement spécifiés avec des effets de traitement additifs et des distributions spécifiques de covariables. En pratique, les véritables processus générateurs de données contiennent souvent des composantes non linéaires inconnues, rendant ces conceptions sous-optimales ou biaisées.
2. Myopie et effets de report : De nombreuses conceptions séquentielles sont « myopes », optimisant uniquement le déséquilibre immédiat sans considérer comment les affectations actuelles influencent les états futurs des covariables. De plus, elles ignorent souvent les effets de report (où les traitements passés influencent les résultats futurs), qui sont prévalents dans des environnements dynamiques comme le covoiturage ou les expériences en séries temporelles.

Méthodologie
L'article propose un cadre unifié pour la Conception Séquentielle Robuste (RSD) qui traite de la mauvaise spécification du modèle et des effets de report à travers trois composantes principales :

1. Orthogonalisation pour la robustesse :
   Les auteurs dérivent une borne supérieure du risque quadratique moyen (MSE) dans le pire des cas pour l'estimateur de l'ATE sous un modèle de travail linéaire mal spécifié. En employant une technique d'orthogonalisation, ils décomposent le MSE en un terme de variance et un terme de biais résultant de la mauvaise spécification du modèle. Ils approximent la fonction d'erreur non linéaire inconnue en utilisant une représentation par tamis (sieve) et imposent des conditions d'orthogonalité pour dériver une borne supérieure qui ne dépend que de la conception et des fonctions de base connues, plutôt que des coefficients non linéaires spécifiques inconnus. Cela permet à la conception de se prémunir contre la mauvaise spécification du modèle sans avoir besoin de connaître la forme exacte de la non-linéarité.

2. Programmation dynamique (DP) pour l'allocation séquentielle :
   Pour optimiser la borne supérieure du MSE dérivée dans un contexte séquentiel, le problème est formulé comme une tâche de Programmation Dynamique (DP). L'état est défini par des statistiques résumées de faible dimension (mesures de déséquilibre) des covariables et des fonctions de base. La fonction de valeur représente le MSE futur attendu. Comme l'induction inverse exacte est computationnellement irréalisable pour des états de haute dimension, les auteurs approximent les fonctions de valeur en utilisant des réseaux de neurones profonds (DNN) entraînés via des simulations de déroulement (rollouts) synthétiques. Cela permet à l'algorithme de prendre des décisions d'allocation qui tiennent compte de l'historique complet des observations, atténuant ainsi l'aléa des échantillons finis.

3. Conception hiérarchique pour les environnements dynamiques :
   Pour les environnements présentant des effets de report (par exemple, des expériences quotidiennes avec plusieurs intervalles de temps), les auteurs proposent un schéma hiérarchique :

   • Niveau macro (entre jours) : Une approche DP optimise l'objectif au niveau du jour, traitant chaque jour comme une seule étape de décision.
   • Niveau micro (au sein du jour) : L'apprentissage par renforcement (RL), spécifiquement un algorithme acteur-critique, est utilisé pour déterminer les affectations de traitement optimales au sein d'une journée, maximisant l'opposé de la perte au niveau du jour.
     Cette décomposition permet à la méthode de gérer des dépendances temporelles complexes et de grands espaces d'états (par exemple, des centaines d'étapes de décision) qui sont intraitables pour la DP standard.

Contributions clés

• Robustesse face à la mauvaise spécification : Le cadre prend explicitement en compte les composantes non linéaires inconnues dans le processus générateur de données, offrant une garantie théorique sur le MSE dans le pire des cas de l'estimateur de l'ATE sans exiger une spécification correcte du modèle.
• Prise en compte des échantillons finis : Contrairement aux conceptions reposant sur des approximations d'échantillons larges (par exemple, l'allocation de Neyman), la méthode proposée utilise l'historique complet des données pour atténuer directement l'aléa des échantillons finis dans les distributions de covariables.
• Cadre unifié : L'approche couvre à la fois les contextes de bandits contextuels (sans report) et les environnements dynamiques (avec effets de report), offrant une méthodologie unique pour divers environnements expérimentaux.
• Évolutivité algorithmique : En combinant la DP avec des approximations par apprentissage profond et une structure hiérarchique DP-RL, la méthode s'adapte aux tailles et complexités expérimentales pratiques.

Résultats expérimentaux
Les auteurs évaluent la RSD proposée en utilisant des données synthétiques et des données réelles provenant d'une entreprise leader du covoiturage.

• Bandits contextuels : Dans les simulations avec des effets de traitement additifs et interactifs sous des processus générateurs de données non linéaires, la RSD atteint systématiquement le MSE le plus bas par rapport aux références (incluant la DP non robuste, les conceptions aléatoires, les conceptions à rebond et les conceptions à pièce biaisée). L'avantage est particulièrement prononcé dans les contextes de petits échantillons.
• Environnements dynamiques : Dans des environnements dynamiques avec des degrés variables de non-linéarité et des horizons temporels, la RSD surpasse les références de l'état de l'art telles que TMDP (MDP en séries temporelles) et NMDP. La méthode reste stable même lorsque le degré de mauvaise spécification du modèle augmente.
• Simulation réelle : En utilisant un environnement de simulation calibré sur des données réelles de covoiturage, la RSD démontre une performance supérieure aux méthodes existantes, confirmant son efficacité pratique.
• Efficacité : Sous une spécification correcte du modèle, la RSD n'entraîne qu'une perte d'efficacité minimale (environ 97–99 % d'efficacité relative) par rapport à une conception non robuste oracle, indiquant que la robustesse a un coût négligeable lorsque le modèle est correct.

Signification et affirmations
L'article prétend faire progresser la littérature sur la conception expérimentale en comblant le fossé entre les statistiques robustes et la prise de décision séquentielle. Il soutient que les conceptions séquentielles existantes sont intrinsèquement fragiles face à la mauvaise spécification du modèle et échouent souvent à prendre en compte l'impact à long terme des affectations actuelles sur les états futurs. En fournissant un cadre unifié qui est robuste, conscient des échantillons finis et polyvalent à travers les environnements statiques et dynamiques, les auteurs offrent une approche plus fiable pour les tests A/B dans des scénarios réels complexes où les hypothèses de modèles sont fréquemment violées. Le travail souligne que, bien que les tests A/B soient routiniers, la conception de ces expériences a souvent été négligée au profit des techniques d'estimation, et cet article vise à rectifier cela en améliorant le processus de génération de données lui-même.