Résumé technique : Synthétiser les preuves : La mise en commun des données comme outil de sélection de traitement dans les expériences en ligne

1. Énoncé du problème

Les essais contrôlés randomisés (ECR) constituent la référence en matière d'inférence causale pour les applications commerciales, particulièrement au sein des plateformes en ligne. Cependant, l'augmentation de l'échelle de l'expérimentation — où des entreprises comme Microsoft, Google et Booking gèrent des milliers d'expériences simultanées — a créé un problème de « rareté des données ». Bien que la base totale d'utilisateurs soit large, le trafic alloué à une expérience donnée est souvent contraint par des limites opérationnelles ou de gestion des risques.

Cette rareté entraîne une variance élevée dans les estimations de l'Effet de Traitement Moyen (ATE), ce qui rend difficile la distinction entre les politiques efficaces et les politiques inefficaces. Les méthodes traditionnelles de « Déploiement de Traitement Individuel » (ITR), qui analysent chaque expérience de manière isolée via la différence de moyennes ou les moindres carrés ordinaires (MCO/OLS), souffrent d'un faible pouvoir statistique lorsque les tailles d'échantillon sont réduites. Ce problème est exacerbé par l'expérimentation ciblée (analyse de sous-groupes) et les conceptions orthogonales où certaines combinaisons de traitements peuvent être sous-représentées. La question de recherche centrale est la suivante : Comment les plateformes peuvent-elles améliorer la sélection de traitements et les décisions de déploiement de politiques lorsqu'elles sont confrontées à un grand nombre d'expériences avec des données limitées par expérience ?

2. Méthodologie : Le cadre DPTR

Les auteurs proposent le cadre de Déploiement de Traitement par Mise en Commun des Données (DPTR). Contrairement à l'ITR, qui traite les expériences indépendamment, le DPTR agrège les informations à travers de multiples expériences pour améliorer la prise de décision.

Mécanisme central

Le DPTR utilise un estimateur de contraction (shrinkage) qui combine l'estimateur d'une expérience individuelle ($\hat{\tau}_k$) avec un estimateur « ancre » ($\hat{\tau}_0$), défini comme la moyenne de tous les estimateurs individuels. Le nouvel estimateur $\bar{\tau}_k$ est une moyenne pondérée :
$$\bar{\tau}_k = \frac{N}{N + \beta} \hat{\tau}_k + \frac{\beta}{N + \beta} \hat{\tau}_0$$
où $N$ est la taille de l'échantillon et $\beta \geq 0$ est un paramètre d'échelle piloté par les données.

Conception orientée vers la décision

Une distinction critique du DPTR est qu'il est orienté vers la décision (decision-aware). La contraction traditionnelle vise souvent à minimiser l'erreur quadratique moyenne (MSE). En revanche, le DPTR optimise la récompense de déploiement (le bénéfice attendu de la mise en œuvre des politiques). Le paramètre d'échelle $\beta$ est explicitement dérivé pour maximiser la récompense attendue de la décision de déploiement, en incorporant le niveau de signification ($\alpha$) et le seuil de mise en œuvre de la politique. Cela se traduit par des « limites de contraction » (shrunken decision bounds) plutôt que par des intervalles de confiance standards.

Scénarios de mise en œuvre

Le cadre est conçu pour être flexible à travers quatre scénarios d'expérimentation distincts :

1. Expériences non chevauchantes avec spécifications linéaires : Utilise la différence de moyennes (DM) ou les MCO (OLS). Le paramètre d'échelle $\hat{\beta}$ est dérivé du rapport entre la variance intra-expérience et l'hétérogénéité inter-expérience.
2. Expériences non chevauchantes avec spécifications non linéaires : Utilise l'apprentissage automatique double (DML) et le cross-fitting pour gérer les modèles linéaires partiels.
3. Expériences chevauchantes avec spécifications linéaires : Gère les cas où les utilisateurs sont exposés simultanément à plusieurs traitements en utilisant les MCO sur le vecteur de traitement conjoint.
4. Expériences chevauchantes avec spécifications non linéaires : Étend l'approche DML aux structures de trafic chevauchantes.

Dans tous les cas, le cadre fournit des formules pour un paramètre d'échelle piloté par les données ($\hat{\beta}$) qui peut être partagé entre les expériences ou personnalisé ($\hat{\beta}_k$) en fonction des informations sur les covariables.

3. Principales contributions

L'article présente trois contributions majeures :

1. Un cadre général de mise en commun des données : Les auteurs introduisent un nouveau cadre qui intègre les données de plusieurs expériences pour améliorer la sélection de traitements. Il est explicitement orienté vers la décision, alignant l'estimation sur les décisions de déploiement en aval en incorporant les niveaux de signification dans la procédure de contraction. Le cadre est applicable tant aux scénarios de trafic non chevauchants qu'à chevauchants, ainsi qu'aux spécifications de modèles linéaires et non linéaires.
2. Garanties théoriques : Sous des expériences non chevauchantes avec des spécifications linéaires, les auteurs fournissent des preuves théoriques formelles montrant que le DPTR améliore faiblement l'ITR et l'améliore strictement dans le « régime d'ancre positive » (où l'ATE attendu à travers les expériences est positif). Ils dérivent le paramètre d'échelle optimal $\beta^*$ qui maximise la récompense attendue et démontrent qu'un estimateur cohérent de $\beta$ piloté par les données existe.
3. Validation empirique : Le cadre est validé par :
   • Simulations synthétiques : Démontrant la robustesse face à diverses tailles d'échantillons, nombres d'expériences, niveaux de bruit et erreurs de spécification de modèle (linéaire vs non linéaire).
   • Applications en conditions réelles : Application à deux ensembles de données : (a) les données de ciblage publicitaire de Criteo (non chevauchantes) et (b) les données de plateforme de vidéos courtes de Ye et al. (2025) (chevauchantes).

4. Résultats

Expériences synthétiques

• Métriques de performance : Le DPTR surpasse systématiquement l'ITR et les références bayésiennes en termes de ratio d'optimalité (OR) et de valeur de la mise en commun des données (VDP).
• Compromis (Trade-offs) : Le DPTR améliore considérablement le Rappel (identification des ATE positifs) par rapport à l'ITR, souvent au prix d'une Spécificité et d'une Précision légèrement inférieures. Ce compromis est intentionnel, car le cadre donne la priorité à la maximisation de la récompense totale plutôt qu'à la minimisation de l'erreur de classification.
• Sensibilité : Les bénéfices du DPTR sont plus marqués lorsque :
  • Le nombre d'expériences ($K$) est élevé.
  • La taille de l'échantillon par expérience ($N$) est faible.
  • L'ATE attendu ($\tau_0$) est faible.
• Robustesse : Le DPTR reste efficace même en cas de mauvaise spécification de modèle (par exemple, utiliser DM lorsqu'un modèle est réellement non linéaire), alors que la performance de l'ITR se dégrade fortement dans de tels scénarios.

Applications en conditions réelles

• Jeu de données Criteo (Non chevauchant) : Le DPTR a nettement surpassé l'ITR et les méthodes bayésiennes dans la sélection de recommandations personnalisées pour des sous-groupes d'utilisateurs, particulièrement lorsque les tailles d'échantillon étaient faibles. La méthode bayésienne a performé de manière similaire à l'ITR dans ce contexte car les variances individuelles des groupes étaient faibles, entraînant une contraction négligeable, tandis que l'utilisation de la variance agrégée par le DPTR a permis une mise en commun efficace.
• Plateforme de vidéos courtes (Chevauchant) : Dans un contexte de trois expériences chevauchantes, le DPTR a systématiquement produit des valeurs d'OR plus élevées que l'ITR à travers diverses méthodes d'estimation (DM, OLS, DML) et tailles d'échantillon. Notamment, le DPTR a amélioré la performance du DML, qui souffre typiquement d'une variance élevée dans les petits échantillons, en réduisant efficacement cette variance grâce à la mise en commun.

5. Signification et affirmations

L'article affirme que le DPTR fournit une solution scalable et pratique pour les plateformes en ligne afin de mieux exploiter les données expérimentales dans des environnements commerciaux complexes. Sa signification réside dans :

• Réponse à la rareté des données : Il offre un moyen fondé pour améliorer la prise de décision lorsque l'allocation du trafic est limitée, une contrainte courante dans l'A/B testing moderne.
• Optimisation centrée sur la décision : En déplaçant l'objectif de la pure précision d'estimation (MSE) vers la qualité de la décision (récompense), le DPTR aligne l'inférence statistique avec les objectifs commerciaux.
• Robustesse : Le cadre s'avère robuste face à la mauvaise spécification de modèle et aux conceptions expérimentales chevauchantes, qui sont prévalentes sur les plateformes réelles mais difficiles à traiter avec les méthodes traditionnelles.

Les auteurs notent modestement que la méthode est conçue pour des contextes comportant plusieurs expériences parallèles sans contraintes de capacité. Ils reconnaissent que dans des environnements avec des contraintes de capacité strictes (limitant le nombre de déploiements) ou des interactions de signe inverse fortes entre les traitements, la règle de déploiement non contrainte étudiée peut ne pas être optimale. Cependant, pour la grande majorité des scénarios d'expérimentation en ligne caractérisés par la rareté des données et des espaces de traitement de haute dimension, le DPTR offre une amélioration théoriquement fondée et empiriquement validée par rapport aux analyses isolées traditionnelles.