Prior-Free Sample Size Design for Test-and-Roll Experiments

Résumé technique : Conception de la taille d'échantillon sans a priori pour les expériences test-and-roll

Formulation du problème
Ce papier aborde le problème de la conception de la taille d'échantillon pour les expériences « test-and-roll » menées au sein d'une population finie de taille $N$. Dans ce cadre, un décideur réalise d'abord un essai contrôlé randomisé (RCT) sur un sous-ensemble de $m$ unités (avec $m/2$ assignées au traitement et $m/2$ au groupe témoin). Sur la base des résultats observés, le décideur assigne les $N-m$ unités restantes au bras de traitement ayant mieux performé lors de l'expérience.

L'objectif est de maximiser le bien-être total attendu sur l'ensemble de la population, $E[\sum_{i=1}^N Y_i]$. Cela crée un compromis fondamental entre exploration et exploitation :

1. Coût de l'exploration : Augmenter $m$ améliore la précision de l'identification du traitement supérieur, mais impose des pertes de bien-être aux unités expérimentales, car la moitié sont inévitablement assignées au traitement inférieur a posteriori.
2. Risque d'exploitation : Réduire $m$ diminue la perte de bien-être immédiate sur les unités expérimentales, mais augmente le risque de prendre une décision de déploiement erronée, assignant ainsi le traitement inférieur à la plus grande population restante ($N-m$).

Le défi central réside dans le fait que les effets réels du traitement sont inconnus a priori. Le papier cherche une règle de conception qui soit sans a priori, évitant la sensibilité aux priors bayésiens subjectifs ou aux hyperparamètres arbitraires qui caractérisent les approches existantes basées sur le bien-être.

Méthodologie et critique des critères existants
Les auteurs analysent d'abord le critère standard de Regret Minimimax Absolu, qui sélectionne la taille d'échantillon $m$ pour minimiser le regret maximal par rapport à un oracle connaissant les effets réels du traitement.

• Limitation : Le papier démontre que ce critère conduit à des tailles d'échantillon expérimentales implausiblement faibles (par exemple, $m/N \approx 2,3\%$ pour $N=10\,000$).
• Mécanisme d'échec : L'adversaire dans le cadre du minimax absolu se concentre sur des valeurs de paramètres maximisant l'effet absolu du traitement ($|\tau|$). Dans de tels cas extrêmes, le coût de l'exploration ($m/2 \cdot |\tau|$) domine la fonction de regret, amenant le critère à pénaliser excessivement l'exploration et à réduire la taille d'échantillon à presque zéro.

Pour résoudre ce problème, les auteurs proposent la règle du Bénéfice Marginal au Cas Pire (WMB).

• Concept central : Au lieu de minimiser le regret total au cas pire, la règle WMB évalue le compromis à la marge. Elle compare le bénéfice marginal au cas pire d'ajouter une paire appariée supplémentaire à l'expérience au coût d'exploration marginal correspondant.
• Règle d'arrêt : L'expérimentation continue tant que le bénéfice marginal au cas pire d'une paire supplémentaire dépasse le coût marginal. La taille d'échantillon optimale $\hat{m}_{WMB}$ est le plus petit $m$ pair tel que le ratio de bénéfice marginal au cas pire $\eta(m, \mu_1, \mu_0)$ tombe à ou en dessous de 1.
• Définition :
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  où $\eta$ mesure la réduction des erreurs de déploiement attendues (unités sauvées) par unité de coût d'exploration ajouté.

Résultats clés

1. La référence de la règle du tiers :
   Le papier établit une référence simple, sans a priori, pour la taille d'échantillon optimale :
   $$\hat{m} \approx \frac{N}{3}$$
   Ce résultat tient sous deux conditions distinctes :

   • Résultats binaires (Bernoulli) : Par une approximation gaussienne, le critère WMB donne $\hat{m} \approx N/3$. Les auteurs montrent rigoureusement que le problème exact de Bernoulli nécessite d'exclure une « pathologie d'événement rare aux limites » (où un bras a une variance nulle et l'autre une probabilité de succès négligeable de l'ordre de $O(1/N)$). Dans ce cas pathologique, la taille d'échantillon optimale tend vers $N/2$. Cependant, pour les états intérieurs réguliers (où les effets de traitement sont non dégénérés), les paramètres les moins favorables se localisent près de la diagonale ($\mu_1 \approx \mu_0$), rendant l'approximation gaussienne valide et conduisant à la règle $N/3$.
   • Résultats gaussiens (variance connue) : Pour des résultats suivant une distribution gaussienne avec une variance commune connue, la référence $N/3$ apparaît exactement, sans approximation asymptotique ni besoin d'exclure les cas limites. La relaxation continue de la fonction de ratio marginal donne une solution sous forme fermée où le bénéfice marginal au cas pire est $\leq 1$ si et seulement si $m \geq N/3$.

2. Comportement de l'adversaire :
   Sous la règle WMB, l'adversaire au cas pire se comporte différemment de celui du regret minimax absolu. Au lieu de choisir des effets de traitement extrêmes pour maximiser le regret total, l'adversaire choisit des valeurs de paramètres maximisant le bénéfice marginal de la poursuite de l'expérimentation. Dans le régime intérieur, ces états les moins favorables se concentrent près de la diagonale ($\mu_1 \approx \mu_0$), là où la distinction entre les traitements est la plus difficile.

3. Validation numérique :
   Des études numériques confirment que pour de petites valeurs de $N$, les effets de limites peuvent pousser la taille d'échantillon vers $N/2$. À mesure que $N$ augmente, les paramètres les moins favorables s'éloignent de la limite, et la taille d'échantillon optimale se stabilise près de $N/3$.

Signification et contribution
Le papier prétend fournir un guide praticable et sans a priori pour la conception de la taille d'échantillon basée sur le bien-être.

• Praticabilité : La règle résultante ($m \approx N/3$) ne dépend que de la taille totale de la population $N$. Elle ne nécessite pas que le décideur spécifie des priors subjectifs, des variances a priori ou d'autres paramètres d'ajustement, qui sont souvent difficiles à justifier en pratique.
• Robustesse théorique : En passant d'une minimisation du regret total à une analyse du bénéfice marginal, le papier évite la « sur-pénalisation » de l'exploration inhérente aux critères standards de regret minimax.
• Focus sur le bien-être : Contrairement à l'analyse de puissance conventionnelle (qui contrôle les erreurs de type I/II pour les tests d'hypothèse), cette approche optimise directement l'objectif de bien-être de la population finie, équilibrant explicitement le coût de l'expérimentation contre le risque d'un déploiement sous-optimal.

Les auteurs concluent que la règle WMB offre une solution robuste au compromis exploration-exploitation dans les expériences test-and-roll sur population finie, fournissant une règle d'arrêt claire et théoriquement fondée, indépendante des croyances a priori subjectives.