Résumé technique : Conception de la politique de journalisation pour l'évaluation hors politique

Énoncé du problème

L'évaluation hors politique (OPE) est un mécanisme critique pour estimer la valeur d'une politique de traitement cible (par exemple, un nouveau système de recommandation) en utilisant des données collectées par une politique de « journalisation » différente. Bien que l'OPE permette des expérimentations à haut risque sans déploiement en direct, sa précision dépend fortement de la politique de journalisation utilisée pour générer les données. La littérature existante traite souvent la politique de journalisation comme une politique de comportement fixe et potentiellement inconnue, se concentrant plutôt sur l'amélioration des estimateurs (par exemple, la pondération par propension inverse, la double robustesse). Cependant, en pratique, le choix de la politique de journalisation affecte considérablement le biais et la variance des estimations OPE, en particulier dans les régimes à échantillon fini avec de grands espaces d'actions et des récompenses rares.

Le problème central abordé est de concevoir la politique de journalisation (spécifiquement, les propensions d'action $\pi_l(a|x)$) afin de minimiser l'erreur quadratique moyenne (MSE) d'une estimation par pondération par propension inverse (IPW) pour une politique cible donnée $\pi_t$. Cette conception doit naviguer dans un compromis fondamental entre récompense et couverture : concentrer la masse de probabilité sur les actions à haute récompense réduit la variance liée à la réalisation de la récompense, tandis que garantir une couverture sur les actions que la politique cible pourrait sélectionner est nécessaire pour contrôler le biais et la variance découlant de l'échantillonnage des actions.

Méthodologie

Les auteurs formulent le problème dans un cadre de bandit contextuel (processus de décision de Markov sans dynamique de transition) où les contextes $X$ arrivent selon une distribution $p_X$, et les actions $A$ sont sélectionnées par une politique de journalisation $\pi_l$. La récompense $R$ est binaire, tirée d'une loi $Bernoulli(\mu(a, x))$.

1. Fonction objectif

L'objectif principal est de minimiser la MSE de l'estimateur IPW $\hat{V}_{IPW}(\pi_t | \pi_l)$ :
$$MSE = E[(\hat{V}_{IPW} - V(\pi_t))^2] = Biais^2 + Variance$$
Les auteurs dérivent explicitement la décomposition biais-variance comme une fonction de la politique de journalisation $\pi_l$. Ils établissent que, bien que le recouvrement (assurer $\pi_l(a|x) > 0$ pour tout $a$ tel que $\pi_t(a|x) > 0$) élimine le biais, il ne minimise pas nécessairement la MSE, en particulier lorsque les tailles d'échantillon sont faibles.

2. Régimes informationnels

L'article analyse les politiques de journalisation optimales à travers un spectre de contraintes informationnelles, catégorisées par la connaissance de la politique cible ($\pi_t$) et de la distribution de récompense ($\mu$) :

• $\pi_t$ inconnu et $\mu$ inconnu : En l'absence d'information, la stratégie minimax optimale est l'aléatoire uniforme. Cela correspond à l'intuition selon laquelle une a priori non informatif est optimal lorsque l'estimande est inconnu.
• $\mu$ connu, $\pi_t$ inconnu : La politique optimale alloue une masse proportionnelle à $\frac{\mu(a,x)}{c + \mu(a,x)^2}$, priorisant les actions à haute récompense tout en maintenant une marge de sécurité.
• $\mu$ inconnu, $\pi_t$ connu : La stratégie optimale consiste à journaliser les données directement sous la politique cible $\pi_t$ elle-même.
• $\pi_t$ connu et $\mu$ connu : Il s'agit du cas idéal. La politique de journalisation optimale suit une allocation de Neyman dirigée vers la politique cible :
  $$\pi_l^*(a|x) \propto \pi_t(a|x)\sqrt{\mu(a,x)}$$
  Cette solution pondère les actions par le produit de la masse de la politique cible et de la racine carrée de la probabilité de récompense.

3. Cadres intermédiaires et contraintes pratiques

Reconnaissant que l'information parfaite est rarement disponible, l'article étend le cadre à des cadres intermédiaires :

• Distribution sur les politiques cibles : Lorsque la cible exacte est inconnue mais qu'une distribution $Pr(\pi_t)$ est connue, la politique de journalisation optimale vise un « pseudo-cible du second moment » $\tilde{\pi}_t(a|x) = \sqrt{E[\pi_t(a|x)^2]}$.
• Estimations de récompense bruitées : Lorsque $\mu$ est estimé via un modèle $\hat{\mu}$ avec du bruit, l'insertion directe de $\hat{\mu}$ gonfle la variance. Les auteurs proposent un rétrécissement postérieur, réduisant les estimations bruitées vers une moyenne par contexte. Sous un prior hiérarchique gaussien, le poids de rétrécissement optimal est dérivé, conduisant à une interprétation « Bayésienne empirique » où le paramètre de rétrécissement est estimé à partir de données retenues.
• Classes soft-greedy : Pour les cadres où les optimums théoriques sont irréalisables en raison de contraintes d'ingénierie ou organisationnelles, l'article propose trois classes de politiques indexées par un paramètre de « gourmandise » : Top-k, Softmax et Power-normalized. Ces classes interpolent entre l'aléatoire uniforme et la sélection déterministe gourmande, permettant aux entreprises de équilibrer le compromis récompense-couverture via un seul hyperparamètre.

Résultats clés

1. Optimalité de la journalisation modifiée : Dans le cas où $\pi_t$ et $\mu$ sont tous deux connus, la politique de journalisation optimale $\pi_l^*$ (allocation de Neyman) produit une MSE inférieure pour l'estimation IPW par rapport à l'exécution directe de la politique cible $\pi_t$ (évaluation en politique). De plus, $\pi_l^*$ accumule une récompense attendue plus élevée pendant la période de journalisation que $\pi_t$ elle-même. Cela démontre qu'une OPE optimisée peut simultanément améliorer la précision statistique et l'expérience utilisateur par rapport aux tests A/B en direct.
2. Compromis récompense-couverture : L'article formalise que la journalisation optimale est rarement identique à la politique cible. Même si la politique cible est connue, la politique de journalisation doit équilibrer l'échantillonnage d'articles à haute récompense (pour réduire la variance de la récompense) et l'échantillonnage d'articles que la politique cible sélectionne (pour réduire la variance d'échantillonnage).
3. Impact du bruit : L'utilisation de prédictions de récompense bruitées sans rétrécissement conduit à des politiques de journalisation sous-optimales qui peuvent performer moins bien que l'aléatoire uniforme. Le rétrécissement postérieur atténue considérablement ce risque, permettant souvent à la journalisation optimisée de surpasser l'évaluation en politique même avec des modèles de récompense imparfaits.
4. Performance des heuristiques : Les simulations montrent que des politiques « soft-greedy » simples (spécifiquement Top-k et Power-normalized) peuvent approcher la MSE de l'optimum théorique. Dans les régimes à petit échantillon, tronquer intentionnellement le support d'action (induisant un léger biais) peut réduire la MSE globale par rapport aux politiques imposant un recouvrement strict.

Importance et contributions

L'article prétend fournir un cadre unificateur pour la conception de politiques de journalisation, allant au-delà des heuristiques ad hoc ou des contraintes de sécurité uniquement. Son importance réside dans :

• Fondement théorique : Il relie la conception de politiques de journalisation à des problèmes classiques de conception expérimentale optimale (allocation de Neyman) et d'échantillonnage d'importance, fournissant des solutions optimales traitables sous diverses contraintes informationnelles.
• Conseils actionnables : Il offre des stratégies concrètes pour les entreprises choisissant parmi des systèmes candidats, en particulier lorsque la politique cible est inconnue ou que les estimations de récompense sont bruitées. Les méthodes de rétrécissement proposées et les classes soft-greedy fournissent des outils pratiques pour la mise en œuvre.
• Bénéfice dual : Il remet en question l'idée que la collecte de données pour l'évaluation doit sacrifier l'expérience utilisateur. Les résultats montrent que les politiques de journalisation théoriquement optimales peuvent produire à la fois des évaluations hors ligne plus précises et des récompenses immédiates plus élevées que les politiques évaluées.
• Clarification des compromis : En caractérisant explicitement le compromis récompense-couverture et la décomposition biais-variance dans le contexte de la conception de journalisation, l'article clarifie quand et pourquoi différentes stratégies de journalisation (par exemple, uniforme vs gourmande vs Neyman) sont appropriées.

Les auteurs concluent que, bien que leurs résultats théoriques reposent sur des hypothèses (telles que l'utilisation de l'IPW et un faible recouvrement), ils fournissent une base rationnelle pour que les entreprises améliorent leurs efforts d'expérimentation hors ligne, remplaçant les replis conservateurs comme l'aléatoire uniforme par des stratégies de journalisation pilotées par les données et théoriquement optimisées.