Blending Proxy Metrics with a North Star

Résumé Technique : Fusion de Métriques de Proxy avec une Étoile Polaire (North Star)

Énoncé du Problème
Dans l'expérimentation numérique (tests A/B), les expérimentateurs sont fréquemment confrontés à un arbitrage entre précision et alignement avec les objectifs commerciaux à long terme. Les métriques « étoile polaire » (ex. : rétention client, revenus) mesurent directement le succès commercial mais sont souvent statistiquement peu sensibles aux interventions de produit, nécessitant des tailles d'échantillon prohibitives pour détecter des effets. À l'inverse, les métriques « proxy » (ex. : engagement utilisateur, clics) sont plus sensibles aux interventions et permettent des expériences plus rapides et plus petites, mais peuvent ne pas s'aligner parfaitement avec l'objectif commercial ultime.

Cela crée un dilemme pratique : quand les expérimentateurs doivent-ils se fier au proxy sensible, et quand doivent-ils se fier à l'étoile polaire bruitée ? Plus précisément, l'article répond à trois questions :

1. Doit-on s'appuyer sur les proxies même dans de grandes expériences peu fréquentes, dimensionnées pour détecter des effets sur la véritable étoile polaire ?
2. Comment prendre des décisions lorsque le proxy et l'étoile polaire produisent des signaux conflictuels ?
3. Comment la qualité d'une métrique de proxy influence-t-elle la conception optimale des programmes d'expérimentation (ex. : taille d'échantillon et fréquence) ?

Méthodologie
L'auteur propose un cadre de « fusion » (blending) optimal qui construit une métrique de décision comme une combinaison linéaire pondérée des effets de traitement estimés sur le proxy ($\hat{P}$) et sur l'étoile polaire ($\hat{Y}$). La statistique fusionnée est définie par :
$$\hat{Z}(A) = A^\top \hat{X} = a \hat{P} + (1-a) \hat{Y}$$
où $A = (a, 1-a)^\top$ représente les poids de fusion.

Le cœur de la méthodologie est la dérivation des poids optimaux $A^*$ qui maximisent les rendements attendus de la métrique de l'étoile polaire ($Y$) sous une règle de décision qui « lance » un traitement si $\hat{Z}(A)$ dépasse un seuil de signification.

• Cadre Théorique : L'article suppose que les vrais effets de traitement $X = (P, Y)$ suivent une distribution gaussienne de moyenne nulle et de covariance $\Sigma_X$. Les effets estimés $\hat{X}$ sont observés avec un bruit d'échantillonnage, modélisé par $\hat{X} | X \sim N(X, 2\Omega/n)$, où $\Omega$ est la variance d'échantillonnage au niveau de l'unité et $n$ est la taille de l'échantillon par bras.
• Poids Optimaux : Les poids optimaux $A^*$ sont dérivés en résolvant un problème d'optimisation sous contrainte pour maximiser les rendements attendus. La Proposition 1 fournit une approximation en forme close pour des expériences suffisamment grandes :
  $$\tilde{A} \propto (\Sigma_X + (1 + z^2)2\Omega/n)^{-1}\Gamma$$
  où $\Gamma = \text{Cov}(X, Y)$ et $z$ est la valeur critique pour le niveau de signification. Cette formule révèle que les poids agissent comme une régression linéaire pénalisée, où le terme de pénalité dépend du ratio entre la variance d'échantillonnage intra-expérience et la variance structurelle inter-expérience.
• Estimation : L'article décrit une procédure pour estimer ces poids à partir de données historiques d'expérimentation en estimant $\Sigma_X$ (en utilisant des méthodes non paramétriques, bayésiennes empiriques ou hiérarchiques) et $\Omega$, puis en appliquant l'estimateur par substitution (plug-in).
• Implications pour la Conception de Programme : L'analyse s'étend à la conception des programmes d'expérimentation. Elle démontre que le rendement moyen par unité d'allocation est décroissant par rapport à la taille de l'échantillon $n$. Par conséquent, si un proxy est de haute qualité (excellent rapport signal/bruit), les expérimentateurs devraient mener des expériences plus petites et plus fréquentes. Si le proxy est de faible qualité, ils devraient mener des expériences plus grandes et moins fréquentes pour s'appuyer davantage sur l'étoile polaire.

Résultats Clés

• Performance des Simulations : À travers des simulations, l'approche fusionnée produit systématiquement des rendements cumulés plus élevés que les stratégies reposant exclusivement sur l'étoile polaire ($a=0$) ou sur le proxy ($a=1$).
  • À de petites tailles d'échantillon, le poids optimal penche fortement vers le proxy en raison de son meilleur rapport signal/bruit.
  • À mesure que la taille de l'échantillon augmente, le poids optimal bascule progressivement vers l'étoile polaire, se concentrant exclusivement sur celle-ci lorsque $n \to \infty$.
• Puissance Statistique et Faux Positifs :
  • Puissance : La métrique fusionnée maintient une puissance élevée à travers diverses corrélations ($\rho$) entre le proxy et l'étoile polaire. En revanche, une stratégie basée uniquement sur le proxy souffre d'une faible puissance lorsque la corrélation structurelle est faible, même avec de grandes tailles d'échantillon.
  • Faux Positifs : Une stratégie basée uniquement sur le proxy présente un risque de faux positifs qui augmente avec la taille de l'échantillon lorsque le proxy est mal aligné avec l'étoile polaire. La métrique fusionnée contrôle le taux d'erreur de Type I, interpolant entre les règles du proxy et de l'étoile polaire et convergeant vers le contrôle d'erreur de l'étoile polaire à mesure que $n$ croît.
• Robustesse : Les conclusions principales se maintiennent même lorsque les effets de traitement suivent des distributions à queues lourdes (ex. : distribution t de Student multivariée avec $\nu=3$), bien que l'hypothèse gaussienne facilite la dérivation en forme close.

Application Empirique
La méthodologie a été appliquée à un programme d'expérimentation réel chez Netflix, utilisant les « clics » comme proxy ($P$) et les « lectures » (plays) comme étoile polaire ($Y$).

• Données : Analyse de 15 tests A/B et 50 bras de traitement.
• Résultats : Il a été constaté que les clics sont environ six fois plus sensibles que les lectures (ratio SE plus élevé). Cependant, les poids de fusion optimaux sont dynamiques :
  • Pour les petites expériences ($n \lesssim 2$ millions), la stratégie optimale accorde 100 % du poids aux clics.
  • Pour la taille d'échantillon médiane ($n \approx 5$ millions), la fusion optimale attribue environ 52 % du poids aux clics et 48 % aux lectures.
  • Pour de très grandes expériences ($n = 25$ millions), le poids bascule à environ 90 % sur les lectures.
• Résultat : La règle de décision fusionnée a dominé les règles à métrique unique sur toute la plage observée, démontrant que l'intégration de l'information de l'étoile polaire améliore les rendements, même lorsque le proxy est hautement sensible.

Signification et Revendications
L'article affirme fournir un cadre décisionnel rigoureux pour intégrer les métriques de proxy dans les tests A/B lorsqu'une étoile polaire contemporaine mais peu sensible est disponible. Ses principales contributions sont :

1. Fusion Optimale : Il établit que la règle de décision optimale n'est pas statique mais dépend de la puissance de l'expérience (taille de l'échantillon). Le poids de l'étoile polaire doit augmenter à mesure que l'expérience devient plus grande.
2. Conception de Programme : Il offre des conseils exploitables pour la conception de programmes d'expérimentation, suggérant que la qualité de la métrique de proxy dicte l'échelle et la fréquence optimales des expériences.
3. Mise en Œuvre Pratique : Il fournit une méthode concrète et estimable pour calculer ces poids à l'aide de données historiques, validée par une application réelle chez Netflix.

L'auteur note que ce travail suppose que les expériences sont indépendantes et identiquement distribuées (i.i.d.) et repose sur des hypothèses gaussiennes pour les effets de traitement, bien que les simulations suggèrent une robustesse aux queues lourdes. Des travaux futurs sont suggérés pour explorer les contextes non i.i.d. et l'utilisation de données d'observation lorsque les données historiques d'expérimentation ne sont pas disponibles.