🤖 machine learning

Variance Reduction for Heavy-Tailed Monetization Metrics in Ranking Experiments via Post-Stratification

Ce document présente un cadre pratique combinant la post-stratification et la méthode CUPED pour réduire la variance des métriques de monétisation à distribution lourde pour les expériences de classement, permettant ainsi à ShareChat d'atteindre une confiance statistique équivalente avec environ 45 % de trafic en moins tout en améliorant la stabilité des décisions.

Auteurs originaux : Neeti Pokharna, Olivier Jeunen, Yatharth Saraf, Aleksei Ustimenko

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Neeti Pokharna, Olivier Jeunen, Yatharth Saraf, Aleksei Ustimenko

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le problème des « Baleines » dans les tests A/B

Imaginez que vous menez un test pour voir si une nouvelle fonctionnalité dans une application vidéo pousse les gens à dépenser plus d'argent. Vous divisez vos utilisateurs en deux groupes : le Groupe A voit l'ancienne version, et le Groupe B voit la nouvelle version.

Habituellement, vous additionnez simplement tout l'argent dépensé par tout le monde dans le Groupe A et vous le comparez au Groupe B. Mais dans des applications comme ShareChat (où les utilisateurs achètent des cadeaux virtuels pour les créateurs), les habitudes de dépenses sont extrêmement disparates.

Pensez à une sortie de pêche :

99,9 % des poissons que vous attrapez sont de minuscules vairons qui ne pèsent presque rien.
0,01 % des poissons sont des « baleines » massives (des utilisateurs super riches) qui pèsent aussi lourd qu'une voiture.

Dans un test standard, si l'une de ces « baleines » atterrit dans le Groupe A par pure chance, le Groupe A semble être un immense succès. Si cette même baleine atterrit dans le Groupe B, le Groupe B semble être un échec. Parce que ces baleines sont si lourdes, elles dominent les calculs. Elles créent tellement de « bruit » (aléas) qu'il devient impossible de savoir si la nouvelle fonctionnalité fonctionne réellement ou si vous avez simplement eu de la chance avec l'emplacement des baleines.

Cela signifie que vous devez faire durer le test très longtemps ou obtenir un trafic massif pour obtenir une réponse fiable. Souvent, vous ne pouvez pas obtenir assez de trafic, et donc vous ne pouvez pas prendre de décisions.

La Solution : Trier l'aquarium

Les auteurs proposent une méthode astucieuse pour corriger cela appelée Post-Stratification, combinée à une technique nommée CUPED.

Voici comment cela fonctionne, étape par étape :

1. Trier les poissons (Stratification)

Au lieu de regarder tout l'aquarium comme un seul grand groupe, vous triez les poissons dans des compartiments séparés avant de commencer le test, en fonction de leur comportement passé.

Compartiment 1 : Les « Baleines » (les 0,01 % de dépensiers les plus élevés).
Compartiment 2 : Les « Réguliers » (tous les autres).

2. Pondérer les compartiments

C'est là que réside l'astuce. Lorsque vous calculez le résultat final, vous ne vous contentez pas d'additionner les compartiments de manière égale. Vous attribuez aux compartiments des poids différents basés sur leur présence réelle dans le monde.

Puisque les « Baleines » sont rares, leur compartiment reçoit un poids minuscule (comme 0,0001).
Puisque les « Réguliers » sont courants, leur compartiment reçoit un poids énorme.

L'analogie : Imaginez que vous jugiez un concours de cuisine. Si un juge est un milliardaire et donne un score de 1 000 000, tandis que 999 autres juges donnent des scores de 5, le score du milliardaire fausse la moyenne.

Ancienne méthode : Vous prenez la moyenne de tous les scores. Le score du milliardaire domine.
Nouvelle méthode : Vous dites : « Le milliardaire est une seule personne, donc son score ne compte que pour 0,001 du total. Les 999 juges réguliers comptent pour 99,9 %. » Désormais, le score erratique du milliardaire ne fait plus basculer le résultat de manière disproportionnée.

3. Lisser les données (CUPED)

À l'intérieur de chaque compartiment, ils utilisent également une astuce appelée CUPED. C'est comme utiliser les dépenses passées d'un utilisateur comme une « ligne de base ».

Si un utilisateur dépense habituellement 100 $, et que pendant le test il dépense 110 $, CUPED dit : « D'accord, c'est juste son niveau de dépense élevé habituel, pas forcément dû à la nouvelle fonctionnalité. »
Cela soustrait les parties prévisibles des dépenses, ne laissant que les réels changements causés par l'expérience.

Les Résultats : Des décisions plus rapides avec moins de trafic

En utilisant cette méthode, les auteurs ont obtenu des résultats impressionnants chez ShareChat :

Moins de bruit : Ils ont réduit le « bruit » (la variance) de leurs données de 99 %.
Tests plus rapides : Ils peuvent désormais obtenir le même niveau de confiance avec 45 % de trafic en moins.
- Analogie : C'est comme être capable d'entendre un chuchotement clairement dans une pièce bruyante sans avoir besoin de crier. Vous n'avez pas besoin d'une foule plus grande pour entendre la vérité ; vous avez juste besoin d'une meilleure façon d'écouter.
Fiabilité : Ils ont testé cela sur plus de 40 expériences réelles. La méthode les a aidés à repérer de petites améliorations réelles qui seraient restées invisibles auparavant.

Règles importantes et mises en garde

L'article précise également quand NE PAS utiliser cette méthode :

Ne l'utilisez pas si vous testez une fonctionnalité spécifiquement pour les Baleines.
- Analogie : Si vous testez un nouveau « Salon VIP » spécifiquement pour les baleines riches, vous ne voulez pas diminuer l'importance de leur contribution. Si vous le faites, vous pourriez manquer le fait que le Salon VIP est incroyable pour eux. Cette méthode est destinée aux améliorations générales qui bénéficient à l'ensemble des utilisateurs.
Ne l'utilisez pas si seules les « Baleines » changent.
- Si la nouvelle fonctionnalité n'affecte que le haut 0,01 % des utilisateurs, cette méthode masquera cet effet car elle traite les baleines comme un groupe minuscule à faible poids.

Résumé

L'article présente un outil pratique pour les entreprises qui réalisent des tests A/B sur des mesures liées à l'argent. En triant les utilisateurs en groupes et en réduisant le poids des valeurs aberrantes (outliers) qui dépensent énormément, ils empêchent les « baleines » de détourner les résultats. Cela leur permet de prendre des décisions plus rapides et plus confiantes sur leur produit sans avoir besoin de millions d'utilisateurs supplémentaires.

Résumé Technique : Réduction de la Variance pour les Métriques de Monétisation à Queue Lourde via la Post-Stratification

1. Énoncé du Problème

Dans les systèmes de recherche d'information (IR) et de classement à grande échelle, les métriques de monétisation en aval (par exemple, le GMV — Gross Merchandise Value, ou les revenus des créateurs) sont cruciales pour évaluer la performance du système. Cependant, ces métriques présentent généralement des distributions à queue lourde (heavy-tailed), où une infime fraction d'utilisateurs (par exemple, les 0,01 % les plus importants) domine à la fois la moyenne et la variance.

Cette caractéristique distributionnelle crée des défis importants pour les tests A/B standards :

Faible Puissance Statistique : Sous des allocations de trafic réalistes (par exemple, 1 à 20 %), la queue lourde empêche la convergence rapide du Théorème Central Limite (TCL). L'analyse empirique montre que les statistiques $z$ s'écartent de manière significative de la distribution normale standard à de faibles niveaux de trafic.
Inférence Peu Fiable : Les tests résultants sont souvent sévèrement sous-dimensionnés en termes de puissance, nécessitant des durées excessivement longues ou des augmentations massives de trafic pour détecter de réels effets de traitement. Inversement, les techniques classiques de réduction de la variance comme le CUPED (Controlled Experiments Using Pre-Experiment Data) n'offrent que des gains limités car les signaux pré-expérience ne peuvent pas prédire pleinement la variance extrême générée par les utilisateurs « whales » (gros dépensiers).
Conservatisme : L'échec des approximations normales conduit à des tests d'hypothèses conservateurs, où le taux de faux positifs (FPR) chute bien en dessous du seuil nominal de 5 % (observé à 1–2 %), ce qui indique un manque de sensibilité plutôt qu'une robustesse.

2. Méthodologie

Les auteurs proposent un cadre prêt pour la production qui combine la Post-Stratification avec le CUPED pour répondre à ces défis. L'idée centrale est de partitionner la population d'utilisateurs en strates homogènes basées sur le comportement pré-expérience, isolant ainsi les utilisateurs à haute variance pour réduire leur influence disproportionnée sur la variance globale.

Composantes Clés du Cadre :

Définition des Strates : Les utilisateurs sont répartis en strates discrètes basées sur le GMV de la période pré-expérience (par exemple, le revenu historique sur 30 jours). Une distinction critique est que les strates sont définies avant le début de l'expérience, garantissant que l'assignation au traitement n'affecte pas l'appartenance à une strate (préservant ainsi l'absence de biais).
- Les strates typiques incluent : « Tail » (gros dépensiers), « Non-tail » (utilisateurs réguliers) et « New/Non-spenders » (nouveaux ou non-dépenseurs).
Winsorisation : Pour atténuer l'impact des valeurs aberrantes extrêmes (par exemple, les 0,001 % d'utilisateurs les plus riches) qui peuvent dominer la variance même au sein des strates, les valeurs dépassant le 99,999e percentile sont winsorisées. Cette étape est conservatrice et affecte moins de 5 utilisateurs par expérience.
CUPED au sein des Strates : Au sein de chaque strate, le CUPED est appliqué pour ajuster le GMV post-expérience en utilisant le GMV pré-expérience comme covariable. Cela élimine la variation prévisible au sein des groupes homogènes.
- Formule : $GMV_{CUPED} = GMV - \frac{cov(GMV, PreGMV)}{\sigma^2_{PreGMV}} \cdot (PreGMV - \mu_{PreGMV})$
Estimation par Post-Stratification : L'effet de traitement est estimé en agrégeant les effets ajustés par CUPED au niveau des strates en utilisant des poids de population ( $w_s = N_s/N$ $w_{s} = N_{s} / N$ ), où $N_s$ $N_{s}$ est le nombre total d'utilisateurs dans la strate $s$ $s$ sur l'ensemble de la plateforme (et non seulement dans l'échantillon de l'expérience).
- Estimateur : $\hat{\tau}_{PS} = \sum_{s \in S} w_s \cdot \hat{\tau}_{CUPED, s}$

Propriétés Théoriques :

Absence de Biais : L'estimateur reste non biaisé car les strates sont définies à l'aide d'informations pré-traitement, et le CUPED est non biaisé.
Réduction de la Variance : La variance de l'estimateur est réduite par le facteur de poids au carré ( $w_s^2$ ). Pour une strate de la queue ayant un poids de population infime (par exemple, $w \approx 0,0001$ ), sa contribution à la variance totale est supprimée par un facteur de $\sim 10^{-8}$ , même si la variance interne de cette strate est énorme.

3. Validation Expérimentale et Résultats

Le cadre a été déployé chez ShareChat et Moj sur plus de 40 tests A/B de production impliquant des systèmes de classement et de recommandation, chaque expérience couvrant plus d'un million d'utilisateurs.

Principales Conclusions :

Réduction de la Variance : L'approche combinée a obtenu une réduction de la variance de 99,3 % à 99,7 % par rapport au GMV brut. En comparaison, le CUPED seul n'a obtenu qu'une réduction d'environ 48 %.
Sensibilité Statistique : Le score $z$ relatif médian est passé à 1,35–1,36. Cela implique que la méthode nécessite environ 45 % de trafic en moins pour atteindre la même confiance statistique que les métriques standards.
Effet Minimum Détectable (MDE) : À une allocation de trafic de 10 %, le MDE est passé d'environ 136 % de la moyenne (GMV brut) à environ 10 % (post-stratifié), permettant la détection d'effets de traitement subtils et réalistes, auparavant masqués par le bruit.
Erreur de Type I :
- En simulation (tests A/A sur des instantanés statiques), le taux de faux positifs (FPR) était de 0 %.
- En production (trafic réel), le FPR empirique était de 6,1 %, légèrement supérieur au seuil nominal de 5 %. Les auteurs attribuent cela à l'estimation de la variance en échantillon fini dans les strates et au bruit du monde réel, notant que les métriques brutes étaient sévèrement sous-dimensionnées (FFPR 1–2,6 %). Ils acceptent cette légère élévation comme un compromis pour une réduction massive des erreurs de Type II (Faux Négatifs).
Robustesse :
- Sensibilité au Seuil : La réduction de la variance est restée supérieure à 95 % à travers divers seuils de coupure de la queue (du 99,9e au 99,995e percentile).
- Cohérence Temporelle : Les effets détectés en semaine 1 maintenaient un accord directionnel de 91 % en semaine 2.
- Modes de Défaillance : Dans un cas, la variance a augmenté lorsqu'un effet de traitement était concentré entièrement dans la strate de la queue, renforçant l'idée que cette méthode n'est pas adaptée lorsque l'objectif commercial principal est d'optimiser spécifiquement pour les utilisateurs « whales ».

4. Contributions Clés

Cadre de Production : Un système pratique et déployable pour la réduction de la variance des métriques de monétisation à queue lourde, s'intégrant de manière transparente dans les pipelines d'expérimentation existants.
Synthèse Méthodologique : Démontre que la combinaison de la post-stratification (pour gérer l'hétérogénéité de la population) et du CUPED (pour gérer la corrélation intra-strate) produit une réduction de la variance supérieure à l'utilisation de l'une ou l'autre technique seule.
Preuve Empirique : Fournit une validation à grande échelle montrant que cette approche permet une prise de décision fiable avec 40 à 50 % de trafic en moins, accélérant considérablement les cycles d'itération pour les améliorations de classement.
Orientation sur les Estimands : Clarifie le compromis d'interprétation de l'estimand. En réduisant le poids des utilisateurs de la queue, la méthode optimise pour l'« expérience utilisateur large » plutôt que pour les résultats spécifiques aux « whales ». Les auteurs recommandent de présenter à la fois les métriques brutes et post-stratifiées pour détecter les désaccords directionnels (qui signalent des effets concentrés dans la queue).

5. Signification et Limites

L'article soutient que pour les systèmes d'IR où la monétisation est pilotée par des événements rares à fort impact, les tests A/B standards sont souvent insuffisants. Le cadre proposé offre une solution qui préserve l'échelle de la métrique originale et l'estimand de la population tout en améliorant considérablement la puissance statistique.

Limites et Garde-fous :

Pas pour les Objectifs Spécifiques à la Queue : La méthode est explicitement déconseillée pour les expériences ciblant les utilisateurs de la queue (ex: programmes VIP), car l'estimand post-stratifié réduit systématiquement le poids de la population d'intérêt.
Exigences de Données : Nécessite des pipelines de données pré-période robustes pour calculer les poids de population et des seuils de stratification gelés pour éviter le p-hacking.
Dérive des Strates : Une surveillance est nécessaire pour détecter les changements significatifs dans la taille des strates qui pourraient corrompre la métrique.

En conclusion, les auteurs présentent une approche validée qui transforme l'évaluation de la monétisation à queue lourde, passant d'un processus lent et de faible puissance à un mécanisme sensible et stable, permettant une itération de produit plus rapide et plus fiable dans les systèmes de recommandation à grande échelle.