🤖 machine learning

Variance Reduction for Heavy-Tailed Monetization Metrics in Ranking Experiments via Post-Stratification

Dit artikel presenteert een praktisch framework dat post-stratificatie en CUPED combineert om de variantie in heavy-tailed monetisatie-metrieken voor ranking-experimenten te verminderen, waardoor ShareChat in staat is om een gelijkwaardige statistische betrouwbaarheid te bereiken met ongeveer 45% minder verkeer, terwijl de beslissingsstabiliteit wordt verbeterd.

Oorspronkelijke auteurs: Neeti Pokharna, Olivier Jeunen, Yatharth Saraf, Aleksei Ustimenko

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Neeti Pokharna, Olivier Jeunen, Yatharth Saraf, Aleksei Ustimenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Het "Walvis"-probleem in A/B-testen

Stel je voor dat je een test uitvoert om te zien of een nieuwe functie in een video-app ervoor zorgt dat mensen meer geld uitgeven. Je verdeelt je gebruikers in twee groepen: Groep A ziet de oude versie, en Groep B ziet de nieuwe versie.

Normaal gesproken tel je gewoon al het geld op dat door iedereen in Groep A is uitgegeven en vergelijk je dat met Groep B. Maar in apps zoals ShareChat (waar gebruikers virtuele cadeaus kopen voor makers) zijn de uitgavepatronen extreem ongelijkmatig.

Denk aan een visreis:

99,9% van de vissen die je vangt, zijn piepkleine minnotjes die bijna niets wegen.
0,01% van de vissen zijn enorme "walvissen" (superrijke gebruikers) die evenveel wegen als een auto.

In een standaardtest, als er door puur geluk een van deze "walvissen" in Groep A terechtkomt, lijkt Groep A een enorm succes. Als diezelfde walvis in Groep B terechtkomt, lijkt Groep B een mislukking. Omdat deze walvissen zo zwaar zijn, domineren ze de wiskunde. Ze creëren zoveel "ruis" (willekeur) dat je niet kunt zien of de nieuwe functie daadwerkelijk werkt of dat je gewoon geluk hebt gehad met waar de walvissen terechtkwamen.

Dit betekent dat je de test heel lang moet draaien of een enorme hoeveelheid verkeer nodig hebt om een betrouwbaar antwoord te krijgen. Vaak kun je niet genoeg verkeer genereren, waardoor je geen beslissingen kunt nemen.

De Oplossing: De visbak sorteren

De auteurs stellen een slimme manier voor om dit op te lossen, genaamd Post-Stratificatie, gecombineerd met een techniek genaamd CUPED.

Zo werkt het, stap voor stap:

1. De vissen sorteren (Stratificatie)

In plaats van de hele bak met vissen als één grote groep te bekijken, sorteer je ze in aparte emmers voordat je de test begint, gebaseerd op hoe ze zich in het verleden hebben gedragen.

Emmer 1: De "Walvissen" (de top 0,01% van de uitgevers).
Emmer 2: De "Regulieren" (de rest).

2. De emmers wegen

Hier zit de magische truc. Wanneer je het eindresultaat berekent, tel je de emmers niet simpelweg gelijkmatig op. Je geeft de emmers verschillende gewichten op basis van hoeveel mensen er in de echte wereld aanwezig zijn.

Omdat "Walvissen" zeldzaam zijn, krijgt hun emmer een miniem gewicht (zoals 0,0001).
Omdat "Regulieren" algemeen voorkomen, krijgt hun emmer een enorm gewicht.

De Analogie: Stel je voor dat je een kookwedstrijd beoordeelt. Als één rechter een miljardair is die een score van 1.000.000 geeft, en 999 andere rechters scores van 5 geven, dan verpest de score van de miljardair het gemiddelde.

Oude manier: Je neemt het gemiddelde van alle scores. De score van de miljardair domineert.
Nieuwe manier: Je zegt: "De miljardair is één persoon, dus zijn score telt slechts als 0,001 van het totaal. De 999 reguliere rechters tellen voor 99,9%." Nu zorgt de extreme score van de miljardair er niet voor dat het resultaat wild heen en weer slaat.

3. De data gladstrijken (CUPED)

Binnen elke emmer gebruiken ze ook een truc genaamd CUPED. Dit is als het gebruik van de eerdere uitgaven van een gebruiker als een "basislijn".

Als een gebruiker normaal gesproken \ $100 uitgeeft, en in de test \$ 110 uitgeeft, zegt CUPED: "Oké, dat is gewoon hun normale hoge uitgave, niet noodzakelijkerwijs vanwege de nieuwe functie."
Het trekt de voorspelbare delen van de uitgaven eraf, waardoor alleen de echte veranderingen overblijven die door het experiment zijn veroorzaakt.

De Resultaten: Snellere beslissingen met minder verkeer

Door deze methode te gebruiken, behaalden de auteurs indrukwekkende resultaten bij ShareChat:

Minder Ruis: Ze verminderden de "ruis" (variantie) in hun gegevens met 99%.
Snellere Tests: Ze kunnen nu met 45% minder verkeer hetzelfde niveau van vertrouwen bereiken.
- Analogie: Het is alsof je een fluistering duidelijk kunt horen in een lawaaierige kamer zonder te hoeven schreeuwen. Je hebt geen grotere menigte nodig om de waarheid te horen; je hebt alleen een betere manier nodig om te luisteren.
Betrouwbaarheid: Ze hebben dit getest op meer dan 40 echte experimenten. De methode hielp hen om kleine, echte verbeteringen op te merken die voorheen onzichtbaar zouden zijn geweest.

Belangrijke Regels en Waarschuwingen

Het artikel wijst ook op wanneer je deze methode NIET moet gebruiken:

Gebruik het niet als je een functie test die specif kindelijk gericht is op Walvissen.
- Analogie: Als je een nieuwe "VIP-lounge" test die specifiek voor de rijke walvissen is, wil je hun belang niet naar beneden afwegen. Als je dat doet, loop je het risico dat je de conclusie mist dat de VIP-lounge geweldig is voor hen. Deze methode is bedoeld voor algemene verbeteringen die de hele gebruikersbasis helpen.
Gebruik het niet als alleen de "Walvissen" veranderen.
- Als de nieuwe functie alleen invloed heeft op de top 0,01% van de gebruikers, zal deze methode dat effect verbergen omdat het de walvissen behandelt als een kleine groep met een laag gewicht.

Samenvatting

Het artikel presenteert een praktisch hulpmiddel voor bedrijven die A/B-testen uitvoeren op geldgerelateerde statistieken. Door gebruikers in groepen te verdelen en de zeldzame, extreem veel uitgevende uitschieters lager te wegen, kunnen ze voorkomen dat de "walvissen" de resultaten kapen. Dit stelt hen in staat om snellere, meer zelfverzekerde beslissingen te nemen over hun product zonder dat ze miljoenen extra gebruikers nodig hebben.

Technische Samenvatting: Variantiereductie voor Heavy-Tailed Monetisatie-metrieken via Post-Stratificatie

1. Probleemstelling

In grootschalige Information Retrieval (IR) en ranking-systemen zijn downstream monetisatie-metrieken (bijv. Gross Merchandise Value of GMV, creator-inkomsten) cruciaal voor het evalueren van systeemprestaties. Deze metrieken vertonen echter doorgaans heavy-tailed distributies, waarbij een minuscuul fractie van de gebruikers (bijv. de top 0,01%) zowel het gemiddelde als de variantie domineert.

Deze distributionele eigenschap creëert aanzienlijke uitdagingen voor standaard A/B-testen:

Lage Statistische Power: Onder realistische verkeersallocaties (bijv. 1–20%) voorkomt de heavy tail dat de Centrale Limietstelling (CLT) snel convergeert. Empirische analyse toont aan dat $z$ -statistieken bij lage verkeersniveaus significant afwijken van de standaard normale verdeling.
Onbetrouwbare Inferentie: De resulterende testen zijn vaak ernstig ondergepowered, wat proportioneel langere duur of enorme toenames in verkeer vereist om ware effecten te detecteren. Omgekeerd bieden standaard technieken voor variantiereductie zoals CUPED (Controlled Experiments Using Pre-Experiment Data) beperkte winst, omdat pre-experiment signalen alleen de extreme variantie gedreven door "whale" gebruikers niet volledig kunnen voorspellen.
Conservatisme: Het falen van normale benaderingen leidt tot conservatieve hypothesetesten, waarbij de False Positive Rate (FPR) ruim onder de nominale 5% daalt (geobserveerd op 1–2%), wat duidt op een gebrek aan sensitiviteit in plaats van robuustheid.

2. Methodologie

De auteurs stellen een productie-klaar framework voor dat Post-Stratificatie combineert met CUPED om deze uitdagingen aan te pakken. De kern van het idee is het partitioneren van de gebruikerspopulatie in homogene strata op basis van pre-experiment gedrag, waardoor de hoog-variante tail-gebruikers worden geïsoleerd en hun disproportionele invloed op de totale variantie wordt verminderd.

Kerncomponenten van het framework:

Stratum Definitie: Gebruikers worden gepartitioneerd in discrete strata op basis van pre-period GMV (bijv. 30-daagse historische omzet). Een cruciaal onderscheid is dat strata worden gedefinieerd voordat het experiment begint, wat garandeert dat de toewijzing van de behandeling de stratum-lidmaatschap niet beïnvloedt (behoud van onbevooroordeling).
- Typische strata omvatten: "Tail" (hoge spenders), "Non-tail" (reguliere gebruikers) en "New/Non-spenders."
Winsorisatie: Om de impact van extreme uitschieters (bijv. de top 0,001% van de gebruikers) te mitigeren die zelfs binnen strata de variantie kunnen domineren, worden waarden buiten het 99,999e percentiel winsoriseerd. Deze stap is conservatief en heeft betrekking op minder dan 5 gebruikers per experiment.
CUPED binnen Strata: Binnen elk stratum wordt CUPED toegepast om de post-experiment GMV aan te passen met behulp van de pre-experiment GMV als covariaat. Dit verwijdert de voorspelbare variatie binnen de homogene groepen.
- Formule: $GMV_{CUPED} = GMV - \frac{cov(GMV, PreGMV)}{\sigma^2_{PreGMV}} \cdot (PreGMV - \mu_{PreGMV})$
Post-Stratified Estimatie: Het behandelingseffect wordt geschat door de stratum-specifieke CUPED-gecorrigeerde effecten te aggregeren met behulp van populatie-niveau gewichten ( $w_s = N_s/N$ $w_{s} = N_{s} / N$ ), waarbij $N_s$ $N_{s}$ het totaal aantal gebruikers in stratum $s$ $s$ is over het gehele platform (niet alleen de experimentele steekproef).
- Estimator: $\hat{\tau}_{PS} = \sum_{s \in S} w_s \cdot \hat{\tau}_{CUPED, s}$

Theoretische Eigenschappen:

Onbevooroordeling (Unbiasedness): De estimator blijft onbevooroordeeld omdat strata worden gedefinieerd met pre-treatment informatie en CUPED onbevooroordeeld is.
Variantiereductie: De variantie van de estimator wordt verminderd door de gekwadrateerde gewichtsfactor ( $w_s^2$ ). Voor een tail stratum met een minuscule populatiegewicht (bijv. $w \approx 0,0001$ ), wordt de bijdrage aan de totale variantie onderdrukt door een factor van $\sim 10^{-8}$ , zelfs als de interne variantie van dat stratum enorm is.

3. Experimentele Validatie en Resultaten

Het framework werd uitgerold bij ShareChat en Moj over >40 productie A/B-testen betrokken bij ranking- en aanbevelingssystemen, waarbij elk experiment meer dan 1 miljoen gebruikers besloeg.

Belangrijkste Bevindingen:

Variantiereductie: De gecombineerde aanpak bereikte een reductie in variantie van 99,3% tot 99,7% vergeleken met ruwe GMV. In contrast hiermee bereikte CUPED alleen een reductie van ongeveer 48%.
Statistische Sensitiviteit: De mediane relatieve $z$ -score steeg naar 1,35–1,36. Dit impliceert dat de methode ongeveer 45% minder verkeer vereist om dezelfde statistische zekerheid te bereiken als standaard metrieken.
Minimum Detectable Effect (MDE): Bij een verkeersallocatie van 10% daalde de MDE van ~136% van het gemiddelde (ruwe GMV) naar ~10% (post-gestratificeerd), wat de detectie van realistische, subtiele behandelingseffecten mogelijk maakt die voorheen door ruis werden gemaskeerd.
Type-I Fout:
- In simulatie (A/A-testen op statische snapshots), was de False Positive Rate (FPR) 0%.
- In productie (live verkeer), was de empirische FPR 6,1%, iets boven de nominale 5%. De auteurs wijten dit aan de eindige-steekproef variantie-schatting in strata en real-world ruis, waarbij zij opmerken dat de ruwe metrieken ernstig ondergepowered waren (FPR 1–2,6%). Zij accepteren deze lichte verhoging als een trade-off voor een enorme reductie in Type-II fouten (False Negatives).
Robuustheid:
- Drempelgevoeligheid: De variantiereductie bleef boven de 95% over diverse tail cutoff thresholds (99,9e tot 99,995e percentielen).
- Temporele Consistentie: Effecten gedetecteerd in Week 1 behielden een 91% directionele overeenkomst in Week 2.
- Falen van de Methode: In één instantie nam de variantie toe wanneer een behandelingseffect volledig geconcentreerd was in het tail stratum, wat bevestigt dat deze methode niet geschikt is wanneer het primaire zakelijke doel specifiek gericht is op "whale" gebruikers.

4. Belangrijkste Bijdragen

Productie Framework: Een praktisch, implementeerbaar systeem voor variantiereductie in heavy-tailed monetisatie-metrieken dat naadloos integreert in bestaande experimentatie-pipelines.
Methodologische Synthese: Demonstreert dat het combineren van post-stratificatie (om populatie-heterogeniteit aan te pakken) met CUPED (om binnen-stratum correlatie aan te pakken) superieure variantiereductie oplevert vergeleken met elk van beide technieken alleen.
Empirisch Bewijs: Biedt grootschalige validatie die aantoont dat deze aanpak het mogelijk maakt om met 40–50% minder verkeer betrouwbare beslissingen te nemen, wat de iteratiecycli voor ranking-verbeteringen aanzienlijk versnelt.
Begeleiding bij Estimanden: Verheldert de trade-off in interpretatie van de estimand. Door tail-gebruikers te down-weighten, optimaliseert de methode voor de "brede gebruikerservaring" in plaats van voor "whale-specifieke" uitkomsten. De auteurs bevelen aan om zowel ruwe als post-gestratificeerde metrieken te tonen om directionele discrepanties te detecteren (wat een signaal geeft van tail-geconcentreerde effecten).

5. Betekenis en Beperkingen

Het paper betoogt dat voor IR-systemen waar monetisatie wordt gedreven door zeldzame, hoog-impact gebeurtenissen, standaard A/B-testen vaak onvoldoende zijn. Het voorgestelde framework biedt een oplossing die de oorspronkelijke metriekschaal en populatie-estimand behoudt, terwijl de statistische power drastisch wordt verbeterd.

Beperkingen en Waarborgen:

Niet voor Tail-Specifieke Doelen: De methode wordt expliciet niet aanbevolen voor experimenten die gericht zijn op tail-gebruikers (bijv. VIP-programma's), aangezien de post-gestratificeerde estimand de populatie van belang systematisch down-weight.
Data Vereisten: Vereist robuuste pre-period data pipelines om populatiegewichten te berekenen en bevroren stratificatie-thresholds om p-hacking te voorkomen.
Stratum Drift: Monitoring is vereist om significante veranderingen in de grootte van strata te detecteren die de metriek zouden kunnen corrumperen.

Concluderend presenteren de auteurs een gevalideerde aanpak die de evaluatie van heavy-tailed monetisatie transformeert van een laag-power, traag proces naar een sensitief, stabiel mechanisme, wat snellere en betrouwbaardere productiteraties in grootschalige aanbevelingssystemen mogelijk maakt.