📊 statistics

Blending Proxy Metrics with a North Star

Dit artikel stelt een optimaal blendingskader voor A/B-testen voor dat dynamisch een balans vindt tussen proxy-metrieken en een "north star" op basis van experimentkracht en proxykwaliteit, wat bruikbare inzichten biedt voor experimentontwerp en de praktische toepassing ervan bij Netflix aantoont.

Oorspronkelijke auteurs: Winston Chou

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Winston Chou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kapitein bent die een enorm schip (een bedrijf als Netflix) door mistige wateren stuurt. Je uiteindelijke doel is om een specifieke, verre eiland te bereiken genaamd "De Noordster" (echt zakelijk succes, zoals klanten die jarenlang behouden). Echter, de mist is zo dik dat je het eiland pas duidelijk kunt zien als je er bijna bent.

Om te navigeren, heb je twee instrumenten:

De Noordster Kompas: Het wijst direct naar je bestemming, maar het is erg zwak en schokkerig. Je kunt het alleen vertrouwen als je een zeer lange tijd vaart (een enorme experiment draait).
De Proxy Radar: Deze detecteert kleine rimpelingen in het water (user clicks, engagement) die plaatsvinden voordat je het eiland bereikt. Het is supergevoelig en geeft onmiddellijk een duidelijk signaal, maar het betekent niet altijd dat je daadwerkelijk richting het eiland vaart.

Het Dilemma
In het verleden moesten bedrijven kiezen: "Vertrouw ik op de zwakke Noordster, of op de ruisende Proxy?"

Als je te veel op de Proxy vertrouwt, stuur je misschien naar een rimpeling die veelbelovend lijkt, maar leidt naar een doodlopende weg.
Als je wacht op de Noordster, vaar je misschien jarenlang zonder beslissingen te nemen, waardoor je kansen mist.

De Oplossing: De "Smart Blend"
Winston Chou's paper stelt een slim navigatiesysteem voor dat deze twee instrumenten mengt. In plaats van te kiezen, past de computer van het schip automatisch aan hoeveel hij elk instrument vertrouwt, gebaseerd op hoeveel data hij heeft verzameld.

Hier is hoe de "Smart Blend" werkt, met eenvoudige analogieën:

1. De "Volume Knop" Analogie

Stel je het besluitvormingsproces voor als een radio met twee volumeknoppen: één voor de Proxy (clicks) en één voor de Noordster (retentie).

Wanneer het experiment klein is (weinig data): Het signaal van de Noordster is te zacht om te horen. Het systeem zet het volume van de Proxy omhoog en dat van de Noordster omlaag. Je maakt beslissingen op basis van de onmiddellijke, gevoelige signalen omdat je nog niet genoeg data hebt om het grote plaatje te zien.
Wanneer het experiment groot is (veel data): Je hebt ver genoeg gevaren dat de Noordster eindelijk hoorbaar is. Het systeem draait automatisch het volume van de Noordster omhoog en dat van de Proxy omlaag. Je stopt met gissen op basis van rimpelingen en begint te sturen op basis van de werkelijke bestemming.

Het paper bewijst dat er een wiskundig "perfecte" manier is om deze knoppen op elk moment van de reis te draaien.

2. De "Proefsmaak" Analogie

Stel je voor dat je een chef bent die een nieuw gerecht probeert te maken.

De Noordster is de uiteindelijke proeverij door een voedselcriticus (vond hij het lekker?). Dit kost tijd en is zeldzaam.
De Proxy is de geur in de keuken tijdens het koken. Het is onmiddellijk en vertelt je of er iets aanbrandt of goed ruikt.

Als je slechts een kleine steekproef hebt (één hapje), kun je de mening van de criticus nog niet vertrouwen, dus vertrouw je op de geur. Maar als je duizend potten hebt gekookt, wordt de mening van de criticus het belangrijkste. De methode uit het paper vertelt je precies hoeveel gewicht je moet toekennen aan de "geur" versus de "smaak van de criticus" op basis van hoeveel potten je hebt gekookt.

3. De "Verkeersopstopping" Analogie (Experimenten Ontwerpen)

Het paper verandert ook hoe je je experimenten plant.

Als je Proxy uitstekend is (zoals een zeer nauwkeurige geur), hoef je geen enorme batches te koken om te weten of het gerecht goed is. Je kunt veel kleine, snelle experimenten uitvoen. Dit is als het nemen van veel kleine zijwegen om om het verkeer heen te rijden.
Als je Proxy slecht is (de geur is onbetrouwbaar), kun je er niet op vertrouwen. Je moet wachten op de criticus. Dit betekent dat je minder, maar veel grotere experimenten moet uitvoeren om een duidelijk signaal te krijgen.

Real-World Bewijs: Netflix

De auteur heeft dit getest bij Netflix.

De Noordster: "Plays" (heeft de gebruiker de film daadwerkelijk bekeken?). Dit is moeilijk snel te meten.
De Proxy: "Clicks" (heeft de gebruiker op de titel geklikt?). Dit is makkelijk onmiddellijk te meten.

In de data van Netflix waren "Clicks" veel gevoeliger dan "Plays".

Bij kleine tests vertrouwde het systeem voornamelijk op Clicks.
Bij enorme tests (miljoenen gebruikers) verschoof het systeem naar het vertrouwen op Plays.
Het Resultaat: Door ze te mengen, behaalde Netflix betere resulting dan wanneer ze alleen Clicks of alleen Plays hadden gebruikt. Ze maakten minder fouten en vonden meer succesvolle functies.

De Kern van het Verhaal

Je hoeft niet te kiezen tussen "snelle maar ruisende" data en "trage maar nauwkeurige" data. Door een gemengde aanpak te gebruiken die automatisch het vertrouwen verschuift van de snelle data naar de nauwkeurige data naarmate je meer informatie verzamelt, kun je betere beslissingen nemen, sneller.

Belangrijkste inzichten uit het paper:

Kies geen kant: Gebruik beide metrieken, maar weeg ze anders.
Grootte doet ertoe: Hoe groter je experiment, hoe meer je de "Noordster" (het werkelijke doel) moet vertrouwen.
Kwaliteit doet ertoe: Als je "Proxy" erg goed is, kun je meer kleine, snelle experimenten uitvoeren. Als hij slecht is, moet je minder, maar grotere experimenten doen.
De wiskunde werkt: Het paper biedt een formule om exact te berekenen hoe je deze metrieken mengt om het best mogelijke resultaat te krijgen.

Technische Samenvatting: Het combineren van Proxy-metrieken met een North Star

Probleemstelling
In digitale experimentatie (A/B-testen) worden experimentatoren vaak geconfronteerd met een afweging tussen precisie en de afstemming op langetermijndoelstellingen van het bedrijf. "North star"-metrieken (bijv. klantretentie, omzet) meten direct het succes van het bedrijf, maar zijn vaak statistisch ongevoelig voor productinterventies, wat buitensporig grote steekproeven vereist om effecten te detecteren. Daartegenover staan "proxy"-metrieken (bijv. gebruikersbetrokkenheid, klikken) die gevoeliger zijn voor interventies en snellere, kleinere experimenten mogelijk maken, maar mogelijk niet perfect aansluiten bij het uiteindelijke bedrijfsdoel.

Dit creëert een praktisch dilemma: wanneer moeten experimentatoren de gevoelige proxy vertrouwen, en wanneer de ruizige north star? Specifiek behandelt het artikel drie vragen:

Moeten proxies worden vertrouwd, zelfs in grote, minder frequente experimenten die krachtig genoeg zijn om effecten op de werkelijke north star te detecteren?
Hoe moeten beslissingen worden genomen wanneer de proxy en de north star tegenstrijdige signalen geven?
Hoe beïnvloedt de kwaliteit van een proxy-metriek het optimale ontwerp van experimentatieprogramma's (bijv. steekproefomvang en frequentie)?

Methodologie
De auteur stelt een optimaal "blending"-framework voor dat een beslissingsmetriek construeert als een gewogen lineaire combinatie van de geschatte behandelingseffecten op de proxy ( $\hat{P}$ ) en de north star ( $\hat{Y}$ ). De geblendde statistiek wordt gedefinieerd als:
$\hat{Z}(A) = A^\top \hat{X} = a \hat{P} + (1-a) \hat{Y}$
waarbij $A = (a, 1-a)^\top$ de blending-gewichten vertegenwoordigt.

De kern van de methodologie is de afleiding van de optimale gewichten $A^*$ die de verwachte rendementen van de north star-metriek ( $Y$ ) maximaliseren onder een beslissingsregel die een behandeling "lanceert" als $\hat{Z}(A)$ een significantiedrempel overschrijdt.

Theoretisch Kader: Het artikel gaat ervan uit dat ware behandelingseffecten $X = (P, Y)$ een Gaussische verdeling volgen met een gemiddelde van nul en covariantie $\Sigma_X$ . Geschatte effecten $\hat{X}$ worden waargenomen met steekproefruis, gemodelleerd als $\hat{X} | X \sim N(X, 2\Omega/n)$ , waarbij $\Omega$ de variantie van de sampling op eenheidsniveau is en $n$ de steekproefomvang per arm.
Optimale Gewichten: De optimale gewichten $A^*$ worden afgeleid door een geoptimaliseerd optimalisatieprobleem op te lossen om de verwachte rendementen van de north star-metriek te maximaliseren. Propositie 1 biedt een gesloten vorm benadering voor voldoende grote experimenten:
$\tilde{A} \propto (\Sigma_X + (1 + z^2)2\Omega/n)^{-1}\Gamma$
waarbij $\Gamma = \text{Cov}(X, Y)$ en $z$ de kritieke waarde is voor het significantieniveau. Deze formule laat zien dat de gewichten fungeren als een gepenaliseerde lineaire regressie, waarbij de strafterm afhankelijk is van de ratio tussen de variantie binnen het experiment en de structurele variantie tussen experimenten.
Schatting: Het artikel beschrijft een procedure om deze gewichten te schatten uit historische experimentdata door $\Sigma_X$ (met behulp van niet-parametrische, empirische Bayes of hiërarchische methoden) en $\Omega$ te schatten, en vervolgens de plug-in estimator toe te passen.
Implicaties voor Programmaontwerp: De analyse strekt zich uit naar het ontwerp van experimentatieprogramma's. Het toont aan dat het gemiddelde rendement per eenheid allocatie afneemt naarmate de steekproefomvang $n$ groter wordt. Daarom, als een proxy een hoogwaardige proxy is (uitstekende signaal-ruisverhouding), moeten experimentatoren kleinere en frequentere experimenten uitvoeren. Als een proxy van lage kwaliteit is, moeten ze grotere en minder frequente experimenten uitvoeren om meer te vertrouwen op de north star.

Belangrijkste Resultaten

Simulatieprestaties: Door middel van simulaties levert de geblendde aanpak consequent hogere cumulatieve rendementen op dan strategieën die uitsluitend vertrouwen op de north star ( $a=0$ $a = 0$ ) of de proxy ( $a=1$ $a = 1$ ).
- Bij kleine steekproefomvang verschuift de optimale gewicht sterk naar de proxy vanwege de superieure signaal-ruisverhouding.
- Naarmate de steekproefomvang toeneemt, verschuift het optimale gewicht geleidelijk naar de north star, om uiteindelijk uitsluitend naar de north star te concentreren wanneer $n \to \infty$ .
Statistische Kracht en Vals-positieven:
- Kracht (Power): De geblendde metriek behoudt een hoge kracht over variërende correlaties ( $\rho$ ) tussen proxy en north star. In tegen tegenstelling heeft een strategie die alleen op de proxy vertrouwt een lage kracht wanneer de structurele correlatie laag is, zelfs met grote steekproeven.
- Vals-positieven: Een strategie die alleen op de proxy vertrouwt vertoont een risico op vals-positieven dat toeneemt met de steekproefomvang wanneer de proxy niet goed is afgestemd op de north star. De geblendde metriek controleert de Type I-foutratio door te interpoleren tussen de proxy- en de north star-regels en convergeert naar de foutcontrole van de north star naarmate $n$ groeit.
Robuustheid: De kernbevindingen blijven standhouden zelfs wanneer behandelingseffecten volgen volgens heavy-tailed distributies (bijv. multivariate t-distributie met $\nu=3$ ), hoewel de Gaussische aanname de gesloten vorm afleiding vergemakkelijkt.

Empirische Toepassing
De methodologie werd toegepast op een echt experimentatieprogramma bij Netflix, waarbij "clicks" als proxy ( $P$ ) en "plays" als north star ( $Y$ ) werden gebruikt.

Data: Analyse van 15 A/B-testen en 50 behandelingsarmen.
Bevindingen: Clicks bleken ongeveer zes keer gevoeliger te zijn dan plays (hogere SE-ratio). Echter, de optimale blending-gewichten zijn dynamisch:
- Voor kleine experimenten ( $n \lesssim 2$ miljoen) kiest de optimale strategie voor 100% gewicht op clicks.
- Bij de mediane experimentgrootte ( $n \approx 5$ miljoen) wijst de optimale blend ongeveer 52% gewicht toe aan clicks en 48% aan plays.
- Voor zeer grote experimenten ( $n = 25$ miljoen) verschuift het gewicht naar ongeveer 90% op plays.
Resultaat: De geblendde beslissingsregel domineerde beide single-metric regels over het gehele geobserveerde bereik van steekproefomvang, wat aantoont dat het integreren van de north star-informatie de rendementen verbetert, zelfs wanneer de proxy zeer gevoelig is.

Betekenis en Claims
Het artikel claimt een rigoureus, beslissingstheoretisch framework te bieden voor het integreren van proxy-metrieken in A/B-testen wanneer een gelijktijdige maar ongevoelige north star beschikbaar is. De belangrijkste bijdragen zijn:

Optimale Blending: Het stelt vast dat de optimale beslissingsregel niet statisch is maar afhangt van de kracht van het experiment (steekproefomvang). Het gewicht op de north star moet toenemen naarmate het experiment groter wordt.
Programmaontwerp: Het biedt bruikbare richtlijnen voor het ontwerp van experimentatieprogramma's, waarbij wordt gesuggereerd dat de kwaliteit van de proxy-metriek de optimale schaal en frequentie van experimenten bepaalt.
Praktische Implementatie: Het biedt een concrete, schatbare methode voor het berekenen van deze gewichten met behulp van historische data, gevalideerd door een echte toepassing bij Netflix.

De auteur merkt op dat het werk uitgaat van onafhankelijke en identiek verdeelde (i.i.d.) experimenten en steunt op Gaussische aannames voor behandelingseffecten, hoewel simulaties wijzen op robuustheid tegen heavy tails. Toekomstig werk wordt gesuggereerd om niet-i.i.d. settings en het gebruik van observationele data te verkennen wanneer historische experimentdata niet beschikbaar zijn.