📊 statistics

Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments

Dit artikel presenteert een kosteneffectieve, systeembrede oplossing voor het experimentatieplatform van Pinterest die de LLM-gebaseerde meting van de prevalentie van inhoud schaalt over honderden gelijktijdige A/B-testen door een enkele, continu verversde globale kalibratie van ML-scorebuckets te implementeren, waardoor dagelijkse, hoogwaardige tracking mogelijk wordt voor meer dan 20 keer meer experimentarmen dan traditionele per-experiment LLM-labeling binnen hetzelfde budget.

Oorspronkelijke auteurs: Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, drukke stad runt waar dagelijks miljoenen mensen door de straten wandelen. In deze stad zijn duizenden verschillende winkels, parken en billboards, en de stadsplanners willen precies weten hoeveel tijd mensen besteden aan het kijken naar specifieke soorten dingen—zoals "tuingereedschap" of "AI-gegenereerde kunst." Dit is de wereld van prevalentiemeting: uitzoeken welk deel van de totale "impressies" (of blikken) toebehoort aan een bepaalde categorie.

Om beslissingen over de stad te nemen, voeren planners vaak A/B-experimenten uit. Dit is als het testen van twee verschillende versies van een straatbord: de ene versie voor de helft van de mensen, de andere versie voor de andere helft, om te zien welke mensen gelukkiger maakt of meer betrokkenheid oproept. Normaal gesproken moet je om te weten of een bord werkt, de resultaten tellen. Maar hier is de crux: soms is het ding dat je wilt tellen moeilijk te meten. Je kunt niet simpelweg elke persoon vragen wat ze hebben gezien; dat zou een eeuwigheid duren en een fortuin kosten. In de digitale wereld wordt deze "moeilijk te meten" taak vaak gedaan door Large Language Models (LLMs)—superintelligente AI-computers die een afbeelding of een bericht kunnen lezen en kunnen zeggen: "Ja, dit gaat over tuinieren," of "Nee, dit gaat niet over tuinieren." Hoewel deze AI-rechters ongelooflijk nauwkeurig zijn, is het te duur en te traag om de AI elke individuele item in een stad met miljarden dagelijkse bezoekers te laten controleren.

Dit is waar het artikel van Zehao Xu en zijn team bij Pinterest vandaan komt. Zij stonden voor een probleem: ze voerden dagelijks honderden experimenten uit, en ze moesten de "prevalentie" van bepaalde soorten content (zoals hoeveel pins over AI of veiligheidskwesties gaan) voor elke experimentele groep weten. Ze konden het zich niet veroorloven om de AI te betalen om elk item in elke nieuwe test te labelen. Daarom bouwden ze een slim systeem dat fungeert als een "globale vertaler". In plaats van de dure AI te vragen om elk item in elk nieuw experiment te controleren, vragen ze de AI om één keer per dag een representatieve steekproef van de hele stad te controleren. Ze gebruiken die steekproef om een goedkopere, snellere methode te leren hoe ze de prevalentie kan raden. Vervolgens gebruiken ze die snelle methode om de rest van alles direct te meten. Het resultaat? Ze kunnen veranderingen in de blootstelling aan content voor honderden experimenten per dag volgen, waarbij ze zelfs kleine verschuivingen opmerken die een enkele, dure controle zou missen, zonder dat het extra geld kost aan AI-labels.

Het Probleem: De "Gouden Standaard" is Te Duur

In de wereld van online media moeten bedrijven zoals Pinterest een balans vinden tussen het gebruikersbetrokkenheid hoog houden en ervoor zorgen dat gebruikers niet te veel van bepaalde soorten content zien (zoals onveilige afbeeldingen of spam van lage kwaliteit). Om dit te doen, voeren ze A/B-tests uit. In deze tests passen ze het algoritme aan om te zien of het de hoeveelheid specifieke content die gebruikers zien, verandert.

Om dit te meten, is de "gouden standaard" het gebruik van een AI (een LLM) om een steekproef van de content te bekijken en deze perfect te labelen. Dit is als een team van deskundige kunstcritici die elk schilderij in een galerie onderzoekt om te tellen hoeveel landschappen er zijn. Het is accuraat, maar traag en ongelooflijk duur. Als je honderden experimenten tegelijkertijd draait en je moet de content voor elke groep in elk experiment controleren, dan zouden de kosten astronomisch zijn. Je kunt het simpelweg niet betalen om de "experts" alles, elke dag, te laten bekijken.

Bovendien zijn de veranderingen waar bedrijven om geven vaak erg klein. Als een nieuw algoritme de hoeveelheid "AI-gegenereerde kunst" die gebruikers zien met slechts 2% of 5% vermindert, is een enkele, dure controle misschien niet nauwkeurig genoeg om te vertellen of die verandering echt is of gewoon willekeurige ruis. Het is als proberen een fluistering te horen in een lawaaierige kamer met een enkele, dure microfoon; je zou het mogelijk volledig missen.

De Oplossing: Een Globale Kalibratiekaart

Het team bij Pinterest realiseerde zich dat ze de dure AI niet nodig hadden om alles voor elk experiment te laten labelen. In plaats daarvan hadden ze een manier nodig om een goedkopere, snellere methode te "kalibreren" met de wijsheid van de dure AI.

Denk er zo over na: Stel je voor dat je een supernauwkeurige maar trage thermometer hebt (de LLM) en een goedkope, snelle thermometer (de ML-modelscore). De goedkope thermometer geeft je een getal, maar het is niet perfect nauwkeurig. Echter, als je de dure thermometer gebruikt om de temperatuur op een paar specifieke plekken elke dag te controlen, kun je een kaart maken die je precies vertelt hoe je de meting van de goedkope thermometer voor elke locatie kunt corrigeren.

Het artikel beschrijft een systeem dat precies dit doet:

Globale Kalibratie: In plaats van items voor elk experiment afzonderlijk te labelen, voeren ze een dagelijks, globaal selectieproces uit. Ze gebruiken de dure LLM om een representatieve steekproef van het volledige verkeer op het platform te labelen.
Bucketing (Groeperen): Ze nemen de scores van het goedkope, snelle model (dat voorspelt hoe waarschijnlijk het is dat een item bijvoorbeeld "AI-gegenereerd" is) en groeperen deze in "buckets" (bijv. 0–10%, 10–20%, enz.).
De Vertaling: Met behulp van de dagelijkse LLM-labels berekenen ze exact welk percentage van de items in elke bucket daadwerkelijk "AI-gegenereerd" is. Dit creëert een tabel met een opzoekmethode: "Als het goedkope model zegt dat een item in de 80–90% bucket zit, is er een kans van 95% dat het daadwerkelijk AI-gegenereerd is."
Directe Meting: Nu hoeven ze voor een nieuw experiment de dure AI niet aan te roepen. Ze kijken simpelweg naar de scores van het goedkope model voor de items in dat experiment, zien in welke buckets ze vallen, en gebruiken de vooraf berekende kaart om direct de prevalentie te weten.

De Resultaten: Het Opvangen van de Fluisteringen

Het team heeft dit systeem getest tegen de "gouden standaard" LLM-metingen in echte experimenten. De resultaten waren indrukwekkend:

Schaalbaarheid: Het systeem bedient momenteel ongeveer 100 experimenten en 250 verschillende groepen (armen) elke dag.
Efficiëntie: Vergeleken met de oude methode van een enkele, dure controle per experiment, biedt dit nieuwe systeem dagelijkse metingen voor meer dan 20 keer zoveel gelijktijdige experimenten met hetzelfde labelingbudget.
Nauwkeurigheid: In ongeveer 300 productie-audits bevatte het 95%-betrouwbaarheidsinterval van het systeem het antwoord van de dure LLM in 92% van de gevallen. Dit betekent dat de goedkope, snelle methode bijna net zo betrouwbaar is als de dure.
Gevoeligheid: De meest opwindende bevinding ging over het detecteren van kleine veranderingen. In één experiment detecteerde het nieuwe systeem een kleine maar consistente relatieve afname van 4,2% in een specifere type content. Een enkele, dure LLM-controle op datzelfde experiment zou dit volledig gemist hebben omdat de ruis te hoog was. Door dagelijkse data te aggregeren, kon het nieuwe systeem de "fluistering" horen die de dure microfoon miste.

Waarom het ertoe doet

Dit gaat niet alleen over het besparen van geld; het gaat over het maken van betere beslissingen. Voordat dit systeem bestond, moesten teams misschien het meten van de prevalentie van content in veel experimenten overslaan omdat het te kostbaar was. Of ze namen beslissingen op basis van een enkel, ruizig datapunt dat kleine maar belangrijke trends miste.

Door "globaal te kalibreren en overal te meten," heeft het team een systeem gecreëerd waarbij de kosten van de dure AI één keer worden betaald (of worden geamortiseerd) en vervolgens duizenden keren worden hergebruikt. Het verandert een traag, duur proces in een snelle, dagelijkse routine. Hierdoor kunnen productteams het volledige plaatje zien van hoe hun wijzigingen de blootstelling aan content beïnvloeden, wat ervoor zorgt dat het platform veilig, kwalitatief hoogwaardig en boeiend blijft voor iedereen, zonder dat het een fortuin kost.

Het artikel benadrukt dat dit een systeemniveau prestatie is, en niet alleen een nieuwe wiskundige formule. Het gaat om het bouwen van een pijplijn die een terugkerende, dure taak neemt en deze in een herbruikbare activa verandert. Hoewel het artikel opmerkt dat de kosten voor LLM's in de toekomst kunnen dalen, waardoor direct labelen goedkoper wordt, blijft de logica van dit systeem—het gebruik van een globale kalibratie om metingen op te schalen—een krachtig hulpmiddel voor het beheren van complexe, grootschalige experimenten vandaag de dag.

Technische Samenvatting: Globaal Kalibreren, Overal Meten

Probleemstelling
Online mediaplatforms zoals Pinterest vertrouwen op A/B-experimenten om productwijzigingen te evalueren. Een cruciale metriek voor deze experimenten is prevalentie: het fractie van impressies die geassocieerd zijn met specifieke inhoudelijke attributen (bijv. "Food-Recipe" of "Gen-AI Generated"). Hoewel Large Language Models (LLM's) hoogwaardige labeling bieden voor deze attributen, is het uitvoeren van LLM-gebaseerde labeling voor elk experiment, elke arm, elk segment en elke dag kostenoverheersend. Het direct toepassen van LLM-labeling op duizenden gelijktijdige experimenten is operationeel onhaalbaar. Bovendien missen single-shot LLM-metingen per arm vaak de statistische kracht om kleine maar betekenisvolle effecten (relatieve verschuivingen van 2–5%) te detecteren vanwege de steekproefonzekerheid.

Methodologie: De ML Score Bucket Surrogate
De auteurs stellen een systeembrede oplossing voor in plaats van een nieuwe statistische estimator. De kernmethodologie bestaat uit het gebruik van een Machine Learning (ML) model score als een surrogaatuitkomst, gekalibreerd tegen een terugkerende, globale stroom van met LLM gelabelde data.

Globale Kalibratie: In plaats van per experiment te labelen, onderhoudt het systeem één enkele globale kalibratie van ML score buckets.
- Bucketisatie: Model scores ( $m_{i,k}$ ) voor een categorie $k$ worden gediscretiseerd in $B$ buckets (bijv. $[0, 0.1), [0.1, 0.2), \dots$ ).
- Kalibratiesample: Een dagelijkse, platformbrede, met LLM gelabelde stroom wordt gebruikt om de bucket-niveau prevalentie ( $\hat{P}_{k,b}$ ) te schatten, gedefinieerd als de waarschijnlijkheid dat een item in bucket $b$ werkelijk tot categorie $k$ behoort.
- Steekproefontwerp: Om voldoende data te garanderen in buckets met hoge scores (die vaak zeldzaam zijn), zijn de steekproefgewichten evenredig aan $I_i \times m_{i,k}$ (impressies $\times$ model score), in plaats van alleen impressies. Dit balanceert de steekproefverdeling over de buckets.
- Estimatie: De prevalentie op bucket-niveau wordt geschat met de Hansen–Hurwitz estimator op de PPSWOR (Probability Proportional to Size Without Replacement) sample.
Surrogaat Toepassing:
- Voor elke specifieke experiment-arm $S$ berekent het systeem het aandeel impressies dat in elke score bucket valt ( $c_{k,b}(S)$ ) rechtstreeks vanuit de impressielogs.
- De prevalentie op arm-niveau wordt berekend als een gewogen som: $\hat{P}_k(S) \approx \sum_{b} c_{k,b}(S) \cdot \hat{P}_{k,b}$ .
- Deze berekening is deterministisch en wordt uitgevoerd via SQL, waardoor er geen nieuwe LLM-aanroepen nodig zijn voor de specifieke experimenten.
Variantie en Inferentie:
- Het systeem propageert variantie van de bucket-niveau kalibratie naar de uiteindelijke schatting.
- Delta-georiënteerd Dashboard: Om kleine verschuivingen te detecteren, aggregeert het systeem dagelijkse delta's ( $\Delta(d)$ ) tussen treatment- en control-armen. Het gebruikt een sign test op deze dagelijkse delta's om statistische significantie te bepalen, waardoor de ruis die inherent is aan absolute prevalentieschattingen door kalibratie-onzekerheid effectief wordt weggefilterd.

Belangrijkste Bijdragen

Systeemarchitectuur: De primaire bijdrage is een ingezet meetinstrument dat de kosten van dure LLM-labeling amortiseert over honderden gelijktijdige experimenten.
Nul Incrementele Kosten: In de implementatie bij Pinterest hergebruikt het systeem een bestaande dagelijkse LLM-workflow die wordt gebruikt voor platformbrede monitoring, wat resulteert in nul incrementele labelingkosten voor per-experiment metrieken.
Schaalbaarheid: Het systeem bedient dagelijks ~100 experimenten en ~250 armen over zes inhoudscategorieën. Het biedt dagelijkse prevalentie per arm voor meer dan 20x meer gelijktijdige armen dan mogelijk zou zijn met een per-experiment LLM-budget.
Sensitiviteit: Door dagelijkse delta's te aggregeren, herstelt het systeem kleine (2–5%) relatieve verschuivingen die single-shot LLM-metingen zouden missen door brede betrouwbaarheidsintervallen.

Resultaten en Validatie
Het systeem is gevalideerd via productie-audits tegen de LLM-gebaseerde referentie-estimator op live A/B-experimenten:

Nauwkeurigheid: Over ~300 audits bevatte het 95% betrouwbaarheidsinterval van de surrogaat in 92% van de evaluaties de LLM-gebaseerde referentie punt-schatting. De intervallen overlapten in 96% van de gevallen.
Casestudy's:
- Experiment A (Filtering): De surrogaat detecteerde correct significante reducties in prevalentie (ongeveer 19–36% dalingen) voor gefilterde categorieën, waarbij de schattingen binnen de betrouwbaarheidsintervallen van de LLM-referentie vielen.
- Experiment B (UI Verandering): De surrogaat identificeerde correct geen significante verschuiving in prevalentie, wat overeenkwam met de nulhypothese.
- Experiment C (Kleine Verschuiving): Een enkele per-arm LLM-meting slaagde er niet in een ~4% relatieve reductie te detecteren (p-waarde 0.31). De surrogaat, via dagelijkse delta-aggregatie, detecteerde deze verschuiving als statistisch significant (p-waarde < 0.001).
Latentie: De surrogaat levert resultaten in <10 seconden (interactieve latentie) via SQL, vergeleken met 10–24 uur voor LLM-gebaseerde verwerking.

Betekenis en Claims
De paper stelt dat de betekenis ligt in het opschalen van LLM-gebaseerde meting. Het argumenteert dat hoewel LLM's uitstekende "rechters" zijn, ze te duur zijn om de standaard metriek voor elk experiment te zijn. Door de ML score als een surrogaat te behanden en deze globaal te kalibreren, maakt het systeem het volgende mogelijk:

Hoge-getrouwheid Meting op Schaal: Het uitbreiden van LLM-kwaliteit inzichten naar miljarden dagelijkse impressies zonder proportionele kostenstijgingen.
Operationele Haalbaarheid: Het maken van prevalentie een standaard, dagelijkse metriek voor productteams in plaats van een zeldzame, eenmalige analyse.
Kostenamortisatie: Het verschuiven van het kostenmodel van "betalen per experiment/arm" naar "één keer betalen voor globale kalibratie", waardoor hoogwaardige meting toegankelijk wordt voor alle downstream experimenten.

De auteurs merken op dat hoewel LLM-kosten uiteindelijk kunnen dalen, het systeempatroon van het scheiden van absolute niveaus van delta's en het amorteren van kalibratie over gelijktijdige experimenten een waardevol architecturaal patroon blijft voor productie-meetinstrumenten.

Het Probleem: De "Gouden Standaard" is Te Duur

De Oplossing: Een Globale Kalibratiekaart

De Resultaten: Het Opvangen van de Fluisteringen

Waarom het ertoe doet

Meer zoals dit