📊 statistics

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

Dit artikel presenteert een op ontwerp gebaseerd meetsysteem dat ML-ondersteunde waarschijnlijkheidssteekproeven combineert met LLM-labeling om de prevalentie van beleidsovertredende inhoud over verschillende gebruikerssegmenten heen efficiënt en nauwkeurig te schatten, terwijl de statistische onbevooroordeeldheid en kosteneffectiviteit behouden blijven.

Oorspronkelijke auteurs: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Gepubliceerd 2026-08-18

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Op de uitgestrekte digitale landschappen waar miljarden mensen dagelijks foto's, ideeën en verhalen delen, blijft een stille maar cruciale uitdaging bestaan: hoe weet je wat je gebruikers werkelijk te zien krijgen? Jarenlang hebben platforms vertrouwd op gebruikersrapportages om schadelijke inhoud te signaleren, maar deze methode is als het proberen te meten van de diepte van een rivier door alleen de mensen te tellen die om hulp roepen. Veel gevaren worden niet gerapporteerd omdat gebruikers ze niet opmerken, niet weten hoe ze ze moeten rapporteren, of simpelweg niet met het systeem willen in interactie treden. Om de veiligheid van een platform werkelijk te begrijpen, moeten teams prevalentie meten — de werkelijke fractie van de keren dat een gebruiker content tegenkomt die de regels overtreedt. Dit vereist het bekijken van de gehele stroom aan content, niet alleen de delen die al zijn gemarkeerd. Het probleem is dat schadelijke content vaak zeldzaam is, en het handmatig controleren van elk item is te traag en te duur om elke dag te doen.

Een team onderzoekers bij Pinterest heeft een nieuwe manier ontwikkeld om dit op te lossen, door een systeem te creëren dat slimme bemonstering combineert met geavanceerde kunstmatige intelligentie om veiligheid met ongekende snelheid en nauwkeurigheid te meten. In plaats van te wachten op klachten, nemen ze een dagelijkse, representatieve snapshot op van alles wat aan gebruikers wordt getoond. Ze gebruiken een statistische methode die hun beperkte controlebudget richt op de meest waarschijnlijke kandidaten voor overtredingen, waardoor ze genoeg voorbeelden vinden om zeker te zijn van hun cijfers zonder alles te hoeven controleren. Vervolgens gebruiken ze een groot taalmodel — een AI die getraind is om tekst en afbeeldingen te begrijpen — om deze monsters te labelen, waarbij het fungeert als een onvermoeibare, consistente beoordelaar. Door deze technieken te combineren, kunnen ze een dagelijks rapport produceren over hoe vaak gebruikers schadelijke content zien, compleet met een maatstaf voor hoe precies dat getal is. Dit stelt veiligheidsteams in staat om opkomende problemen onmiddellijk te signaleren, te testen of hun oplossingen werken, en precies te begrijpen waar en wanneer risico's verschijnen, zonder te hoeven wachten tot menselijke beoordelaars wekenlang achterlopen.

De kern van dit systeem is een slimme manier om te kiezen welke stukken content onderzocht moeten worden. In een zee van miljarden dagelijkse weergaven is het vinden van een zeldzame overtreding als het zoeken naar een specifiek type blad in een bos. Als je willekeurig bladeren kiest, loop je misschien kilometers zonder iets te vinden. De onderzoekers gebruiken in plaats daarvan een "gewogen" benadering. Ze kijken naar twee belangrijke aanwijzingen: hoe vaak een stuk content aan mensen is getoond, en een risicoscore gegenereerd door de bestaande veiligheidsmodellen van het platform. Ze combineren deze aanwijzingen om een lijst te maken waarbij items die zowel populair als riskant zijn, een grotere kans hebben om voor controle te worden gekozen. Dit betekent niet dat ze alleen riskante items controleren; ze kiezen nog steeds uit de hele populatie, maar ze sturen de kansen iets bij om ervoor te zorgen dat ze genoeg voorbeelden van overtredingen krijgen om een solide statistische schatting te maken. Deze methode stelt hen in staat om een vast aantal controles per dag uit te voeren en toch een helder beeld van het hele platform te krijgen, zelfs wanneer overtredingen extreem zeldzaam zijn.

Zodra het systeem de dagelijkse steekproef heeft geselecteerd, gaat het over naar de labelingsfase. Hier hebben de onderzoekers het traditionele menselijke beoordelingsproces vervangen door een multimodale groot taalmodel. Deze AI kan naar een afbeelding kijken, de tekst lezen en de context begrijpen, net als een menselijke moderator. De onderzoekers lieten de AI echter niet simpelweg beslissen; ze bouwden een rigoureus kwaliteitscontrolesysteem rondom het model. Voordat de AI de dagelijkse monsters mag labelen, wordt deze getest tegen een "gold set" van content die zorgvuldig is beoordeeld door menselijke experts. De AI moet de beslissingen van de menselijke experts matchen binnen een zeer nauwe foutmarge voordat deze wordt ingezet. Eenmaal live blijft het systeem het werk van de AI controleren door een willekeurige selectie van de dagelijkse labels terug te sturen naar menselijke experts voor verificatie. Dit zorgt ervoor dat de AI niet afdwaalt of systematische fouten maakt over de tijd. Het resultaat is een labelingsproces dat ongeveer vijftien keer sneller is dan een proces met alleen menselijke beoordeling en meer dan tien keer minder kost, terwijl een vergelijkbaar niveau van nauwkeurigheid behouden blijft.

De kracht van deze aanpak ligt in het vermogen om een enkel, verenigd overzicht van het platform te bieden dat op veel verschillende manieren kan worden geanalyseerd. Omdat de onderzoekers elke dag één globale steekproef trekken, kunnen ze onmiddellijk antwoord geven op vragen over hoe de veiligheid varieert per regio, per type contentoppervlak of per ouderdom van de content, zonder voor elke vraag een nieuwe studie te hoeven uitvoeren. Ze kunnen zien of een nieuwe beleidswijziging werkt door de cijfers voor en na de wijziging te vergelijken, of dat een specifiek type schadelijke content piekt in een bepaat land. Het systeem berekent ook een betrouwbaarheidsinterval voor elk geproduceerd getal, wat het veiligheidsteam vertelt hoeveel vertrouwen zij in het resultaat kunnen stellen. Als het getal gebaseerd is op zeer weinig voorbeelden van een zeldzame overtreding, zal het betrouwbaarheidsinterval breed zijn, wat signaleert dat het team moet wachten op meer data voordat ze een belangrijke beslissing nemen.

De onderzoekers hebben dit systeem uitgebreid getest, zowel in simulaties als in hun werkelijke productieomgeving bij Pinterest, waar het al meer dan een jaar dagelijks draait. Ze ontdekten dat door hun ML-ondersteunde bemonsteringsmethode te gebruiken, ze zes tot elf keer meer overtredingen in hun dagelijkse steekproef konden vinden vergeleken met een standaard willekeurige bemonsteringsmethode. Deze efficiëntie betekende dat ze hetzelfde niveau van statistische precisie konden bereiken met veel minder controles, of veel nauwkeurigere, betrouwbaardere cijfers konden krijgen met dezelfde hoeveelheid werk. Ze toonden ook aan dat zelfs wanneer de onderliggende risicoscores die de bemonstering sturen in de loop van de tijd veranderden of minder nauwkeurig werden, de uiteindelijke schattingen van het systeem onbevooroordeeld bleven. De fouten uitten zich als bredere betrouwbaarheidsintervallen in plaats van foutieve antwoorden, wat een cruciaal onderscheid is voor besluitvormers die moeten weten wanneer een trend echt is en wanneer het slechts ruis is.

Een van de belangrijkste bevindingen was hoe het systeem omgaat met de onvermijdelijke fouten die gepaard gaan met automatische labeling. De onderzoekers ontdekten dat bij zeer zeldzame overtredingen het grootste risico niet het missen van een overtreding is, maar het onterecht markeren van veilige content als schadelijk. Eén enkele fout-positieve melding in een zee van veilige content kan het laten lijken alsof een probleem tien keer erger is dan het in werkelijkheid is. Om dit te beheersen, monitort het systeem constant het percentage fout-positieve meldingen van de AI. Als dit percentage te hoog wordt, kan het systeem een wiskundige correctie toepassen op de definitieve cijfers om voor de fout te compenseren, of het kan een menselijke controle triggeren van de specifieke items die de piek veroorzaken. Dit zorgt ervoor dat de dagelijkse rapporten de werkelijkheid weerspiegelen in plaats van de eigenaardigheden van het AI-model. Het team merkte ook op dat dagelijkse schommelingen in de cijfers vaak werden gedreven door veranderingen in de typen geposteerde content of subtiele verschuivingen in de interpretatie van de regels door de AI, in plaats van door werkelijke veranderingen in de veiligheidsniveaus. Door deze kortstondige variaties uit te middelen en zich te concentreren op wekelijkse trends, konden ze onderscheid maken tussen normale ruis en echte, opkomende dreigingen.

Dit werk vertegenwoordigt een verschuiving in hoe digitale platforms veiligheid monitoren, van een reactief model gebaseerd op gebruikersklachten naar een proactieve, datagestuurde aanpak. Door veiligheidsmeting te behandelen als een statistische wetenschap in plaats van alleen een handhavingsopdracht, hebben de onderzoekers een instrument gecreëerd dat problemen kan detecteren op het moment dat ze beginnen te verschijnen. Het systeem is ontworpen om flexibel te zijn, waardoor teams snel nieuwe regels kunnen toevoegen of parameters kunnen aanpassen naarmate het landschap van online content verandert. Het rust op een continue lus van bemonstering, AI-labeling, menselijke verificatie en statistische analyse, wat een feedbackloop creëert die snel genoeg is om het tempo van het internet bij te houden. De onderzoekers benadrukken dat dit systeem geen vervanging is voor menselijk oordeel of beleidshandhaving, maar een complementair hulpmiddel dat de helderheid biedt die nodig is om die beslissingen effectief te nemen. Het maakt het onzichtbare zichtbaar en geeft veiligheidsteams de ogen die ze nodig hebben om de werkelijke staat van hun platforms te begrijpen en hun gebruikers met grotere precisie en snelheid te beschermen.

Technisch overzicht: Het meten van de prevalentie van beleidschendende inhoud met ML-ondersteunde bemonstering en LLM-labeling

1. Probleemstelling

Contentveiligheidsteams van platforms met door gebruikers gegenereerde inhoud (UGC) worden geconfronteerd met een kritische kloof in meting: het uitsluitend vertrouwen op gebruikersrapportages biedt een onvolledig beeld van de veiligheid, aangezien veel schade ondergerapporteerd wordt of zeldzame categorieën onvoldoende gegevens opleveren voor statistische monitoring. Om dit aan te pakken, hebben teams behoefte aan prevalentie-metrieken—het deel van de gebruikersweergaven (impressies) die wordt blootgesteld aan beleidschendende inhoud op een gegeven dag.

Nauwkeurige prevalentiemeting is historisch gezien moeilijk vanwege twee factoren:

Zeldzaamheid van overtredingen: Beleidsovertredingen zijn vaak zeldzame gebeurtenissen, waardoor eenvoudige willekeurige bemonstering (random sampling) inefficiënt is en disproportioneel grote steekproeven vereist om statistische kracht te bereiken.
Kosten en latentie van menselijke labeling: Traditionele menselijke beoordeling is te traag en te duur om dagelijkse, platform-representatieve studies te ondersteunen, wat snelle feedbackloops voor het detecteren van opkomende schade of het evalueren van interventies verhindert.

Het doel is om een systeem te construeren dat in staat is tot dagelijkse, onbevooroordeelde, expositie-gewogen prevalentie-schatting die granulariteit in drill-downs ondersteunt (per oppervlak, geografie, inhoudsleeftijd) zonder opnieuw te bemonsteren, terwijl de statistische strengheid en operationele haalbaarheid behouden blijven.

2. Methodologie

De auteurs stellen een driefasig meetsysteem voor dat design-gebaseerde bemonstering, ML-ondersteunde weging en LLM-gestuurde labeling combineert.

A. ML-ondersteunde waarschijnlijkheidsbemonstering

Om de zeldzaamheid van overtredingen aan te pakken, gebruikt het systeem Probability Proportional to Size (PPS) bemonstering, uitgebreid met hulp-risicoscores van productie-veiligheidsmodellen.

Bemonsteringsgewichten: Elk inhoudseenheid $j$ krijgt een gewicht $w_j$ gebaseerd op het totaal aantal impressies ( $C_j$ ) en een hulp-risicoscore ( $s_j$ ):
$w_j = C_j^\nu (s_j^\gamma + \epsilon)$
Hierbij regelt $\nu$ de expositie-weging, $\gamma$ de invloed van de risicoscore, en $\epsilon$ zorgt voor een niet-nul dekkingskans voor items zonder score.
Implementatie: Het systeem gebruikt weighted reservoir sampling (Efraimidis–Spirakis algoritme) om efficiënt een vaste grootte steekproef ( $m$ ) te trekken uit miljarden dagelijkse impressies in een streaming-modus ( $O(m)$ geheugen).
Onbevooroordeeldheid: Cruciaal is dat de risicoscore $s_j$ alleen wordt gebruikt voor de prioritering van de bemonstering, niet als label. De uiteindelijke estimator herweegt de monsters door $1/p_j$ (waarbij $p_j$ de kans op selectie is) om ervoor te zorgen dat de prevalentieschatting design-consistent en onbevooroordeeld blijft, ongeacht de evolutie van de drempelwaarden van de onderliggende modellen.

B. LLM-ondersteunde labeling

Gesamplede items worden gelabeld door een multimodaal Large Language Model (LLM) in plaats van menselijke beoordelaars voor het grootste deel van de workload.

Input: De LLM ontvangt de inhoud (afbeeldingen/videokeyframes, tekstmetadata) en een door experts (SME) beoordeelde policy-prompt.
Output: Gestructureerde JSON met een binaire schendingslabel, een rationale en een betrouwbaarheidsscore.
Governance: Om de kwaliteit te waarborgen, hanteert het systeem een gold-set validatieworkflow. Voordat de lancering plaatsvindt, moet de LLM-configuratie voldoen aan specifieke drempelwaarden voor beslissingskwaliteit (bias en F1-score) ten opzichte van menselijke experts. Na de lancering wordt een willekeurige deelsteekproef van dagelijkse items naar menselijke validatie gestuurd om drift te monitoren (beleidswijzigingen, verschuivingen in content of modelupdates).

C. Design-consistente schatting en onzekerheidskwantificering

Het systeem berekent de expositie-gewogen prevalentie ( $\theta$ ) met behulp van de Hansen–Hurwitz ratio-estimator (voor PPS met vervanging) of Horvitz–Thompson varianten (voor zonder vervanging).

Single-Sample Drill-Downs: Een belangrijk ontwerpdoel is dat één enkele dagelijkse steekproef meerdere segmenten ondersteunt (bijv. geografie, oppervlak). Door segment-specifieke impressie-aantallen ( $C_{jg}$ ) voor gesamplede items te bewaren, kan het systeem de prevalentie voor elk segment berekenen zonder opnieuw te bemonsteren.
Onzekerheidskwantificering: Het systeem rapporteert 95% betrouwbaarheidsintervallen (CI's) met behulp van Taylor-linearisatie voor de ratio-estimator. Het houdt ook de Kish Effectieve Steekproefgrootte (ESS) bij om de impact van variantie in gewichten op de precisie te monitoren.
Correctie van Labelfouten: In het besef dat LLM's fout-positieve ratio's ( $f$ ) en sensitiviteit ( $r$ ) hebben, modelleert het systeem de gemeten prevalentie $\theta^{(L)}$ als een functie van de werkelijke prevalentie $\theta$ . Als de foutratio's homogeen zijn, wordt een Rogan–Gladen correctie toegepast. Het systeem monitort voor door labelfouten veroorzaakte opwaartse fluctuaties (vaak voorkomend in regimes met zeldzame gebeurtenissen) en triggert menselijke adjudicatie bij anomalieën met een hoge invloed.

3. Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

Een Design-Consistente Estimator: Een methode voor dagelijkse prevalentiebepaling die meerdere segment-drill-downs ondersteunt vanuit één globale waarschijnlijkheidssteekproef, wat onbevooroordeeldheid garandeert zelfs wanneer handhavingsmodellen evolueren.
Praktische Onzekerheidskwantificering: Een uitgebreid kader voor CI's, ESS-diagnostiek en een sensitiviteitsanalyse van hoe labelfouten (met name fout-positieven) voortplanten in prevalentieschattingen, inclusclusief instructies over wanneer bias-correcties geactiveerd moeten worden.
Hyperparameter Configuratie Workflow: Een concrete, op simulaties gebaseerde workflow voor het afstemmen van bemonsteringsparameters ( $\nu, \gamma, \epsilon$ ) om het aantal positieve samples te balanceren tegen de effectieve steekproefgrootte voor nieuwe policies.
Configureerbare Engineering Workflow: Een end-to-end systeem waarbij policy-definities, prompts en gold sets declaratieve configuraties zijn, wat de snelle onboarding van nieuwe policy-metrieken mogelijk maakt zonder op maat gemaakte engineering-pipelines.

4. Resultaten en Empirisch Bewijs

Het systeem is al meer dan een jaar dagelijks in productie bij Pinterest voor meerdere beleidsterreinen. Vanwege vertrouwelijkheid met betrekking tot absolute prevalentieniveaus, worden resultaten gerapporteerd in relatieve termen en via synthetische simulaties.

Bemonsteringsefficiëntie: In productie verhoogde ML-ondersteunde bemonstering (met behulp van risicoscores) de fractie positieve samples met 6× tot 11,4× vergeleken met impression-only PPS bemonstering bij een vaste label-budget. Dit vermindert het benodigde label-budget aanzienlijk om een doelstelling voor de breedte van de CI te bereiken.
Labelingefficiëntie: De LLM-ondersteunde workflow verminderde de end-to-end labeling-latentie met ongeveer 15× en de operationele kosten met >10× vergeleken met menselijke workflows, terwijl een vergelijkbare beslissingskwaliteit werd behouden.
Statistische Robuustheid: Simulaties tonen aan dat design-gebaseerde herweging de punt-schattingen onbevooroordeeld houdt, zelfs wanneer hulp-risicoscores driften; het primaire effect van drift is een toename in variantie (bredere CI's) in plaats van bias.
Hyperparameter Sensitiviteit: Experimenten laten zien dat het verhogen van de risicoscore-exponent ( $\gamma$ ) de precisie verbetert tot een bepaald punt (bijv. $\gamma=1$ ), maar agressieve 'tilting' ( $\gamma \ge 2$ ) de effectieve steekproefgrootte doet instorten, wat de prestaties verslechtert.
Minimum Detectable Effects (MDE): Het systeem maakt de detectie mogelijk van relatieve veranderingen zo klein als 5–6,5% (relatief aan het gemiddelde) op wekelijkse basis, afhankelijk van het beleidsterrein en het label-volume.

5. Betekenis en Claims

Het artikel beweert dat deze aanpak het werkpunt van contentveiligheidsmeting fundamenteel verschuift:

Van Incidentele Audits naar High-Frequency Feedback: Door de latentie en kosten te verlagen, maakt het systeem dagelijkse, platform-representatieve monitoring mogelijk, waardoor teams in staat zijn om opkomende patronen te detecteren, snelle oorzaakanalyses uit te voeren en interventies (bijv. modellanceringen, beleidswijzigingen) in bijna realtime te evalueren.
Complementariteit aan Rapportage: Het systeem biedt zichtbaarheid in schade die ondergerapporteerd wordt, en biedt daarmee een complementaire metriek aan gebruikersrapportages.
Schaalbare Governance: De configureerbare workflow stelt veiligheidsteams in staat om metingen snel naar nieuwe policies op te schalen, gestuurd door gold-set validatie in plaats van op maat gemaakte engineering-inspanningen.
Ethische Veiligheid: Het systeem is ontworpen om menselijke blootstelling aan schadelijke inhoud te minimaliseren door LLM's te gebruiken voor de bulk-labeling en menselijke beoordeling te reserveren voor gerichte validatie en de adjudicatie van edge cases.

De auteurs benadrukken dat hoewel absolute prevalentieniveaus voor gevoelige policies vertrouwelijk zijn, de methodologie volledig gespecificeerd en geverifieerd is via synthetische simulaties, wat garandeert dat de aanpak onafhankelijk verifieerbaar en robuust is voor de uitdagingen van zeldzame-gebeurtenis-schatting in grootschalige systemen.