📊 statistics

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

Questo articolo presenta un sistema di misurazione basato sul design che combina il campionamento probabilistico assistito da ML con l'etichettatura tramite LLM per stimare in modo efficiente e accurato la prevalenza di contenuti che violano le policy attraverso vari segmenti di utenti, mantenendo al contempo l'assenza di pregiudizi statistici e l'efficacia dei costi.

Autori originali: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Pubblicato 2026-08-18

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Sui vasti paesaggi digitali dove miliardi di persone condividono foto, idee e storie ogni giorno, persiste una sfida silenziosa ma critica: come si può sapere cosa vedono realmente i propri utenti? Per anni, le piattaforme si sono affidate alle segnalazioni degli utenti per segnalare contenuti dannosi, ma questo metodo è come cercare di misurare la profondità di un fiume contando solo le persone che gridano per chiedere aiuto. Molti pericoli passano inosservati perché gli utenti non li notano, non sanno come segnalarli o semplicemente non vogliono interagire con il sistema. Per comprendere veramente la sicurezza di una piattaforma, i team devono misurare la prevalenza — ovvero la frazione effettiva di volte in cui un utente incontra contenuti che violano le regole. Ciò richiede l'analisi dell'intero flusso di contenuti, non solo delle parti che sono già state segnalate. Il problema è che i contenuti dannosi sono spesso rari, e controllare ogni singolo elemento manualmente è troppo lento ed costoso per essere fatto ogni giorno.

Un team di ricercatori di Pinterest ha sviluppato un nuovo modo per risolvere questo problema, creando un sistema che combina un campionamento intelligente con un'intelligenza artificiale avanzata per misurare la sicurezza con una velocità e un'accuratezza senza precedenti. Invece di aspettare i reclami, effettuano ogni giorno un'istantanea rappresentativa di tutto ciò che viene mostrato agli utenti. Utilizzano un metodo statistico che concentra il loro budget limitato di controllo sui candidati più probabili per una violazione, assicurando di trovare abbastanza esempi per essere certi dei propri numeri senza dover controllare tutto. Successivamente, utilizzano un modello linguistico di grandi dimensioni — un'IA addestrata a comprendere testi e immagini — per etichettare questi campioni, agendo come un revisore instancabile e coerente. Combinando queste tecniche, possono produrre un rapporto giornaliero su quanto spesso gli utenti vedano contenuti dannosi, completo di una misura di quanto sia precisa tale cifra. Ciò consente ai team di sicurezza di individuare i problemi emergenti immediatamente, testare se le loro correzioni stanno funzionando e capire esattamente dove e quando compaiono i rischi, il tutto senza dover aspettare settimane che i revisori umani si riprendano.

Il cuore di questo sistema è un modo intelligente di scegliere quali pezzi di contenuto esaminare. In un mare di miliardi di visualizzazioni quotidiane, trovare una violazione rara è come cercare un tipo specifico di foglia in una foresta. Se si scelgono foglie a caso, si potrebbe camminare per miglia senza trovare nulla. I ricercatori utilizzano invece un approccio "pesato". Osservano due indizi principali: quante volte un contenuto è stato mostrato alle persone e un punteggio di rischio generato dai modelli di sicurezza esistenti della piattaforma. Combinano questi indizi per creare una lista in cui gli elementi che sono sia popolari che rischiosi hanno maggiori probabilità di essere scelti per la revisione. Questo non significa che controllano solo gli elementi rischiosi; scelgono comunque dall'intera popolazione, ma inclinano leggermente le probabilità per garantire di ottenere abbastanza esempi di violazioni per fare una solida stima statistica. Questo metodo permette loro di utilizzare un numero fisso di controlli ogni giorno e ottenere comunque un quadro chiaro dell'intera piattaforma, anche quando le violazioni sono estremamente rare.

Una volta che il sistema ha selezionato il suo campione giornaliero, passa alla fase di etichettatura. Qui, i ricercatori hanno sostituito il tradizionale processo di revisione umana con un modello linguistico di grandi dimensioni multimodale. Questa IA può guardare un'immagine, leggere il testo e comprenderne il contesto, proprio come un moderatore umano. Tuttavia, i ricercatori non si sono limitati a lasciare che l'IA decidesse; hanno costruito un rigoroso sistema di controllo della qualità attorno ad essa. Prima che l'IA sia autorizzata a etichettare i campioni giornalieri, viene testata contro un "gold set" di contenuti che sono stati attentamente revisionati da esperti umani. L'IA deve corrispondere alle decisioni degli esperti umani entro un margine di errore molto stretto prima di essere attivata. Una volta operativa, il sistema continua a controllare il lavoro dell'IA inviando una selezione casuale dei suoi etichette giornaliere agli esperti umani per la verifica. Ciò assicura che l'IA non derivi o commetta errori sistematici nel tempo. Il risultato è un processo di etichettatura che è circa quindici volte più veloce della sola revisione umana e costa più di dieci volte meno, mantenendo un livello di accuratezza simile.

La forza di questo approccio risiede nella sua capacità di fornire una visione unica e unificata della piattaforma che può essere suddivisa e analizzata in molti modi diversi. Poiché i ricercatori estraggono un unico campione globale ogni giorno, possono rispondere immediatamente a domande su come la sicurezza vari per regione, per tipo di superficie di contenuto o per l'età del contenuto, senza dover eseguire un nuovo studio per ogni domanda. Possono vedere se un aggiornamento delle politiche sta funzionando confrontando i numeri prima e dopo, o se un tipo specifico di contenuto dannoso sta aumentando in un particolare paese. Il sistema calcola anche un intervallo di confidenza per ogni numero prodotto, il che dice al team di sicurezza quanto fiducia riporre nel risultato. Se il numero si basa su pochissimi esempi di una violazione rara, l'intervallo di confidenza sarà ampio, segnalando al team che deve attendere ulteriori dati prima di prendere una decisione importante.

I ricercatori hanno testato ampiamente questo sistema, sia in simulazioni che nel loro ambiente di produzione reale a Pinterest, dove è in funzione quotidianamente da oltre un anno. Hanno scoperto che utilizzando il loro metodo di campionamento assistito da ML, potevano trovare da sei a undici volte più violazioni nel loro campione giornaliero rispetto a un metodo di campionamento casuale standard. Questa efficienza ha significato che potevano raggiungere lo stesso livello di precisione statistica con molti meno controlli, o ottenere numeri molto più stretti e affidabili con lo stesso lavoro. Hanno anche dimostrato che anche quando i punteggi di rischio sottostanti utilizzati per guidare il campionamento cambiavano o diventavano meno accurati nel tempo, le stime finali del sistema rimanevano non influenzate da bias. Gli errori si manifestavano come intervalli di confidenza più ampi piuttosto che come risposte errate, il che è una distinzione cruciale per i decisori che devono sapere quando una tendenza è reale e quando è solo rumore.

Uno dei risultati più significativi è stato come il sistema gestisce gli inevitabili errori che derivano dall'etichettatura automatizzata. I ricercatori hanno scoperto che per le violazioni molto rare, il rischio maggiore non è mancare una violazione, ma segnalare erroneamente come dannoso un contenuto sicuro. Un singolo falso positivo in un mare di contenuti sicuri può far sembrare che un problema sia dieci volte peggiore di quanto non sia in realtà. Per gestire questo, il sistema monitora costantemente il tasso di falsi positivi dell'IA. Se il tasso diventa troppo alto, il sistema può applicare una correzione matematica ai numeri finali per tenere conto dell'errore, oppure può innescare una revisione umana degli elementi specifici che causano il picco. Ciò assicura che i rapporti giornalieri riflettano la realtà piuttosto che le stranezze del modello di IA. Il team ha anche scoperto che le fluttuazioni giorno per giorno nei numeri erano spesso guidate da cambiamenti nei tipi di contenuti pubblicati o da sottili spostamenti nell'interpretazione delle regole da parte dell'IA, piuttosto che da cambiamenti reali nei livelli di sicurezza. Mitigando queste variazioni a breve termine e concentrandosi sulle tendenze settimanali, sono riusciti a distinguere tra il normale rumore e le vere minacce emergenti.

Questo lavoro rappresenta un cambiamento nel modo in cui le piattaforme digitali monitorano la sicurezza, passando da un modello reattivo basato sui reclami degli utenti a un approccio proattivo e basato sui dati. Trattando la misurazione della sicurezza come una scienza statistica piuttosto che come un semplice compito di applicazione delle regole, i ricercatori hanno creato uno strumento in grado di rilevare i problemi nel momento stesso in cui iniziano ad apparire. Il sistema è progettato per essere flessibile, consentendo ai team di aggiungere rapidamente nuove politiche o regolare i parametri man mano che il panorama dei contenuti online cambia. Si basa su un ciclo continuo di campionamento, etichettatura tramite IA, verifica umana e analisi statistica, creando un ciclo di feedback abbastanza veloce da stare al passo con la velocità di Internet. I ricercatori sottolineano che questo sistema non è un sostituto del giudizio umano o dell'applicazione delle politiche, ma uno strumento complementare che fornisce la chiarezza necessaria per prendere tali decisioni in modo efficace. Esso rende visibile l'invisibile, dando ai team di sicurezza gli occhi necessari per comprendere lo stato reale delle loro piattaforme e proteggere i propri utenti con maggiore precisione e velocità.

Riepilogo Tecnico: Misurare la Prevalenza di Contenuti che Violano le Policy con Campionamento Assistito da ML e Labeling tramite LLM

1. Definizione del Problema

I team di sicurezza dei contenuti sulle piattaforme di contenuti generati dagli utenti affrontano un vuoto critico nella misurazione: fare affidamento esclusivamente sulle segnalazioni degli utenti fornisce una visione incompleta della sicurezza, poiché molti danni sono sottosegnalati o le categorie rare producono dati insufficienti per il monitoraggio statistico. Per affrontare questo problema, i team necessitano di metriche di prevalenza — la frazione di visualizzazioni utente (impression) esposte a contenuti che violano le policy in un dato giorno.

La misurazione accurata della prevalenza è storicamente difficile a causa di due fattori:

Rarità delle Violazioni: Le violazioni delle policy sono spesso eventi rari, il che rende inefficiente il semplice campionamento casuale e richiede dimensioni del campione proibitivamente grandi per raggiungere la potenza statistica.
Costi e Latenza del Labeling Umano: La revisione umana tradizionale è troppo lenta ed costosa per supportare studi quotidiani rappresentativi della piattaforma, impedendo cicli di feedback rapidi per rilevare danni emergenti o valutare gli interventi.

L'obiettivo è costruire un sistema capace di una stima della prevalenza giornaliera, non influenzata da bias e ponderata per l'esposizione, che supporti analisi granulari (per superficie, geografia, età del contenuto) senza dover ricampionare, mantenendo al contempo il rigore statistico e la fattibilità operativa.

2. Metodologia

Gli autori propongono un sistema di misurazione in tre fasi che combina campionamento basato sul design, ponderazione assistita da ML e labeling guidato da LLM.

A. Campionamento a Probabilità Assistito da ML

Per affrontare la rarità delle violazioni, il sistema impiega un campionamento a Probabilità Proporzionale alla Dimensione (PPS), aumentato da punteggi di rischio ausiliari provenienti dai modelli di sicurezza in produzione.

Pesi di Campionamento: A ogni unità di contenuto $j$ viene assegnato un peso $w_j$ basato sulle sue impression totali ( $C_j$ ) e su un punteggio di rischio ausiliario ( $s_j$ ):
$w_j = C_j^\nu (s_j^\gamma + \epsilon)$
Qui, $\nu$ controlla la ponderazione dell'esposizione e $\gamma$ controlla l'influenza del punteggio di rischio, mentre $\epsilon$ garantisce un pavimento di probabilità non nullo per gli elementi non punteggiati.
Implementazione: Il sistema utilizza il campionamento a serbatoio pesato (algoritmo di Efraimidis–Spirakis) per estrarre efficientemente un campione di dimensione fissa ( $m$ ) da miliardi di impression giornaliere in modo streaming ( $O(m)$ di memoria).
Assenza di Bias: Fondamentalmente, il punteggio di rischio $s_j$ viene utilizzato solo per la prioritizzazione del campionamento, non come etichetta. Il determinante finale ripondera i campioni per $1/p_j$ (dove $p_j$ è la probabilità di estrazione) per garantire che la stima della prevalenza rimanga coerente con il design e non influenzata da bias, indipendentemente dall'evoluzione della soglia del modello sottostante.

B. Labeling Assistito da LLM

Gli elementi campionati vengono etichettati da un Modello di Linguaggio di Grandi Dimensioni (LLM) multimodale piuttosto che da revisori umani per la maggior parte del carico di lavoro.

Input: L'LLM riceve il contenuto (immagini/fotogrammi chiave video, metadati testuali) e un prompt di policy revisionato da esperti (SME).
Output: JSON strutturato contenente un'etichetta binaria di violazione, una razionale e un punteggio di confidenza.
Governance: Per garantire la qualità, il sistema impiega un workflow di validazione con gold-set. Prima del lancio, la configurazione dell'LLM deve soddisfare specifici parametri di qualità decisionale (bias e F1 score) rispetto agli SME umani. Dopo il lancio, un sottocampione casuale di elementi giornalieri viene indirizzato alla validazione umana per monitorare eventuali derive (cambiamenti di policy, cambiamenti nei contenuti o aggiornamenti del modello).

C. Stima Coerente con il Design e Quantificazione dell'Incertezza

Il sistema calcola la prevalenza ponderata per l'esposizione ( $\theta$ ) utilizzando lo stimatore del rapporto di Hansen–Hurwitz (per PPS con reinserimento) o varianti di Horvitz–Thompson (per senza reinserimento).

Drill-Down a Singolo Campione: Un obiettivo chiave del design è che un singolo campione giornaliero supporti molteplici segmenti (es. geografia, superficie). Conservando i conteggi delle impression specifici per segmento ( $C_{jg}$ ) per gli elementi campionati, il sistema può calcolare la prevalenza per qualsiasi segmento senza ricampionare.
Quantificazione dell'Incertezza: Il sistema riporta Intervalli di Confidenza (CI) al 95% utilizzando la linearizzazione di Taylor per lo stimatore del rapporto. Monitora inoltre il Kish Effective Sample Size (ESS) per controllare l'impatto della varianza dei pesi sulla precisione.
Correzione dell'Errore di Etichettatura: Riconoscendo che gli LLM possono avere tassi di falsi positivi ( $f$ ) e sensibilità ( $r$ ), il sistema modella la prevalenza misurata $\theta^{(L)}$ come funzione della prevalenza reale $\theta$ . Se i tassi di errore sono omogenei, viene applicata una correzione di Rogan–Gladen. Il sistema monitora le fluttuazioni verso l'alto indotte dagli errori di etichettatura (comuni nei regimi di eventi rari) e attiva l'adjudicazione umana per anomalie ad alta influenza.

3. Contributi Principali

Il documento dettaglia quattro contributi primari:

Uno Stimatore Coerente con il Design: Un metodo per la stima giornaliera della prevalenza che supporta molteplici drill-down di segmento da un singolo campione di probabilità globale, garantendo l'assenza di bias anche quando i modelli di enforcement evolvono.
Quantificazione Pratica dell'Incertezza: Un framework completo per i CI, i diagnostici della dimensione effettiva del campione e un'analisi di sensibilità su come gli errori di etichettatura (specificamente i falsi positivi) si propagano nelle stime di prevalenza, inclusa la guida su quando attivare le correzioni di bias.
Workflow di Configurazione degli Iperparametri: Un workflow concreto, supportato da simulazioni, per il tuning dei parametri di campionamento ( $\nu, \gamma, \epsilon$ ) per bilanciare il numero di campioni positivi rispetto all'effective sample size per nuove policy.
Workflow Ingegneristico Configurabile: Un sistema end-to-end in cui le definizioni delle policy, i prompt e i gold set sono configurazioni dichiarative, consentendo l'onboarding rapido di nuove metriche di policy senza pipeline ingegneristiche su misura.

4. Risultati ed Evidenze Empiriche

Il sistema è in produzione quotidiana presso Pinterest da oltre un anno in molteplici aree di policy. A causa della riservatezza riguardo ai livelli assoluti di prevalenza, i risultati sono riportati in termini relativi e tramite simulazioni sintetiche.

Efficienza del Campionamento: In produzione, il campionamento assistito da ML (utilizzando i punteggi di rischio) ha aumentato la frazione di campioni positivi di 6× fino a 11,4× rispetto al campionamento PPS basato solo sulle impression a un budget di etichettatura fisso. Ciò riduce significativamente il budget di etichettatura necessario per raggiungere una determinata ampiezza di CI.
Efficienza del Labeling: Il workflow assistito da LLM ha ridotto la latenza end-to-end del labeling di circa 15× e i costi operativi di oltre 10× rispetto ai workflow basati solo su umani, mantenendo una qualità decisionale comparabile.
Robustezza Statistica: Le simulazioni dimostrano che la riponderazione basata sul design mantiene le stime puntuali non influenzate da bias anche quando i punteggi di rischio ausiliari derivano; l'effetto principale della deriva è un aumento della varianza (CI più ampi) piuttosto che del bias.
Sensibilità degli Iperparametri: Gli esperimenti mostrano che l'aumento dell'esponente del punteggio di rischio ( $\gamma$ ) migliora la precisione fino a un certo punto (es. $\gamma=1$ ), ma un tilting aggressivo ( $\gamma \ge 2$ ) fa collassare l'effective sample size, degradando le prestazioni.
Effetti Minimi Rilevabili (MDE): Il sistema consente di rilevare cambiamenti relativi anche piccoli come il 5–6,5% (rispetto alla media) su base settimanale, a seconda dell'area di policy e del volume di etichettatura.

5. Significato e Rivendicazioni

Il documento sostiene che questo approccio sposta fondamentalmente il punto operativo della misurazione della sicurezza dei contenuti:

Dagli Audit Infrequenti al Feedback ad Alta Frequenza: Riducendo latenza e costi, il sistema consente il monitoraggio quotidiano e rappresentativo della piattaforma, permettendo ai team di rilevare pattern emergenti, eseguire analisi rapide delle cause profonde e valutare gli interventi (es. lancio di modelli, aggiornamenti di policy) in tempo quasi reale.
Complementarità alla Segnalazione: Il sistema fornisce visibilità sui danni che sono sottosegnalati, offrendo una metrica complementare alle segnalazioni degli utenti.
Governance Scalabile: Il workflow configurabile consente ai team di sicurezza di scalare la misurazione verso nuove policy rapidamente, governata dalla validazione con gold-set piuttosto che da sforzi ingegneristici su misura.
Sicurezza Etica: Il sistema è progettato per minimizzare l'esposizione umana ai contenuti dannosi utilizzando LLM per il labeling massivo e riservando la revisione umana per la validazione mirata e l'adjudicazione dei casi limite.

Gli autori sottolineano che, sebbene i livelli assoluti di prevalenza per le policy sensibili siano riservati, la metodologia è completamente specificata e verificata attraverso simulazioni sintetiche, garantendo che l'approccio sia indipendentemente verificabile e robusto alle sfide della stima di eventi rari in sistemi su larga scala.