📊 statistics

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

Este artigo apresenta um sistema de medição baseado em design que combina amostragem probabilística assistida por ML com rotulagem por LLM para estimar de forma eficiente e precisa a prevalência de conteúdo que viola políticas em vários segmentos de usuários, mantendo a imparcialidade estatística e o custo-benefício.

Autores originais: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Publicado 2026-08-18

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas vastas paisagens digitais onde bilhões de pessoas compartilham fotos, ideias e histórias todos os dias, um desafio silencioso, mas crítico, persiste: como você sabe o que seus usuários estão realmente vendo? Durante anos, as plataformas confiaram em denúncias de usuários para sinalizar conteúdo prejudicial, mas esse método é como tentar medir a profundidade de um rio contando apenas as pessoas que gritam por socorro. Muitos perigos não são relatados porque os usuários não os percebem, não sabem como denunciá-los ou simplesmente não querem interagir com o sistema. Para compreender verdadeiramente a segurança de uma plataforma, as equipes precisam medir a prevalência — a fração real de vezes que um usuário encontra conteúdo que viola as regras. Isso requer olhar para todo o fluxo de conteúdo, não apenas para as partes que já foram sinalizadas. O problema é que o conteúdo prejudicial é frequentemente raro, e verificar cada item individualmente é muito lento e caro para ser feito todos os dias.

Uma equipe de pesquisadores do Pinterest desenvolveu uma nova maneira de resolver isso, criando um sistema que combina amostragem inteligente com inteligência artificial avançada para medir a segurança com velocidade e precisão sem precedentes. Em vez de esperar por reclamações, eles tiram um instantâneo diário e representativo de tudo o que é mostrado aos usuários. Eles utilizam um método estatístico que foca seu orçamento limitado de verificação nos candidatos mais prováveis à violação, garantindo que encontrem exemplos suficientes para terem certeza de seus números sem precisar verificar tudo. Em seguida, utilizam um grande modelo de linguagem — uma IA treinada para entender texto e imagens — para rotular essas amostras, atuando como um revisor incansável e consistente. Ao combinar essas técnicas, eles podem produzir um relatório diário sobre a frequência com que os usuários veem conteúdo prejudicial, completo com uma medida de quão precisa é essa numeração. Isso permite que as equipes de segurança detectem problemas emergentes imediatamente, testem se suas correções estão funcionando e entendam exatamente onde e quando os riscos aparecem, tudo isso sem esperar semanas para que os revisores humanos alcancem o ritmo.

O núcleo deste sistema é uma forma inteligente de escolher quais peças de conteúdo examinar. Em um mar de bilhões de visualizações diárias, encontrar uma violação rara é como procurar um tipo específico de folha em uma floresta. Se você escolher folhas ao acaso, poderá caminhar por milhas e não encontrar nada. Os pesquisadores, em vez disso, utilizam uma abordagem "ponderada". Eles observam dois sinais principais: quantas vezes uma peça de conteúdo foi mostrada às pessoas e uma pontuação de risco gerada pelos modelos de segurança existentes da plataforma. Eles combinam esses sinais para criar uma lista onde itens que são ao mesmo tempo populares e arriscados têm maior probabilidade de serem escolhidos para revisão. Isso não significa que eles verificam apenas itens arriscados; eles ainda selecionam de toda a população, mas inclinam as probabilidades ligeiramente para garantir que obtenham exemplos suficientes de violações para fazer uma estimativa estatística sólida. Este método permite que utilizem um número fixo de verificações a cada dia e, ainda assim, obtenham um quadro claro de toda a plataforma, mesmo quando as violações são extremamente raras.

Uma vez que o sistema selecionou sua amostra diária, ele passa para a fase de rotulagem. Aqui, os pesquisadores substituíram o processo tradicional de revisão humana por um modelo de linguagem de grande escala multimodal. Esta IA pode olhar para uma imagem, ler o texto e entender o contexto, tal como um moderador humano. No entanto, os pesquisadores não deixaram simplesmente a IA decidir; eles construíram um rigoroso sistema de controle de qualidade em torno dela. Antes de a IA ser permitida a rotular as amostras diárias, ela é testada contra um "conjunto de ouro" (gold set) de conteúdo que foi cuidadosamente revisado por especialistas humanos. A IA deve corresponder às decisões dos especialistas humanos dentro de uma margem de erro muito estreita antes de ser ativada. Uma vez em operação, o sistema continua a verificar o trabalho da IA, enviando uma seleção aleatória de seus rótulos diários de volta para especialistas humanos para verificação. Isso garante que a IA não sofra deriva ou cometa erros sistemáticos ao longo do tempo. O resultado é um processo de rotulagem que é aproximadamente quinze vezes mais rápido do que a revisão apenas humana e custa mais de dez vezes menos, mantendo um nível de precisão semelhante.

O poder desta abordagem reside na sua capacidade de fornecer uma visão única e unificada da plataforma que pode ser segmentada de diversas maneiras. Como os pesquisadores extraem uma amostra global a cada dia, eles podem responder imediatamente a perguntas sobre como a segurança varia por região, pelo tipo de superfície de conteúdo ou pela idade do conteúdo, sem a necessidade de realizar um novo estudo para cada pergunta. Eles podem ver se uma nova atualização de política está funcionando comparando os números antes e depois, ou se um tipo específico de conteúdo prejudicial está aumentando em um país específico. O sistema também calcula um intervalo de confiança para cada número produzido, o que diz à equipe de segurança quanta confiança depositar no resultado. Se o número for baseado em poucos exemplos de uma violação rara, o intervalo de confiança será amplo, sinalizando que a equipe deve esperar por mais dados antes de tomar uma decisão importante.

Os pesquisadores testaram este sistema extensivamente, tanto em simulações quanto em seu ambiente de produção real no Pinterest, onde está operando diariamente há mais de um ano. Eles descobriram que, ao utilizar seu método de amostragem assistido por ML (Aprendizado de Máquina), conseguiam encontrar de seis a onze vezes mais violações em sua amostra diária em comparação com um método de amostragem aleatória padrão. Esta eficiência significou que podiam alcançar o mesmo nível de precisão estatística com muito menos verificações, ou obter números muito mais precisos e confiáveis com a mesma quantidade de trabalho. Eles também demonstraram que, mesmo quando as pontuações de risco subjacentes usadas para guiar a amostragem mudavam ou se tornavam menos precisas ao longo do tempo, as estimativas finais do sistema permaneciam imparciais. Os erros apareciam como intervalos de confiança mais amplos em vez de respostas erradas, o que é uma distinção crucial para tomadores de decisão que precisam saber quando uma tendência é real e quando é apenas ruído.

Uma das descobertas mais significativas foi como o sistema lida com os erros inevitáveis que acompanham a rotulagem automatizada. Os pesquisadores descobriram que, para violações muito raras, o maior risco não é perder uma violação, mas sim rotular erroneamente conteúdo seguro como prejudicial. Um único falso positivo em um mar de conteúdo seguro pode fazer parecer que o problema é dez vezes pior do que realmente é. Para gerenciar isso, o sistema monitora constantemente a taxa de falsos positivos da IA. Se a taxa ficar muito alta, o sistema pode aplicar uma correção matemática aos números finais para contabilizar o erro, ou pode acionar uma revisão humana dos itens específicos que estão causando o pico. Isso garante que os relatórios diários reflletam a realidade, e não as peculiaridades do modelo de IA. A equipe também descobriu que as flutuações dia a dia nos números eram frequentemente impulsionadas por mudanças nos tipos de conteúdo sendo postados ou mudanças sutis na forma como a IA interpretava as regras, em vez de mudanças reais nos níveis de segurança. Ao suavizar essas variações de curto prazo e focar em tendências semanais, eles puderam distinguir entre o ruído normal e as ameaças genuínas emergentes.

Este trabalho representa uma mudança na forma como as plataformas digitais monitoram a segurança, passando de um modelo reativo baseado em reclamações de usuários para uma abordagem proativa e orientada por dados. Ao tratar a medição de segurança como uma ciência estatística, e não apenas como uma tarefa de aplicação de regras, os pesquisadores criaram uma ferramenta que pode detectar problemas no momento em que começam a aparecer. O sistema é projetado para ser flexível, permitendo que as equipes adicionem rapidamente novas políticas ou ajustem parâmetros conforme o cenário de conteúdo online muda. Ele depende de um ciclo contínuo de amostragem, rotulagem por IA, verificação humana e análise estatística, criando um ciclo de feedback que é rápido o suficiente para acompanhar a velocidade da internet. Os pesquisadores enfatizam que este sistema não é um substituto para o julgamento humano ou para a aplicação de políticas, mas sim uma ferramenta complementar que fornece a clareza necessária para tomar essas decisões de forma eficaz. Ele torna o invisível visível, dando às equipes de segurança os olhos de que precisam para entender o verdadeiro estado de suas plataformas e proteger seus usuários com maior precisão e velocidade.

Resumo Técnico: Medindo a Prevalência de Conteúdo que Viola Políticas com Amostragem Assistida por ML e Rotulagem por LLM

1. Declaração do Problema

As equipes de segurança de conteúdo em plataformas de conteúdo gerado pelo usuário enfrentam uma lacuna crítica de medição: depender exclusivamente de denúncias de usuários fornece uma visão incompleta da segurança, uma vez que muitos danos são subnotificados ou categorias raras geram dados insuficientes para monitoramento estatístico. Para enfrentar isso, as equipes necessitam de métricas de prevalência — a fração de visualizações de usuários (impressões) expostas a conteúdo que viola políticas em um determinado dia.

A medição precisa da prevalência é historicamente difícil devido a dois fatores:

Raridade das Violações: As violações de política são frequentemente eventos raros, tornando a amostragem aleatória simples ineficiente e exigindo tamanhos de amostra desproporcionalmente grandes para alcançar poder estatístico.
Custo e Latência da Rotulagem Humana: A revisão humana tradicional é muito lenta e cara para suportar estudos diários e representativos da plataforma, impedindo ciclos de feedback rápidos para detectar danos emergentes ou avaliar intervenções.

O objetivo é construir um sistema capaz de realizar uma estimativa de prevalência ponderada pela exposição, enviesada e diária, que suporte detalhamentos granulares (por superfície, geografia, idade do conteúdo) sem necessidade de nova amostragem, mantendo o rigor estatístico e a viabilidade operacional.

2. Metodologia

Os autores propõem um sistema de medição em três estágios combinando amostragem baseada em design, ponderação assistida por ML e rotulagem impulsionada por LLM.

A. Amostragem de Probabilidade Assistida por ML

Para lidar com a raridade das violações, o sistema emprega amostragem de Probabilidade Proporcional ao Tamanho (PPS), aumentada por pontuações de risco auxiliares de modelos de segurança de produção.

Pesos de Amostragem: A cada unidade de conteúdo $j$ é atribuído um peso $w_j$ baseado em suas impressões totais ( $C_j$ ) e uma pontuação de risco auxiliar ( $s_j$ ):
$w_j = C_j^\nu (s_j^\gamma + \epsilon)$
Aqui, $\nu$ controla a ponderação da exposição, $\gamma$ controla a influência da pontuação de risco, e $\epsilon$ garante um piso de probabilidade não nulo para itens sem pontuação.
Implementação: O sistema utiliza amostragem de reservatório ponderada (algoritmo Efraimidis–Spirakis) para extrair eficientemente uma amostra de tamanho fixo ( $m$ ) de bilhões de impressões diárias em um fluxo contínuo ( $O(m)$ de memória).
Ausência de Viés: Crucialmente, a pontuação de risco $s_j$ é usada apenas para a priorização da amostragem, não como um rótulo. O estimador final repondera as amostras por $1/p_j$ (onde $p_j$ é a probabilidade de seleção) para garantir que a estimativa de prevalência permaneça consistente com o design e livre de viés, independentemente da evolução do limiar do modelo subjacente.

B. Rotulagem Assistida por LLM

Os itens amostrados são rotulados por um Modelo de Linguagem de Grande Escala (LLM) multimodal em vez de revisores humanos para a maior parte do trabalho.

Entrada: O LLM recebe o conteúdo (imagens/quadros-chave de vídeo, metadados de texto) e um prompt de política revisado por Especialistas no Assunto (SME).
Saída: JSON estruturado contendo um rótulo binário de violação, uma justificativa e uma pontuação de confiança.
Governança: Para garantir a qualidade, o sistema emprega um fluxo de trabalho de validação de conjunto de ouro (gold-set). Antes do lançamento, a configuração do LLM deve atender a limiares específicos de qualidade de decisão (viés e F1 score) em relação aos humanos especialistas (SMEs). Pós-lançamento, uma subamostra aleatória de itens diários é enviada para validação humana para monitorar desvios (mudanças de política, mudanças de conteúdo ou atualizações de modelo).

C. Estimativa Consistente com o Design e Quantificação de Incerteza

O sistema calcula a prevalência ponderada pela exposição ( $\theta$ ) usando o estimador de razão Hansen–Hurwitz (para PPS com reposição) ou variantes de Horvitz–Thompson (para sem reposição).

Detalhamento de Amostra Única: Um objetivo central do design é que uma única amostra diária suporte múltiplos segmentos (ex: geografia, superfície). Ao persistir as contagens de impressões específicas do segmento ( $C_{jg}$ ) para os itens amostrados, o sistema pode calcular a prevalência para qualquer segmento sem nova amostragem.
Quantificação de Incerteza: O sistema reporta Intervalos de Confiança (ICs) de 95% usando a linearização de Taylor para o estimador de razão. Também monitora o Tamanho de Amostra Eficaz (ESS) de Kish para monitorar o impacto da variância do peso na precisão.
Correção de Erro de Rótulo: Reconhecendo que os LLMs possuem taxas de falsos positivos ( $f$ ) e sensibilidade ( $r$ ), o sistema modela a prevalência medida $\theta^{(L)}$ como uma função da prevalência real $\theta$ . Se as taxas de erro forem homogêneas, uma correção de Rogan–Gladen é aplicada. O sistema monitora flutuações ascendentes induzidas por erros de rótulo (comuns em regimes de eventos raros) e aciona a adjudicação humana para anomalias de alta influência.

3. Principais Contribuições

O artigo detalha quatro contribuições primárias:

Um Estimador Consistente com o Design: Um método para estimativa de prevalência diária que suporta múltiplos detalhamentos de segmento a partir de uma única amostra de probabilidade global, garantindo a ausência de viés mesmo conforme os modelos de aplicação evoluem.
Quantificação Prática de Incerteza: Um framework abrangente para ICs, diagnósticos de tamanho de amostra eficaz e uma análise de sensibilidade de como os erros de rótulo (especificamente falsos positivos) se propagam nas estimativas de prevalência, incluindo orientação sobre quando ativar correções de viés.
Fluxo de Configuração de Hiperparâmetros: Um fluxo de trabalho concreto, baseado em simulações, para ajustar parâmetros de amostragem ( $\nu, \gamma, \epsilon$ ) para equilibrar a contagem de amostras positivas contra o tamanho de amostra eficaz para novas políticas.
Fluxo de Trabalho de Engenharia Configurável: Um sistema de ponta a ponta onde as definições de política, prompts e conjuntos de ouro são configurações declarativas, permitindo a integração rápida de novas métricas de política sem pipelines de engenharia sob medida.

4. Resultados e Evidência Empírica

O sistema está em produção diária no Pinterest há mais de um ano em múltiplas áreas de política. Devido à confidencialidade em relação aos níveis absolutos de prevalência, os resultados são reportados em termos relativos e via simulações sintéticas.

Eficiência de Amostragem: Em produção, a amostragem assistida por ML (usando pontuações de risco) aumentou a fração de amostras positivas de 6× a 11,4× em comparação com a amostragem PPS baseada apenas em impressões para um orçamento de rotulagem fixo. Isso reduz significamente o orçamento de rotulagem necessário para atingir uma largura de IC alvo.
Eficiência de Rotulagem: O fluxo de trabalho assistido por LLM reduziu a latência de rotulagem de ponta a ponta em aproximadamente 15× e os custos operacionais em >10× em comparação com fluxos de trabalho puramente humanos, mantendo qualidade de decisão comparável.
Robustez Estatística: Simulações demonstram que a reponderação baseada em design mantém as estimativas de ponto sem viés mesmo quando as pontuações de risco auxiliares derivam; o efeito principal do desvio é um aumento na variância (ICs mais amplos) em vez de viés.
Sensibilidade de Hiperparâmetros: Experimentos mostram que aumentar o expoente da pontuação de risco ( $\gamma$ ) melhora a precisão até certo ponto (ex: $\gamma=1$ ), mas uma inclinação agressiva ( $\gamma \ge 2$ ) colapsa o tamanho de amostra eficaz, degradando o desempenho.
Efeitos Mínimos Detectáveis (MDE): O sistema permite a detecção de mudanças relativas tão pequenas quanto 5–6,5% (em relação à média) semanalmente, dependendo da área de política e volume de rótulos.

5. Significância e Alegações

O artigo afirma que esta abordagem altera fundamentalmente o ponto de operação da medição de segurança de conteúdo:

De Auditorias Infrequentes para Feedback de Alta Frequência: Ao reduzir a latência e o custo, o sistema permite o monitoramento diário e representativo da plataforma, permitindo que as equipes detectem padrões emergentes, realizem análise de causa raiz rápida e avaliem intervenções (ex: lançamentos de modelos, atualizações de política) em tempo quase real.
Complementaridade à Denúncia: O sistema fornece visibilidade sobre danos que são subnotificados, oferecendo uma métrica complementar às denúncias de usuários.
Governança Escalável: O fluxo de trabalho configurável permite que as equipes de segurança escalem a medição para novas políticas rapidamente, governadas por validação de conjunto de ouro em vez de esforços de engenharia sob medida.
Segurança Ética: O sistema é projetado para minimizar a exposição humana a conteúdo prejudicial, utilizando LLMs para a rotulagem em massa e reservando a revisão humana para validação direcionada e adjudicação de casos limítrofes.

Os autores enfatizam que, embora os níveis absolutos de prevalência para políticas sensíveis sejam confidenciais, a metodologia é totalmente especificada e verificada através de simulações sintéticas, garantindo que a abordagem seja independentemente verificável e robusta aos desafios da estimativa de eventos raros em sistemas de grande escala.