📊 statistics

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

Cet article présente un système de mesure basé sur la conception qui combine l'échantillonnage probabiliste assisté par l'apprentissage automatique avec l'étiquetage par LLM afin d'estimer efficacement et précisément la prévalence des contenus violant les politiques à travers divers segments d'utilisateurs, tout en maintenant l'absence de biais statistique et la rentabilité.

Auteurs originaux : Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Publié 2026-08-18

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Sur les vastes paysages numériques où des milliards de personnes partagent des photos, des idées et des histoires chaque jour, un défi discret mais critique persiste : comment savoir ce que vos utilisateurs voient réellement ? Pendant des années, les plateformes se sont appuyées sur les signalements des utilisateurs pour signaler le contenu préjudiciable, mais cette méthode revient à essayer de mesurer la profondeur d'une rivière en comptant seulement les personnes qui appellent à l'aide. De nombreux dangers ne sont pas signalés parce que les utilisateurs ne les remarquent pas, ne savent pas comment les signaler, ou ne souhaitent tout simplement pas s'engager dans le système. Pour comprendre véritablement la sécurité d'une plateforme, les équipes doivent mesurer la prévalence — la fraction réelle de fois où un utilisateur rencontre un contenu qui enfreint les règles. Cela nécessite d'examiner l'ensemble du flux de contenu, et non seulement les parties qui ont déjà été signalées. Le problème est que le contenu préjudiciable est souvent rare, et vérifier chaque élément à la main est trop lent et trop coûteux pour être fait quotidiennement.

Une équipe de chercheurs chez Pinterest a développé une nouvelle façon de résoudre ce problème, en créant un système qui combine un échantillonnage intelligent avec une intelligence artificielle avancée pour mesurer la sécurité avec une vitesse et une précision sans précédent. Au lieu d'attendre les plaintes, ils prennent chaque jour un instantané représentatif de tout ce qui est montré aux utilisateurs. Ils utilisent une méthode statistique qui concentre leur budget de vérification limité sur les candidats les plus susceptibles de constituer une violation, garantissant ainsi qu'ils trouvent suffisamment d'exemples pour être sûrs de leurs chiffres sans avoir à tout vérifier. Ensuite, ils utilisent un grand modèle de langage — une IA entraînée à comprendre le texte et les images — pour étiqueter ces échantillons, agissant comme un réviseur infatigable et cohérent. En combinant ces techniques, ils peuvent produire un rapport quotidien sur la fréquence à laquelle les utilisateurs voient du contenu préjudiciable, complet avec une mesure de la précision de ce nombre. Cela permet aux équipes de sécurité de repérer les problèmes émergents immédiatement, de tester si leurs correctifs fonctionnent et de comprendre exactement où et quand les risques apparaissent, le tout sans attendre des semaines que les réviseurs humains rattrapent le retard.

Le cœur de ce système est une manière ingénieuse de choisir les morceaux de contenu à examiner. Dans une mer de milliards de vues quotidiennes, trouver une violation rare est comme chercher un type spécifique de feuille dans une forêt. Si vous choisissez des feuilles au hasard, vous pourriez marcher des kilomètres sans rien trouver. Les chercheurs utilisent plutôt une approche « pondérée ». Ils observent deux indices principaux : le nombre de fois qu'un contenu a été montré aux gens, et un score de risque généré par les modèles de sécurité existants de la plateforme. Ils combinent ces indices pour créer une liste où les éléments qui sont à la fois populaires et risqués sont plus susceptibles d'être choisis pour examen. Cela ne signifie pas qu'ils ne vérifient que les éléments risqués ; ils choisissent toujours parmi l'ensemble de la population, mais ils inclinent légèrement les probabilités pour s'assurer d'obtenir suffisamment d'exemples de violations pour établir une estimation statistique solide. Cette méthode leur permet d'utiliser un nombre fixe de vérifications chaque jour et de toujours obtenir une image claire de l'ensemble de la plateforme, même lorsque les violations sont extrêmement rares.

Une fois que le système a sélectionné son échantillon quotidien, il passe à la phase d'étiquetage. Ici, les chercheurs ont remplacé le processus traditionnel de révision humaine par un grand modèle de langage multimodal. Cette IA peut regarder une image, lire le texte et comprendre le contexte, tout comme un modérateur humain. Cependant, les chercheurs n'ont pas simplement laissé l'IA décider ; ils ont construit un système de contrôle de qualité rigoureux autour d'elle. Avant que l'IA ne soit autorisée à étiqueter les échantillons quotidiens, elle est testée par rapport à un « ensemble d'or » (gold set) de contenus qui ont été soigneusement examinés par des experts humains. L'IA doit correspondre aux décisions des experts humains avec une marge d'erreur très étroite avant d'être activée. Une fois en service, le système continue de vérifier le travail de l'IA en renvoyant une sélection aléatoire de ses étiquettes quotidiennes à des experts humains pour vérification. Cela garantit que l'IA ne dérive pas ou ne commet pas d'erreurs systématiques au fil du temps. Le résultat est un processus d'étiquetage environ quinze fois plus rapide qu'une révision uniquement humaine et qui coûte plus de dix fois moins cher, tout en maintenant un niveau d'exactitude similaire.

La force de cette approche réside dans sa capacité à fournir une vue unique et unifiée de la plateforme qui peut être découpée et analysée de nombreuses manières différentes. Parce que les chercheurs tirent un échantillon mondial unique chaque jour, ils peuvent répondre immédiatement à des questions sur la façon dont la sécurité varie par région, par type de surface de contenu, ou selon l'ancienneté du contenu, sans avoir besoin de lancer une nouvelle étude pour chaque question. Ils peuvent voir si une nouvelle mise à jour de politique fonctionne en comparant les chiffres avant et après, ou si un type spécifique de contenu préjudiciable augmente brusquement dans un pays particulier. Le système calcule également un intervalle de confiance pour chaque nombre qu'il produit, ce qui indique à l'équipe de sécurité quel degré de confiance accorder au résultat. Si le nombre est basé sur très peu d'exemples d'une violation rare, l'intervalle de confiance sera large, signalant à l'équipe qu'elle doit attendre plus de données avant de prendre une décision majeure.

Les chercheurs ont testé ce système de manière approfondie, tant dans des simulations que dans leur environnement de production réel chez Pinterest, où il fonctionne quotidiennement depuis plus d'un an. Ils ont constaté qu'en utilisant leur méthode d'échantillonnage assistée par ML (apprentissage automatique), ils pouvaient trouver six à onze fois plus de violations dans leur échantillon quotidien par rapport à une méthode d'échantillonnage aléatoire standard. Cette efficacité signifiait qu'ils pouvaient atteindre le même niveau de précision statistique avec beaucoup moins de vérifications, ou obtenir des chiffres beaucoup plus serrés et fiables avec la même quantité de travail. Ils ont également démontré que même lorsque les scores de risque sous-jacents utilisés pour guider l'échantillonnage changeaient ou devenaient moins précis au fil du temps, les estimations finales du système restaient non biaisées. Les erreurs apparaissaient sous forme d'intervalles de confiance plus larges plutôt que de mauvaises réponses, ce qui est une distinction cruciale pour les décideurs qui doivent savoir quand une tendance est réelle et quand elle n'est que du bruit.

L'une des découvertes les plus significatives a été la manière dont le système gère les erreurs inévitables qui accompagnent l'étiquetage automatisé. Les chercheurs ont découvert que pour les violations très rares, le risque majeur n'est pas de manquer une violation, mais de signaler à tort un contenu sûr comme étant préjudiciable. Un seul faux positif dans une mer de contenus sûrs peut faire paraître un problème dix fois plus grave qu'il ne l'est réellement. Pour gérer cela, le système surveille constamment le taux de faux positifs de l'IA. Si le taux devient trop élevé, le système peut appliquer une correction mathématique aux chiffres finaux pour tenir compte de l'erreur, ou peut déclencher une révision humaine des éléments spécifiques causant ce pic. Cela garantit que les rapports quotidiens reflètent la réalité plutôt que les caprices du modèle d'IA. L'équipe a également constaté que les fluctuations quotidiennes des chiffres étaient souvent dues à des changements dans les types de contenus postés ou à des changements subtils dans la façon dont l'IA interprétait les règles, plutôt qu'à des changements réels des niveaux de sécurité. En lissant ces variations à court terme et en se concentrant sur les tendances hebdomadaires, ils ont pu distinguer le bruit normal des menaces émergentes réelles.

Ce travail représente un changement dans la manière dont les plateformes numériques surveillent la sécurité, passant d'un modèle réactif basé sur les plaintes des utilisateurs à une approche proactive et axée sur les données. En traitant la mesure de la sécurité comme une science statistique plutôt que comme une simple tâche d'application, les chercheurs ont créé un outil capable de détecter les problèmes dès qu'ils commencent à apparaître. Le système est conçu pour être flexible, permettant aux équipes d'ajouter rapidement de nouvelles politiques ou d'ajuster les paramètres à mesure que le paysage des contenus en ligne évolue. Il repose sur une boucle continue d'échantillonnage, d'étiquetage par l'IA, de vérification humaine et d'analyse statistique, créant une boucle de rétroaction assez rapide pour suivre la vitesse d'Internet. Les chercheurs soulignent que ce système n'est pas un remplacement du jugement humain ou de l'application des politiques, mais un outil complémentaire qui fournit la clarté nécessaire pour prendre ces décisions efficacement. Il rend l'invisible visible, donnant aux équipes de sécurité les yeux dont elles ont besoin pour comprendre l'état réel de leurs plateformes et protéger leurs utilisateurs avec plus de précision et de rapidité.

Résumé technique : Mesurer la prévalence des contenus violant les politiques grâce à l'échantillonnage assisté par ML et au étiquetage par LLM

1. Énoncé du problème

Les équipes de sécurité des contenus sur les plateformes de contenu généré par les utilisateurs font face à une lacune critique en matière de mesure : s'appuyer uniquement sur les signalements des utilisateurs offre une vision incomplète de la sécurité, car de nombreux préjudices sont sous-signalés ou les catégories rares produisent des données insuffisantes pour un suivi statistique. Pour y remédier, les équipes nécessitent des métriques de prévalence — la fraction des vues d'utilisateurs (impressions) exposées à un contenu violant les politiques sur une journée donnée.

La mesure précise de la prévalence est historiquement difficile en raison de deux facteurs :

La rareté des violations : Les violations de politiques sont souvent des événements rares, ce qui rend l'échantillonnage aléatoire simple inefficace et nécessite des tailles d'échantillon prohibitives pour atteindre une puissance statistique.
Le coût et la latence de l'étiquetage humain : La revue humaine traditionnelle est trop lente et trop coûteuse pour soutenir des études quotidiennes représentatives de la plateforme, empêchant des boucles de rétroaction rapides pour détecter les préjudices émergents ou évaluer les interventions.

L'objectif est de construire un système capable de produire une estimation de la prévalence pondérée par l'exposition, biaisée et quotidienne, capable de gérer des analyses granulaires (par surface, géographie, âge du contenu) sans ré-échantillonnage, tout en maintenant une rigueur statistique et une faisabilité opérationnelle.

2. Méthodologie

Les auteurs proposent un système de mesure en trois étapes combinant échantillonnage basé sur la conception, pondération assistée par ML et étiquetage par LLM.

A. Échantillonnage probabiliste assisté par ML

Pour traiter la rareté des violations, le système utilise un échantillonnage de Probabilité Proportionnelle à la Taille (PPS), augmenté par des scores de risque auxiliaires provenant de modèles de sécurité en production.

Poids d'échantillonnage : Chaque unité de contenu $j$ se voit attribuer un poids $w_j$ basé sur son nombre total d'impressions ( $C_j$ ) et un score de risque auxiliaire ( $s_j$ ) :
$w_j = C_j^\nu (s_j^\gamma + \epsilon)$
Ici, $\nu$ contrôle la pondération de l'exposition, $\gamma$ contrôle l'influence du score de risque, et $\epsilon$ garantit un plancher de probabilité non nul pour les éléments non scorés.
Implémentation : Le système utilise l'échantillonnage par réservoir pondéré (algorithme d'Efraimidis–Spirakis) pour extraire efficacement un échantillon de taille fixe ( $m$ ) à partir de milliards d'impressions quotidiennes de manière séquentielle (mémoire en $O(m)$ ).
Absence de biais : Crucialement, le score de risque $s_j$ est utilisé uniquement pour la priorisation de l'échantillonnage, et non comme un étiquette. L'estimateur final repondère les échantillons par $1/p_j$ (où $p_j$ est la probabilité de tirage) pour garantir que l'estimation de la prévalence reste cohérente avec la conception et non biaisée, quel que soit l'évolution du seuil du modèle sous-jacent.

B. Étiquetage assisté par LLM

Les éléments échantillonnés sont étiquetés par un Grand Modèle de Langage (LLM) multimodal plutôt que par des réviseurs humains pour la majeure partie de la charge de travail.

Entrée : Le LLM reçoit le contenu (images/images clés de vidéos, métadonnées textuelles) et un prompt de politique revu par des experts (SME).
Sortie : Un JSON structuré contenant une étiquette de violation binaire, une justification et un score de confiance.
Gouvernance : Pour garantir la qualité, le système emploie un flux de validation par ensemble de référence (gold-set). Avant le lancement, la configuration du LLM doit répondre à des seuils spécifiques de qualité de décision (biais et F1 score) par rapport aux experts humains. Après le lancement, un sous-échantillon aléatoire d'éléments quotidiens est envoyé à une validation humaine pour surveiller la dérive (changements de politique, changements de contenu ou mises à jour de modèles).

C. Estimation cohérente avec la conception et quantification de l'incertitude

Le système calcule la prévalence pondérée par l'exposition ( $\theta$ ) en utilisant l'estimateur de ratio de Hansen–Hurwitz (pour le PPS avec remplacement) ou des variantes de Horvitz–Thompson (pour le sans remplacement).

Analyse par segment à échantillon unique : Un objectif clé du design est qu'un seul échantillon quotidien supporte plusieurs segments (ex: géographie, surface). En persistant les comptes d'impressions spécifiques aux segments ( $C_{jg}$ ) pour les éléments échantillonnés, le système peut calculer la prévalence pour n'importe quel segment sans ré-échantillonnage.
Quantification de l'incertitude : Le système rapporte des intervalles de confiance (CI) à 95 % en utilisant la linéarisation de Taylor pour l'estimateur de ratio. Il suit également la taille d'échantillon effectif (ESS) de Kish pour surveiller l'impact de la variance des poids sur la précision.
Correction des erreurs d'étiquetage : Reconnaissant que les LLM ont des taux de faux positifs ( $f$ ) et de sensibilité ( $r$ ), le système modélise la prévalence mesurée $\theta^{(L)}$ en fonction de la prévalence réelle $\theta$ . Si les taux d'erreur sont homogènes, une correction de Rogan–Gladen est appliquée. Le système surveille les fluctuations à la hausse induites par les erreurs d'étiquetage (communes dans les régimes d'événements rares) et déclenche une adjudication humaine pour les anomalies à haute influence.

3. Contributions clés

Le document détaille quatre contributions principales :

Un estimateur cohérent avec la conception : Une méthode pour l'estimation quotidienne de la prévalence qui supporte de multiples analyses de segments à partir d'un seul échantillon de probabilité global, garantissant l'absence de biais même lorsque les modèles d'application évoluent.
Quantification pratique de l'incertitude : Un cadre complet pour les CI, les diagnostics de taille d'échantillon effectif et une analyse de sensibilité sur la façon dont les erreurs d'étiquetage (spécifiquement les faux positifs) se propagent dans les estimations de prévalence, incluant des conseils sur quand activer les corrections de biais.
Flux de configuration des hyperparamètres : Un flux de travail concret, basé sur des simulations, pour l'ajustement des paramètres d'échantillonnage ( $\nu, \gamma, \epsilon$ ) afin de équilibrer le nombre de échantillons positifs par rapport à la taille d'échantillon effectif pour de nouvelles politiques.
Flux de travail d'ingénierie configurable : Un système de bout en bout où les définitions de politique, les prompts et les ensembles de référence sont des configurations déclaratives, permettant l'intégration rapide de nouvelles métriques de politique sans pipelines d'ingénierie sur mesure.

4. Résultats et preuves empiriques

Le système est en production quotidienne chez Pinterest depuis plus d'un an sur de multiples domaines de politique. En raison de la confidentialité concernant les niveaux absolus de prévalence, les résultats sont rapportés en termes relatifs et via des simulations synthétiques.

Efficacité de l'échantillonnage : En production, l'échantillonnage assisté par ML (utilisant les scores de risque) a augmenté la fraction de positifs de l'échantillon de 6× à 11,4× par rapport à un échantillonnage PPS basé uniquement sur l'exposition, à budget d'étiquetage constant. Cela réduit considérablement le budget d'étiquetage requis pour atteindre une largeur de CI cible.
Efficacité de l'étiquetage : Le flux de travail assisté par LLM a réduit la latence de bout en bout de l'étiquetage d'environ 15× et les coûts opérationnels de >10× par rapport aux flux de travail uniquement humains, tout en maintenant une qualité de décision comparable.
Robustesse statistique : Les simulations démontent que le repondérage basé sur la conception maintient les estimations ponctuelles sans biais même lorsque les scores de risque auxiliaires dérivent ; l'effet principal de la dérive est une augmentation de la variance (des CI plus larges) plutôt qu'un biais.
Sensibilité des hyperparamètres : Les expériences montrent que l'augmentation de l'exposant du score de risque ( $\gamma$ ) améliore la précision jusqu'à un certain point (ex: $\gamma=1$ ), mais qu'un basculement agressif ( $\gamma \ge 2$ ) fait s'effondrer la taille d'échantillon effectif, dégradant les performances.
Effets minimaux détectables (MDE) : Le système permet de détecter des changements relatifs aussi faibles que 5–6,5 % (par rapport à la moyenne) sur une base hebdomadaire, selon le domaine de la politique et le volume d'étiquetage.

5. Signification et affirmations

Le document affirme que cette approche modifie fondamentalement le point de fonctionnement de la mesure de la sécurité des contenus :

Des audits infrequents vers un feedback à haute fréquence : En réduisant la latence et les coûts, le système permet une surveillance quotidienne et représentative de la plateforme, permettant aux équipes de détecter les modèles émergents, de réaliser des analyses de cause racine rapides et d'évaluer les interventions (ex: lancements de modèles, mises à jour de politiques) en temps quasi réel.
Complémentarité avec les signalements : Le système offre une visibilité sur les préjudices qui sont sous-signalés, offrant une métrique complémentaire aux signalements des utilisateurs.
Gouvernance évolutive : Le flux de travail configurable permet aux équipes de sécurité de passer à l'échelle la mesure de nouvelles politiques rapidement, gouvernées par la validation par ensemble de référence plutôt que par des efforts d'ingénierie sur mesure.
Sécurité éthique : Le système est conçu pour minimiser l'exposition humaine aux contenus nuisibles en utilisant des LLM pour l'étiquetage de masse et en réservant la revue humaine pour la validation ciblée et l'adjudication des cas limites.

Les auteurs soulignent que, bien que les niveaux absolus de prévalence pour les politiques sensibles soient confidentiels, la méthodologie est entièrement spécifiée et vérifiée par des simulations synthétiques, garantissant que l'approche est indépendamment vérifiable et robuste face aux défis de l'estimation d'événements rares dans des systèmes à grande échelle.