📊 statistics

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

Este artículo presenta un sistema de medición basado en el diseño que combina el muestreo probabilístico asistido por ML con el etiquetado mediante LLM para estimar de manera eficiente y precisa la prevalencia de contenido que infringe las políticas en diversos segmentos de usuarios, manteniendo al mismo tiempo la imparcialidad estadística y la rentabilidad.

Autores originales: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Publicado 2026-08-18

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En los vastos paisajes digitales donde miles de millones de personas comparten fotos, ideas e historias cada día, persiste un desafío silencioso pero crítico: ¿cómo saber qué es lo que tus usuarios están viendo realmente? Durante años, las plataformas han dependido de los informes de los usuarios para señalar el contenido dañino, pero este método es como intentar medir la profundidad de un río contando solo a las personas que piden ayuda a gritos. Muchos peligros pasan sin ser reportados porque los usuarios no los notan, no saben cómo reportarlos o simplemente no quieren interactuar con el sistema. Para comprender verdaderamente la seguridad de una plataforma, los equipos necesitan medir la prevalencia: la fracción real de veces que un usuario encuentra contenido que infringe las normas. Esto requiere observar la totalidad del flujo de contenido, no solo las partes que ya han sido señaladas. El problema es que el contenido dañino suele ser poco frecuente, y revisar cada elemento individualmente a mano es demasiado lento y costoso para hacerlo a diario.

Un equipo de investigadores de Pinterest ha desarrollado una nueva forma de resolver esto, creando un sistema que combina un muestreo inteligente con inteligencia artificial avanzada para medir la seguridad con una velocidad y precisión sin precedentes. En lugar de esperar las quejas, toman una instantánea diaria y representativa de todo lo que se muestra a los usuarios. Utilizan un método estadístico que enfoca su presupuesto limitado de revisión en los candidatos más probables de infracción, asegurando que encuentren suficientes ejemplos para estar seguros de sus cifras sin tener que revisarlo todo. Luego, utilizan un modelo de lenguaje extenso —una IA entrenada para entender texto e imágenes— para etiquetar estas muestras, actuando como un revisor incansable y constante. Al combinar estas técnicas, pueden producir un informe diario sobre la frecuencia con la que los usuarios ven contenido dañino, junto con una medida de qué tan precisa es esa cifra. Esto permite a los equipos de seguridad detectar problemas emergentes de inmediato, probar si sus correcciones están funcionando y entender exactamente dónde y cuándo aparecen los riesgos, todo sin tener que esperar semanas a que los revisores humanos se pongan al día.

El núcleo de este sistema es una forma ingeniosa de elegir qué piezas de contenido examinar. En un mar de miles de millones de visualizaciones diarias, encontrar una violación poco frecuente es como buscar un tipo específico de hoja en un bosque. Si eliges hojas al azar, podrías caminar millas sin encontrar nada. Los investigadores, en cambio, utilizan un enfoque "ponderado". Observan dos pistas principales: cuántas veces se ha mostrado una pieza de contenido a las personas y una puntuación de riesgo generada por los modelos de seguridad existentes de la plataforma. Combinan estas pistas para crear una lista donde los elementos que son tanto populares como riesgosos tienen más probabilidades de ser elegidos para su revisión. Esto no significa que solo revisen elementos riesgosos; también eligen de toda la población, pero inclinan las probabilidades ligeramente para asegurar que obtengan suficientes ejemplos de violaciones para realizar una estimación estadística sólida. Este método les permite utilizar un número fijo de verificaciones cada día y, aun así, obtener una imagen clara de toda la plataforma, incluso cuando las violaciones son extremadamente raras.

Una vez que el sistema ha seleccionado su muestra diaria, pasa a la fase de etiquetado. Aquí, los investigadores reemplazaron el proceso tradicional de revisión humana con un modelo de lenguaje extenso multimodal. Esta IA puede mirar una imagen, leer el texto y entender el contexto, tal como lo haría un moderador humano. Sin embargo, los investigadores no simplemente dejaron que la IA decidiera; construyeron un riguroso sistema de control de calidad a su alrededor. Antes de que la IA tenga permitido etiquetar las muestras diarias, es probada contra un "conjunto de oro" (gold set) de contenido que ha sido cuidadosamente revisado por expertos humanos. La IA debe coincidir con las decisiones de los expertos humanos dentro de un margen de error muy estrecho antes de ser activada. Una vez en funcionamiento, el sistema continúa verificando el trabajo de la IA enviando una selección aleatoria de sus etiquetas diarias de vuelta a expertos humanos para su verificación. Esto asegura que la IA no se desvíe ni cometa errores sistemáticos con el tiempo. El resultado es un proceso de etiquetado que es aproximadamente quince veces más rápido que la revisión solo humana y cuesta más de diez veces menos, manteniendo un nivel de precisión similar.

El poder de este enfoque reside en su capacidad para proporcionar una visión única y unificada de la plataforma que puede segmentarse y analizar de muchas formas distintas. Debido a que los investigadores extraen una muestra global cada día, pueden responder inmediatamente a preguntas sobre cómo varía la seguridad por región, por el tipo de superficie de contenido o por la antigüedad del contenido, sin necesidad de ejecutar un nuevo estudio para cada pregunta. Pueden ver si una nueva actualización de política está funcionando comparando los números antes y después, o si un tipo específico de contenido dañino está aumentando en un país determinado. El sistema también calcula un intervalo de confianza para cada número que produce, lo que indica al equipo de seguridad cuánta confianza puede depositar en el resultado. Si el número se basa en muy pocos ejemplos de una violación rara, el intervalo de confianza será amplio, señalando al equipo que debe esperar a tener más datos antes de tomar una decisión importante.

Los investigadores probaron este sistema extensamente, tanto en simulaciones como en su entorno de producción real en Pinterest, donde ha estado funcionando diariamente durante más de un año. Descubrieron que, al utilizar su método de muestreo asistido por ML (aprendizaje automático), podían encontrar de seis a once veces más violaciones en su muestra diaria en comparación con un método de muestreo aleatorio estándar. Esta eficiencia significó que podían lograr el mismo nivel de precisión estadística con muchas menos verificaciones, o conseguir números mucho más ajustados y fiables con la misma cantidad de trabajo. También demostraron que incluso cuando las puntuaciones de riesgo subyacentes utilizadas para guiar el muestreo cambiaban o se volvían menos precisas con el tiempo, las estimaciones finales del sistema permanecían sin sesgo. Los errores se manifestaban como intervalos de confianza más amplios en lugar de respuestas incorrectas, lo cual es una distincción crucial para los responsables de la toma de decisiones que necesitan saber cuándo una tendencia es real y cuándo es solo ruido.

Uno de los hallazgos más significativos fue cómo el sistema maneja los errores inevitables que conllevan el etiquetado automatizado. Los investigadores descubrieron que, para violaciones muy raras, el mayor riesgo no es omitir una violación, sino marcar erróneamente contenido seguro como dañino. Un solo falso positivo en un mar de contenido seguro puede hacer que parezca que un problema es diez veces peor de lo que realmente es. Para gestionar esto, el sistema monitorea constantemente la tasa de falsos positivos de la IA. Si la tasa es demasiado alta, el sistema puede aplicar una corrección matemática a los números finales para tener en cuenta el error, o puede activar una revisión humana de los elementos específicos que causan el aumento. Esto asegura que los informes diarios reflejen la realidad y no las peculiaridades del modelo de IA. El equipo también encontró que las fluctuaciones día a día en los números solían ser impulsadas por cambios en los tipos de contenido que se publicaban o cambios sutiles en cómo la IA interpretaba las reglas, más que por cambios reales en los niveles de seguridad. Al suavizar estas variaciones a corto plazo y centrarse en las tendencias semanales, pudieron distinguir entre el ruido normal y las amenazas emergentes genuinas.

Este trabajo representa un cambio en la forma en que las plataformas digitales monitorean la seguridad, pasando de un modelo reactivo basado en las quejas de los usuarios a un enfoque proactivo y basado en datos. Al tratar la medición de la seguridad como una ciencia estadística en lugar de solo una tarea de cumplimiento, los investigadores han creado una herramienta que puede detectar problemas en el momento en que comienzan a aparecer. El sistema está diseñado para ser flexible, permitiendo a los equipos añadir rápidamente nuevas políticas o ajustar parámetros a medida que el panorama del contenido en línea cambia. Se apoya en un ciclo continuo de muestreo, etiquetado por IA, verificación humana y análisis estadístico, creando un bucle de retroalimentación lo suficientemente rápido como para seguir el ritmo de internet. Los investigadores enfatizan que este sistema no es un reemplazo para el juicio humano o la aplicación de políticas, sino una herramienta complementaria que proporciona la claridad necesaria para tomar esas decisiones de manera efectiva. Convierte lo invisible en visible, otorgando a los equipos de seguridad los ojos que necesitan para comprender el estado real de sus plataformas y proteger a sus usuarios con mayor precisión y velocidad.

Resumen Técnico: Medición de la Prevalencia de Contenido que Viola Políticas mediante Muestreo Asistido por ML y Etiquetado por LLM

1. Declaración del Problema

Los equipos de seguridad de contenido en las plataformas de contenido generado por usuarios enfrentan una brecha crítica en la medición: depender únicamente de los reportes de los usuarios proporciona una visión incompleta de la seguridad, ya que muchos daños están subreportados o las categorías poco comunes generan datos insuficientes para el monitoreo estadístico. Para abordar esto, los equipos requieren métricas de prevalencia: la fracción de visualizaciones de usuarios (impresiones) expuestas a contenido que viola las políticas en un día determinado.

La medición precisa de la prevalencia ha sido históricamente difícil debido a dos factores:

Rareza de las Violaciones: Las violaciones de políticas suelen ser eventos raros, lo que hace que el muestreo aleatorio simple sea ineficiente y requiera tamaños de muestra desproporcionadamente grandes para lograr potencia estadística.
Costo y Latencia del Etiquetado Humano: La revisión humana tradicional es demasiado lenta y costosa para soportar estudios diarios representativos de la plataforma, lo que impide ciclos de retroalimentación rápidos para detectar daños emergentes o evaluar intervenciones.

El objetivo es construir un sistema capaz de realizar una estimación de prevalencia ponderada por exposición, diaria y sin sesgos que permita desgloses granulares (por superficie, geografía, antigüedad del contenido) sin necesidad de volver a muestrear, manteniendo al mismo tiempo el rigor estadístico y la viabilidad operativa.

2. Metodología

Los autores proponen un sistema de medición de tres etapas que combina el muestreo basado en diseño, el pesaje asistido por ML y el etiquetado impulsado por LLM.

A. Muestreo de Probabilidad Asistido por ML

Para abordar la rareza de las violaciones, el sistema emplea un muestreo de Probabilidad Proporcional al Tamaño (PPS), aumentado por puntuaciones de riesgo auxiliares de los modelos de seguridad de producción.

Pesos de Muestreo: A cada unidad de contenido $j$ se le asigna un peso $w_j$ basado en sus impresiones totales ( $C_j$ ) y una puntuación de riesgo auxiliar ( $s_j$ ):
$w_j = C_j^\nu (s_j^\gamma + \epsilon)$
Aquí, $\nu$ controla el pesaje de la exposición, $\gamma$ controla la influencia de la puntuación de riesgo, y $\epsilon$ asegura un piso de probabilidad no nulo para elementos sin puntuación.
Implementación: El sistema utiliza muestreo de reservorio ponderado (algoritmo Efraimidis–Spirakis) para extraer eficientemente una muestra de tamaño fijo ( $m$ ) de miles de millones de impresiones diarias de forma fluida ( $O(m)$ de memoria).
Insesgadez: Crucialmente, la puntuación de riesgo $s_j$ se utiliza solo para la priorización del muestreo, no como una etiqueta. El estimador final repondera las muestras por $1/p_j$ (donde $p_j$ es la probabilidad de selección) para asegurar que la estimación de prevalencia sea consistente con el diseño y libre de sesgos, independientemente de la evolución del umbral del modelo subyacente.

B. Etiquetado Asistido por LLM

Los elementos muestreados son etiquetados por un Modelo de Lenguaje Grande (LLM) multimodal en lugar de revisores humanos para la mayor parte de la carga de trabajo.

Entrada: El LLM recibe el contenido (imágenes/fotogramas clave de video, metadatos de texto) y un prompt de política revisado por expertos en la materia (SME).
Salida: Un JSON estructurado que contiene una etiqueta binaria de violación, una justificación y una puntuación de confianza.
Gobernanza: Para garantizar la calidad, el sistema emplea un flujo de trabajo de validación de conjunto de oro (gold-set). Antes del lanzamiento, la configuración del LLM debe cumplir con umbrales específicos de calidad de decisión (sesgo y F1 score) en relación con los expertos humanos. Tras el lanzamiento, un submuestreo aleatorio de los elementos diarios se deriva a validación humana para monitorear el drift (cambios en políticas, cambios en el contenido o actualizaciones del modelo).

C. Estimación Consistente con el Diseño y Cuantificación de la Incertidumbre

El sistema calcula la prevalencia ponderada por exposición ( $\theta$ ) utilizando el estimador de la razón de Hansen–Hurwitz (para PPS con reemplazo) o variantes de Horvitz–Thompson (para sin reemplazo).

Desgloses de Muestra Única: Un objetivo de diseño clave es que una sola muestra diaria soporte múltiples segmentos (ej. geografía, superficie). Al persistir los conteos de impresiones específicos de segmento ( $C_{jg}$ ) para los elementos muestreados, el sistema puede calcular la prevalencia para cualquier segmento sin volver a muestrear.
Cuantificación de la Incertidumbre: El sistema reporta Intervalos de Confianza (CI) del 95% utilizando la linealización de Taylor para el estimador de la razón. También rastrea el Tamaño de Muestra Efectivo (ESS) de Kish para monitorear el impacto de la varianza de los pesos en la precisión.
Corrección de Errores de Etiquetado: Reconociendo que los LLM tienen tasas de falsos positivos ( $f$ ) y sensibilidad ( $r$ ), el sistema modela la prevalencia medida $\theta^{(L)}$ como una función de la prevalencia real $\theta$ . Si las tasas de error son homogéneas, se aplica una corrección de Rogan–Gladen. El sistema monitorea las fluctuaciones al alza inducidas por errores de etiqueta (comunes en regímenes de eventos raros) y activa la adjudicación humana para anomalías de alto impacto.

3. Contribuciones Clave

El artículo detalla cuatro contribuciones principales:

Un Estimador Consistente con el Diseño: Un método para la estimación diaria de la prevalencia que soporta múltiples desgloses de segmentos desde una única muestra de probabilidad global, asegurando la insesgadez incluso cuando los modelos de aplicación evolucionan.
Cuantificación Práctica de la Incertidumbre: Un marco integral para CI, diagnósticos de tamaño de muestra efectivo y un análisis de sensibilidad sobre cómo los errores de etiqueta (específicamente los falsos positivos) se propagan en las estimaciones de prevalencia, incluyendo orientación sobre cuándo activar las correcciones de sesgo.
Flujo de Trabajo de Configuración de Hiperparámetros: Un flujo de trabajo concreto, respaldado por simulaciones, para ajustar los parámetros de muestreo ( $\nu, \gamma, \epsilon$ ) para equilibrar el conteo de muestras positivas frente al tamaño de muestra efectivo para nuevas políticas.
Flujo de Trabajo de Ingeniería Configurable: Un sistema de extremo a extremo donde las definiciones de política, los prompts y los conjuntos de oro son configuraciones declarativas, lo que permite la incorporación rápida de nuevas métricas de política sin necesidad de procesos de ingeniería personalizados.

4. Resultados y Evidencia Empírica

El sistema ha estado en producción diaria en Pinterest durante más de un año en múltiples áreas de política. Debido a la confidencialidad respecto a los niveles absolutos de prevalencia, los resultados se reportan en términos relativos y mediante simulaciones sintéticas.

Eficiencia de Muestreo: En producción, el muestreo asistido por ML (usando puntuaciones de riesgo) aumentó la fracción de muestras positivas de 6× a 11.4× en comparación con el muestreo PPS basado solo en impresiones para un presupuesto de etiquetas fijo. Esto reduce significativamente el presupuesto de etiquetado requerido para alcanzar un ancho de CI objetivo.
Eficiencia de Etiquetado: El flujo de trabajo asistido por LLM redujo la latencia de etiquetado de extremo a extremo en aproximadamente 15× y los costos operativos en >10× en comparación con los flujos de trabajo puramente humanos, manteniendo una calidad de decisión comparable.
Robustez Estadística: Las simulaciones demuestran que el reponderaje basado en el diseño mantiene las estimaciones puntuales sin sesgo incluso cuando las puntuaciones de riesgo auxiliares presentan drift; el efecto principal del drift es un aumento en la varianza (CI más amplios) en lugar de sesgo.
Sensibilidad de Hiperparámetros: Los experimentos muestran que aumentar el exponente de la puntuación de riesgo ( $\gamma$ ) mejora la precisión hasta cierto punto (ej. $\gamma=1$ ), pero un sesgo agresivo ( $\gamma \ge 2$ ) colapsa el tamaño de muestra efectivo, degradando el rendimiento.
Efectos Mínimos Detectables (MDE): El sistema permite la detección de cambios relativos tan pequeños como 5–6.5% (relativos a la media) de forma semanal, dependiendo del área de política y el volumen de etiquetas.

5. Significado y Reivindicaciones

El artículo afirma que este enfoque cambia fundamentalmente el punto operativo de la medición de la seguridad de contenido:

De Auditorías Infrecuentes a Retroalimentación de Alta Frecuencia: Al reducir la latencia y el costo, el sistema permite el monitoreo diario y representativo de la plataforma, permitiendo a los equipos detectar patrones emergentes, realizar análisis de causa raíz rápidos y evaluar intervenciones (ej. lanzamientos de modelos, actualizaciones de políticas) en tiempo casi real.
Complementariedad a los Reportes: El sistema proporciona visibilidad sobre los daños que son subreportados, ofreciendo una métrica complementaria a los reportes de usuarios.
Gobernanza Escalable: El flujo de trabajo configurable permite a los equipos de seguridad escalar la medición a nuevas políticas rápidamente, gobernada por la validación de conjuntos de oro en lugar de esfuerzos de ingeniería personalizados.
Seguridad Ética: El sistema está diseñado para minimizar la exposición humana al contenido dañino mediante el uso de LLMs para el etiquetado masivo y reservando la revisión humana para la validación dirigida y la adjudicación de casos límite.

Los autores enfatizan que, si bien los niveles de prevalencia absoluta para políticas sensibles son confidenciales, la metodología está totalmente especificada y verificada mediante simulaciones sintéticas, asegurando que el enfoque sea independientemente verificable y robusto ante los desafíos de la estimación de eventos raros en sistemas a gran escala.