📊 statistics

Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments

Este artículo presenta una solución a nivel de sistema y rentable para la plataforma de experimentación de Pinterest que escala la medición de la prevalencia de contenido basada en LLM a través de cientos de pruebas A/B concurrentes mediante la implementación de una calibración global única y continuamente actualizada de los cubos de puntuación de ML, permitiendo así un seguimiento diario de alta fidelidad para más de 20 veces más brazos de experimento que el etiquetado tradicional por experimento con LLM dentro del mismo presupuesto.

Autores originales: Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi

Publicado 2026-07-30

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que diriges una ciudad enorme y bulliciosa donde millones de personas caminan por las calles cada día. En esta ciudad, hay miles de tiendas, parques y vallas publicitarias diferentes, y los planificadores urbanos quieren saber exactamente cuánto tiempo pasa la gente mirando tipos específicos de cosas, como "herramientas de jardinería" o "arte generado por IA". Este es el mundo de la medición de la prevalencia: averiguar qué fracción de las "impresiones" (o miradas) totales pertenece a una categoría determinada.

Para tomar decisiones sobre la ciudad, los planificadores suelen realizar experimentos A/B. Esto es como probar dos versiones diferentes de un letrero de calle: una versión para la mitad de la gente, otra para la otra mitad, para ver cuál hace que la gente sea más feliz o esté más comprometida. Normalmente, para saber si un letrero está funcionando, necesitas contar los resultados. Pero aquí está el truco: a veces, lo que quieres contar es difícil de medir. No puedes simplemente preguntar a cada persona qué vio; tomaría una eternidad y costaría una fortuna. En el mundo digital, esta tarea "difícil de medir" se realiza mediante Modelos de Lenguaje Extensos (LLM): computadoras de IA superinteligentes que pueden leer una imagen o una publicación y decirte: "Sí, esto es sobre jardinería" o "No, esto no lo es". Aunque estos jueces de IA son increíblemente precisos, pedirles que miren cada uno de los elementos de una ciudad con miles de millones de visitantes diarios es demasiado caro y lento de hacer para cada experimento individual.

Aquí es donde entra el artículo de Zehao Xu y su equipo en Pinterest. Se enfrentaron a un problema: realizaban cientos de experimentos al día y necesitaban saber la "prevalencia" de ciertos tipos de contenido (como si los pins eran sobre IA o problemas de seguridad) para cada grupo de experimento. No podían permitirse pagar a la IA para etiquetar cada elemento de cada prueba. Así que construyeron un ingenioso sistema que actúa como un "traductor global". En lugar de pedir a la costosa IA que revise cada elemento de cada nuevo experimento, le piden a la IA que revise una muestra representativa de toda la ciudad una vez al día. Utilizan esa muestra para enseñar a un modelo más barato y rápido cómo adivinar la prevalencia. Luego, utilizan ese modelo rápido para medir todo lo demás instantáneamente. El resultado es que pueden rastrear los cambios en la exposición de contenido para cientos de experimentos cada día, detectando cambios diminutos que un único control costoso pasaría por alto, todo sin gastar dinero extra en etiquetas de IA.

El Problema: El "Estándar de Oro" es demasiado caro

En el mundo de los medios en línea, empresas como Pinterest necesitan equilibrar el compromiso de los usuarios con el hecho de asegurar que no estén viendo demasiados tipos de contenido específicos (como imágenes inseguras o spam de baja calidad). Para hacer esto, realizan pruebas A/B. En estas pruebas, ajustan el algoritmo para ver si cambia la cantidad de un tipo de contenido específico que los usuarios ven.

Para medir esto, el "estándar de oro" es utilizar una IA (un LLM) para observar una muestra de contenido y etiquetarla perfectamente. Esto es como tener un equipo de expertos críticos de arte examinando cada pintura en una galería para contar cuántas son paisajes. Es preciso, pero es lento e increíblemente costoso. Si tienes cientos de experimentos ejecutándose al mismo tiempo, y necesitas verificar el contenido para cada grupo en cada experimento, el costo sería astronómico. Simplemente no puedes permitirte contratar a los "expertos" para que lo miren todo, todos los días.

Además, los cambios que a las empresas les importan suelen ser muy pequeños. Si un nuevo algoritmo reduce la cantidad de "arte generado por IA" que ven los usuarios en solo un 2% o un 5%, un único control costoso podría no ser lo suficientemente preciso para decir si ese cambio es real o si es solo ruido aleatorio. Es como intentar escuchar un susurro en una habitación ruidosa con un solo micrófono costoso; podrías perderlo por completo.

La Solución: Un Mapa de Calibración Global

El equipo de Pinterest se dio cuenta de que no necesitaban pedir a la IA costosa que etiquetara todo para cada experimento. En su lugar, necesitaban una forma de "calibrar" un método más barato y rápido utilizando la sabiduría de la IA costosa.

Piénsalo de esta manera: imagina que tienes un termómetro superpreciso pero lento (el LLM) y un termómetro barato y rápido (la puntuación del modelo de ML). El termómetro barato te da un número, pero no es perfectamente preciso. Sin embargo, si usas el termómetro costoso para revisar la temperatura en algunos puntos específicos cada día, puedes crear un mapa que te diga exactamente cómo corregir la lectura del termómetro barato para cualquier ubicación.

El artículo describe un sistema que hace exactamente esto:

Calibración Global: En lugar de etiquetar elementos para cada experimento por separado, ejecutan un proceso de muestreo global diario. Utilizan el LLM costoso para etiquetar una muestra representativa de todo el tráfico de la plataforma.
Segmentación (Bucketing): Toman las puntuaciones del modelo rápido y barato (que predice la probabilidad de que un elemento sea, por ejemplo, "generado por IA") y los agrupan en "cubetas" o segmentos (por ejemplo, 0–10%, 10–20%, etc.).
La Traducción: Utilizando las etiquetas diarias del LLM, calculan exactamente qué porcentaje de los elementos en cada segmento es realmente "generado por IA". Esto crea una tabla de consulta: "Si el modelo barato dice que un elemento está en el segmento del 80–90%, hay un 95% de probabilidad de que sea realmente generado por IA".
Medición Instantánea: Ahora, para cualquier experimento nuevo, no necesitan llamar a la IA costosa. Simplemente observan las puntuaciones del modelo barato para los elementos en ese experimento, ven en qué segmentos caen y utilizan el mapa precalculado para conocer la prevalencia instantáneamente.

Los Resultados: Captando los Susurros

El equipo probó este sistema contra las mediciones del "estándar de oro" del LLM en experimentos del mundo real. Los resultados fueron impresionantes:

Escala: El sistema actualmente atiende alrededor de 100 experimentos y 250 grupos diferentes (brazos) cada día.
Eficiencia: En comparación con la forma antigua de realizar un único control costoso por experimento, este nuevo sistema proporciona mediciones diarias para más de 20 veces más experimentos simultáneos utilizando el mismo presupuesto de etiquetado.
Precisión: En aproximadamente 300 auditorías de producción, el intervalo de confianza del 95% del sistema contenía la respuesta del costoso LLM el 92% de las veces. Esto significa que el método rápido y barato es casi tan confiable como el costoso.
Sensibilidad: El hallazgo más emocionante fue la detección de cambios pequeños. En un experimento, el nuevo sistema detectó una reducción relativa pequeña pero constante del 4.2% en un tipo de contenido específico. Un único control costoso del LLM en ese mismo experimento habría pasado esto por alto por completo debido a que el ruido era demasiado alto. Al agregar datos diarios, el nuevo sistema pudo escuchar el "susurro" que el micrófono costoso no pudo captar.

Por Qué Es Importante

Esto no se trata solo de ahorrar dinero; se trata de tomar mejores decisiones. Antes de este sistema, los equipos podrían haber tenido que omitir la medición de la prevalencia de contenido en muchos experimentos porque era demasiado costoso. O bien, podrían haber tomado decisiones basadas en un único punto de datos ruidoso que pasó por alto tendencias pequeñas pero importantes.

Al "calibrar globalmente y medir en todas partes", el equipo creó un sistema donde el costo de la IA costosa se paga una vez (o se amortiza) y luego se reutiliza miles de veces. Convierte un proceso lento y costoso en una rutina diaria y reutilizable. Esto permite que los equipos de producto vean el panorama completo de cómo sus cambios afectan la exposición de contenido, asegurando que la plataforma siga siendo segura, de alta calidad y atractiva para todos, sin romper el banco.

El artículo enfatiza que este es un logro a nivel de sistema, no solo una nueva fórmula matemática. Se trata de construir un flujo de trabajo que toma una tarea recurrente y costosa y la convierte en un activo reutilizable. Si bien el artículo señala que los costos de los LLM podrían disminuir en el futuro, haciendo que el etiquetado directo sea más barato, la lógica de este sistema —utilizar una calibración global para escalar las mediciones— sigue siendo una herramienta poderosa para gestionar experimentos complejos y a gran escala hoy en día.

Resumen Técnico: Calibrar Globalmente, Medir en Todas Partes

Planteamiento del Problema
Las plataformas de medios en línea como Pinterest dependen de experimentos A/B para evaluar cambios en el producto. Una métrica crítica para estos experimentos es la prevalencia: la fracción de impresiones asociadas con atributos específicos de contenido (por ejemplo, "Receta de Comida" o "Generado por IA Generativa"). Aunque los Modelos de Lenguaje de Gran Escala (LLM) proporcionan un etiquetado de alta fidelidad para estos atributos, ejecutar el etiquetado basado en LLM para cada experimento, cada brazo y cada segmento, todos los días, resulta prohibitivo en términos de costos. Aplicar directamente el etiquetado por LLM a miles de experimentos simultáneos es operativamente inviable. Además, las mediciones de un solo paso (single-shot) mediante LLM por cada brazo carecen de la potencia estadística necesaria para detectar efectos de tratamiento pequeños pero significativos (cambios relativos del 2 al 5%) debido a la incertidumbre del muestreo.

Metodología: El Sustituto de Cubetas de Puntuación de ML (ML Score Bucket Surrogate)
Los autores proponen una solución a nivel de sistema en lugar de un nuevo estimador estadístico. La metodología central consiste en utilizar la puntuación de un modelo de Aprendizaje Automático (ML) como un resultado sustituto (surrogate outcome), calibrado contra un flujo recurrente y global de datos etiquetados por LLM.

Calibración Global: En lugar de etiquetar por experimento, el sistema mantiene una única calibración global de cubetas de puntuación de ML.
- Cubetización (Bucketization): Las puntuaciones del modelo ( $m_{i,k}$ ) para una categoría $k$ se discretizan en $B$ cubetas (por ejemplo, $[0, 0.1), [0.1, 0.2), \dots$ ).
- Muestra de Calibración: Se utiliza un flujo diario de etiquetado por LLM a nivel de toda la plataforma para estimar la prevalencia por nivel de cubeta ( $\hat{P}_{k,b}$ ), definida como la probabilidad de que un elemento en la cubeta $b$ pertenezca realmente a la categoría $k$ .
- Diseño de Muestreo: Para asegurar suficiente información en las cubetas de puntuación alta (que suelen ser raras), los pesos de muestreo son proporcionales a $I_i \times m_{i,k}$ (impresiones $\times$ puntuación del modelo), en lugar de solo impresiones. Esto equilibra la distribución de la muestra entre las cubetas.
- Estimación: La prevalencia a nivel de cubeta se estima utilizando el estimador de Hansen–Hurwitz sobre la muestra PPSWOR (Probabilidad Proporcional al Tamaño Sin Reemplazo).
Aplicación del Sustituto:
- Para cualquier brazo de experimento específico $S$ , el sistema calcula la participación de las impresiones que caen en cada cubeta de puntuación ( $c_{k,b}(S)$ ) directamente desde los registros de impresiones.
- La prevalencia del brazo se calcula como una suma ponderada: $\hat{P}_k(S) \approx \sum_{b} c_{k,b}(S) \cdot \hat{P}_{k,b}$ .
- Este cálculo es determinista y se ejecuta mediante SQL, lo que no requiere nuevas llamadas a LLM para el experimento específico.
Varianza e Inferencia:
- El sistema propaga la varianza desde la calibración de nivel de cubeta hacia la estimación final.
- Panel de Control Enfocado en Deltas (Delta-Focused Dashboard): Para detectar cambios pequeños, el sistema agrega los deltas diarios ( $\Delta(d)$ ) entre los brazos de tratamiento y control. Utiliza una prueba de signos en estos deltas diarios para determinar la significancia estadística, filtrando eficazmente el ruido inherente en las estimaciones de prevalencia absoluta causado por la incertidumbre de la calibración.

Contribuciones Clave

Arquitectura a Nivel de Sistema: La contribución principal es un sistema de medición desplegado que amortiza el costo del costoso etiquetado por LLM entre cientos de experimentos simultáneos.
Costo Incremental Cero: En el despliegue de Pinterest, el sistema reutiliza un flujo de trabajo de LLM diario existente utilizado para el monitoreo a nivel de plataforma, lo que supone un costo de etiquetado incremental cero para las métricas por experimento.
Escalabilidad: El sistema sirve aproximadamente 100 experimentos y 250 brazos diariamente a través de seis categorías de contenido. Proporciona la prevalencia diaria por brazo para más de 20 veces más brazos concurrentes de lo que sería posible con un presupuesto de LLM por experimento.
Sensibilidad: Al agregar los deltas diarios, el sistema recupera cambios relativos pequeños (2–5%) que las mediciones de un solo paso por LLM perderían debido a los amplios intervalos de confianza.

Resultados y Validación
El sistema fue validado mediante auditorías de producción contra el estimador de referencia basado en LLM en experimentos A/B reales:

Precisión: En aproximadamente 300 auditorías, el intervalo de confianza del 95% del sustituto contuvo la estimación puntual del punto de referencia basado en LLM en el 92% de las evaluaciones. Los intervalos se solaparon en el 96% de los casos.
Casos de Estudio:
- Experimento A (Filtrado): El sustituto detectó correctamente reducciones significativas en la prevalencia (caídas de aproximadamente 19–36% para categorías filtradas), con estimaciones que caen dentro de los intervalos de confianza del referente de LLM.
- Experimento B (Cambio de UI): El sustituto identificó correctamente que no hubo un cambio significativo en la prevalencia, alineándose con la hipótesis nula.
- Experimento C (Cambio Pequeño): Una sola medición por LLM por brazo falló en detectar una reducción relativa de aproximadamente el 4% (p-valor 0.31). El sustituto, mediante la agregación de deltas diarios, detectó este cambio como estadísticamente significativo (p-valor < 0.001).
Latencia: El sustituto proporciona resultados en <10 segundos (latencia interactiva) mediante SQL, en comparación con las 10–24 horas del procesamiento basado en LLM.

Significancia y Reivindicaciones
El artículo afirma que su importancia radica en la escalabilidad de la medición basada en LLM. Argumenta que, aunque los LLM son excelentes "jueces", son demasiado caros para ser la métrica predeterminada para cada experimento. Al tratar la puntuación de ML como un sustituto y calibrarla globalmente, el sistema permite:

Medición de Alta Fidelidad a Escala: Extender los conocimientos de calidad de LLM a miles de millones de impresiones diarias sin aumentos proporcionales de costos.
Viabilidad Operativa: Convertir la prevalencia en una métrica estándar y diaria para los equipos de producto, en lugar de un análisis raro y ocasional.
Amortización de Costos: Cambiar el modelo de costos de "pago por experimento/brazo" a "pagar una vez por la calibración global", haciendo que la medición de alta calidad sea accesible para todos los experimentos descendentes.

Los autores señalan que, aunque los costos de los LLM pueden disminuir eventualmente, el patrón del sistema de separar los niveles absolutos de los deltas y amortizar la calibración entre experimentos concurrentes sigue siendo un patrón arquitectónico valioso para los sistemas de medición en producción.

El Problema: El "Estándar de Oro" es demasiado caro

La Solución: Un Mapa de Calibración Global

Los Resultados: Captando los Susurros

Por Qué Es Importante

Más como este