📊 statistics

Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments

Este artigo apresenta uma solução de nível de sistema e de baixo custo para a plataforma de experimentação do Pinterest que escala a medição de prevalência de conteúdo baseada em LLM através de centenas de testes A/B simultâneos ao implementar uma calibração global única e continuamente atualizada de buckets de pontuação de ML, permitindo, assim, o rastreamento diário de alta fidelidade para mais de 20 vezes mais braços de experimento do que a rotulagem tradicional por experimento via LLM dentro do mesmo orçamento.

Autores originais: Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi

Publicado 2026-07-30

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está administrando uma cidade enorme e movimentada, onde milhões de pessoas caminham pelas ruas todos os dias. Nesta cidade, existem milhares de lojas, parques e outdoors diferentes, e os planejadores urbanos querem saber exatamente quanto tempo as pessoas passam olhando para tipos específicos de coisas — como "ferramentas de jardinagem" ou "arte gerada por IA". Este é o mundo da medição de prevalência: descobrir qual fração do total de "impressões" (ou olhares) pertence a uma determinada categoria.

Para tomar decisões sobre a cidade, os planejadores frequentemente realizam experimentos A/B. Isso é como testar duas versões diferentes de uma placa de rua: uma versão para metade das pessoas, outra para a outra metade, para ver qual delas as deixa mais felizes ou engajadas. Geralmente, para saber se uma placa está funcionando, você precisa contar os resultados. Mas aqui está o detalhe: às vezes, a coisa que você quer contar é difícil de medir. Você não pode simplesmente perguntar a cada pessoa o que ela viu; isso levaria uma eternidade e custaria uma fortuna. No mundo digital, essa tarefa "difícil de medir" é frequentemente realizada por Modelos de Linguagem de Grande Escala (LLMs) — computadores de IA superinteligentes que podem ler uma imagem ou uma postagem e dizer: "Sim, isso é sobre jardinagem" ou "Não, isso não é". Embora esses juízes de IA sejam incrivelmente precisos, pedir a eles que examinem cada item em uma cidade com bilhões de visitantes diários é caro demais e lento demais para ser feito para cada experimento individual.

É aqui que entra o artigo de Zehao Xu e sua equipe no Pinterest. Eles enfrentaram um problema: estavam realizando centenas de experimentos todos os dias e precisavam saber a "prevalência" de certos tipos de conteúdo (como o quanto de pins eram sobre IA ou problemas de segurança) para cada grupo de experimento. Eles não podiam pagar à IA para rotular cada item em cada teste novo. Então, construíram um sistema inteligente que atua como um "tradutor global". Em vez de pedir à IA cara para verificar cada item em cada novo experimento, eles pedem que a IA verifique uma amostra representativa de toda a cidade uma vez por dia. Eles usam essa amostra para ensinar um modelo mais barato e rápido a adivinhar a prevalência. Então, usam esse modelo rápido para medir todo o resto instantaneamente. O resultado? Eles conseguem rastrear mudanças na exposição de conteúdo para centenas de experimentos todos os dias, capturando mudanças minúsculas que uma única verificação cara perderia — tudo sem gastar dinheiro extra com rótulos de IA.

O Problema: O "Padrão Ouro" é Caro Demais

No mundo da mídia online, empresas como o Pinterest precisam equilibrar a manutenção do engajamento dos usuários com a garantia de que eles não vejam excessivamente certos tipos de conteúdo (como imagens inseguras ou spam de baixa qualidade). Para fazer isso, elas realizam testes A/B. Nesses testes, elas ajustam o algoritmo para ver se ele altera a quantidade de um tipo específico de conteúdo que os usuários veem.

Para medir isso, o "padrão ouro" é usar uma IA (um LLM) para examinar uma amostra de conteúdo e rotulá-la perfeitamente. Isso é como ter uma equipe de críticos de arte especialistas examinando cada pintura em uma galeria para contar quantas são paisagens. É preciso, mas é lento e incrivelmente caro. Se você tem centenas de experimentos rodando ao mesmo tempo e precisa verificar o conteúdo para cada grupo em cada experimento, o custo seria astronômico. Você simplesmente não pode pagar para contratar os "especialistas" para olhar tudo, todos os dias.

Além disso, as mudanças que as empresas monitoram são frequentemente muito pequenas. Se um novo algoritmo reduz a quantidade de "arte gerada por IA" que os usuários veem em apenas 2% ou 5%, uma única verificação cara pode não ser precisa o suficiente para dizer se essa mudança é real ou apenas ruído aleatório. É como tentar ouvir um sussurro em uma sala barulhenta com um único microfone caro; você pode perder o sussurro inteiramente.

A Solução: Um Mapa de Calibração Global

A equipe do Pinterest percebeu que não precisavam pedir à IA cara para rotular tudo para cada experimento. Em vez disso, precisavam de uma maneira de "calibrar" um método mais barato e rápido usando a sabedoria da IA cara.

Pense da seguinte forma: imagine que você tem um termômetro superpreciso, mas lento (o LLM) e um termômetro barato e rápido (a pontuação do modelo de ML). O termômetro barato fornece um número, mas não é perfeitamente preciso. No entanto, se você usar o termômetro caro para verificar a temperatura em alguns pontos específicos todos os dias, poderá criar um mapa que lhe diz exatamente como corrigir a leitura do termômetro barato para qualquer localização.

O artigo descreve um sistema que faz exatamente isso:

Calibração Global: Em vez de rotular itens para cada experimento separadamente, eles executam um processo de amostragem global diária. Eles usam o LLM caro para rotular uma amostra representativa de todo o tráfego da plataforma.
Agrupamento (Bucketing): Eles pegam as pontuações do modelo barato e rápido (que prevê a probabilidade de um item ser, por exemplo, "gerado por IA") e as agrupam em "baldes" ou categorias (ex: 0–10%, 10–20%, etc.).
A Tradução: Usando os rótulos do LLM diário, eles calculam exatamente qual porcentagem de itens em cada balde é realmente "gerada por IA". Isso cria uma tabela de consulta: "Se o modelo barato diz que um item está no balde de 80–90%, há 95% de chance de ele ser realmente gerado por IA".
Medição Instantânea: Agora, para qualquer novo experimento, eles não precisam chamar a IA cara. Eles apenas olham as pontuações do modelo barato para os itens naquele experimento, veem em quais baldes eles caem e usam o mapa pré-calculado para saber a prevalência instantaneamente.

Os Resultados: Capturando os Sussurros

A equipe testou este sistema contra as medições do "padrão ouro" do LLM em experimentos do mundo real. Os resultados foram impressionantes:

Escala: O sistema está atendendo atualmente cerca de 100 experimentos e 250 grupos diferentes (braços) todos os dias.
Eficiência: Comparado ao método antigo de realizar uma única verificação cara por experimento, este novo sistema fornece medições diárias para mais de 20 vezes mais experimentos simultâneos usando o mesmo orçamento de rotulagem.
Precisão: Em cerca de 300 auditorias de produção, o intervalo de confiança de 95% do sistema continha a resposta do LLM caro 92% das vezes. Isso significa que o método barato e rápido é quase tão confiável quanto o caro.
Sensibilidade: A descoberta mais emocionante foi sobre a detecção de pequenas mudanças. Em um experimento, o novo sistema detectou uma redução relativa pequena, mas consistente, de 4,2% em um tipo específico de conteúdo. Uma única verificação de LLM cara naquele mesmo experimento teria perdido isso inteiramente porque o ruído era muito alto. Ao agregar dados diários, o novo sistema conseguiu ouvir o "sussurro" que o microfone caro perdeu.

Por Que Isso Importa

Isso não é apenas sobre economizar dinheiro; é sobre tomar decisões melhores. Antes deste sistema, as equipes poderiam ter que deixar de medir a prevalência de conteúdo em muitos experimentos porque era caro demais. Ou, elas poderiam tomar decisões baseadas em um único ponto de dados ruidoso que perdeu tendências pequenas, mas importantes.

Ao "calibrar globalmente e medir em todo lugar", a equipe criou um sistema onde o custo da IA cara é pago uma vez (ou amortizado) e depois reutilizado milhares de vezes. Isso transforma um processo lento e caro em uma rotina diária e reutilizável. Isso permite que as equipes de produto vejam o quadro completo de como suas mudanças afetam a exposição de conteúdo, garantindo que a plataforma permaneça segura, de alta qualidade e envolvente para todos, sem estourar o orçamento.

O artigo enfatiza que este é um feito de nível de sistema, não apenas uma nova fórmula matemática. Trata-se de construir um pipeline que pega uma tarefa recorrente e cara e a transforma em um ativo reutilizável. Embora o artigo observe que os custos dos LLMs podem diminuir no futuro, tornando a rotulagem direta mais barata, a lógica deste sistema — usar uma calibração global para escalar as medições — continua sendo uma ferramenta poderosa para gerenciar experimentos complexos e de grande escala hoje.

Resumo Técnico: Calibrar Globalmente, Medir em Todo Lugar

Definição do Problema
Plataformas de mídia online como o Pinterest dependem de experimentos A/B para avaliar mudanças em produtos. Uma métrica crítica para esses experimentos é a prevalência: a fração de impressões associadas a atributos específicos de conteúdo (ex: "Receita de Comida" ou "Gerado por IA Generativa"). Embora os Modelos de Linguagem de Grande Escala (LLMs) forneçam rotulagem de alta fidelidade para esses atributos, executar a rotulagem baseada em LLM para cada experimento, cada braço e cada segmento, todos os dias, é proibitivo em termos de custo. Aplicar diretamente a rotulagem por LLM a milhares de experimentos simultâneos é operacionalmente inviável. Além disso, medições de LLM de disparo único (single-shot) por braço muitas vezes carecem de poder estatístico para detectar efeitos de tratamento pequenos, mas significativos (deslocamentos relativos de 2–5%), devido à incerteza de amostragem.

Metodologia: O Surrogado de Balde de Pontuação de ML
Os autores propõem uma solução de nível de sistema em vez de um novo estimador estatístico. A metodologia central envolve o uso de uma pontuação de modelo de Machine Learning (ML) como um resultado substituto (surrogate), calibrado contra um fluxo recorrente e global de dados rotulados por LLM.

Calibração Global: Em vez de rotular por experimento, o sistema mantém uma única calibração global de baldes de pontuação de ML.
- Baldeamento (Bucketization): As pontuações do modelo ( $m_{i,k}$ ) para uma categoria $k$ são discretizadas em $B$ baldes (ex: $[0, 0.1), [0.1, 0.2), \dots$ ).
- Amostra de Calibração: Um fluxo diário de dados rotulados por LLM em toda a plataforma é usado para estimar a prevalência por balde ( $\hat{P}_{k,b}$ ), definida como a probabilidade de um item em um balde $b$ realmente pertencer à categoria $k$ .
- Design de Amostragem: Para garantir dados suficientes em baldes de alta pontuação (que costumam ser raros), os pesos de amostragem são proporcionais a $I_i \times m_{i,k}$ (impressões $\times$ pontuação do modelo), em vez de apenas impressões. Isso equilibra a distribuição da amostra entre os baldes.
- Estimativa: A prevalência por balde é estimada usando o estimador de Hansen–Hurwitz em uma amostra PPSWOR (Probability Proportional to Size Without Replacement - Probabilidade Proporcional ao Tamanho Sem Reposição).
Aplicação do Surrogado:
- Para qualquer braço de experimento específico $S$ , o sistema calcula a parcela de impressões que caem em cada balde de pontuação ( $c_{k,b}(S)$ ) diretamente dos logs de impressão.
- A prevalência do braço é computada como uma soma ponderada: $\hat{P}_k(S) \approx \sum_{b} c_{k,b}(S) \cdot \hat{P}_{k,b}$ .
- Esta computação é determinística e executada via SQL, não exigindo novas chamadas de LLM para o experimento específico.
Variância e Inferência:
- O sistema propaga a variância da calibração por balde para a estimativa final.
- Dashboard Focado em Delta: Para detectar mudanças pequenas, o sistema agrega deltas diários ( $\Delta(d)$ ) entre os braços de tratamento e controle. Ele utiliza um teste de sinal nos deltas diários para determinar a significância estatística, filtrando efetivamente o ruído inerente às estimativas de prevalência absoluta causadas pela incerteza da calibração.

Principais Contribuições

Arquitetura de Nível de Sistema: A principal contribuição é um sistema de medição implantado que amortiza o custo da rotulagem cara por LLM em centenas de experimentos simultâneos.
Custo Incremental Zero: Na implementação do Pinterest, o sistema reutiliza um fluxo de trabalho de LLM diário já existente, usado para monitoramento de nível de plataforma, incorrendo em custo zero de rotulagem incremental para métricas de experimentos individuais.
Escalabilidade: O sistema atende a aproximadamente 100 experimentos e 250 braços diariamente em seis categorias de conteúdo. Ele fornece prevalência diária por braço para mais de 20x mais braços simultâneos do que seria possível com um orçamento de LLM por experimento.
Sensibilidade: Ao agregar deltas diários, o sistema recupera deslocamentos relativos pequenos (2–5%) que as medições de LLM de disparo único perderiam devido aos amplos intervalos de confiança.

Resultos e Validação
O sistema foi validado através de auditorias de produção contra o estimador de referência baseado em LLM em experimentos A/B reais:

Precisão: Em cerca de 300 auditorias, o intervalo de confiança de 95% do substituto continha a estimativa pontual de referência do LLM em 92% das avaliações. Os intervalos se sobrepuseram em 96% dos casos.
Estudos de Caso:
- Experimento A (Filtragem): O substituto detectou corretamente reduções significativas na prevalência (quedas de aproximadamente 19–36%) para categorias filtradas, com as estimativas caindo dentro dos intervalos de confiança da referência de LLM.
- Experimento B (Mudança de UI): O substituto identificou corretamente a ausência de mudança significativa na prevalência, alinhando-se à hipótese nula.
- Experimento C (Pequeno Deslocamento): Uma medição de LLM por braço falhou em detectar uma redução relativa de ~4% (p-valor 0.31). O substituto, via agregação de delta diário, detectou este deslocamento como estatisticamente significativo (p-valor < 0.001).
Latência: O substituto fornece resultados em <10 segundos (latência interativa) via SQL, comparado a 10–24 horas para processamento baseado em LLM.

Significância e Alegações
O artigo afirma que sua significância reside em escalar a medição baseada em LLM. Argumenta-se que, embora os LLMs sejam excelentes "juízes", eles são caros demais para serem a métrica padrão para cada experimento. Ao tratar a pontuação de ML como um substituto e calibrá-la globalmente, o sistema permite:

Medição de Alta Fidelidade em Escala: Estender insights de qualidade de LLM para bilhões de impressões diárias sem aumentos proporcionais de custo.
Viabilidade Operacional: Tornar a prevalência uma métrica diária padrão para equipes de produto, em vez de uma análise rara e pontual.
Amortização de Custo: Mudar o modelo de custo de "pagar por experimento/braço" para "pagar uma vez pela calibração global", tornando a medição de alta qualidade acessível para todos os experimentos subsequentes.

Os autores observam que, embora os custos de LLM possam eventualmente diminuir, o padrão de sistema de separar níveis absolutos de deltas e amortizar a calibração entre experimentos simultâneos permanece um padrão arquitetural valioso para sistemas de medição em produção.

O Problema: O "Padrão Ouro" é Caro Demais

A Solução: Um Mapa de Calibração Global

Os Resultados: Capturando os Sussurros

Por Que Isso Importa

Mais como este