📊 statistics

Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments

Cet article présente une solution systémique et rentable pour la plateforme d'expérimentation de Pinterest qui permet de mettre à l'échelle la mesure de la prévalence des contenus basée sur les LLM à travers des centaines de tests A/B simultanés en implémentant un étalonnage global unique et continuellement actualisé des segments de scores ML, permettant ainsi un suivi quotidien de haute fidélité pour plus de 20 fois plus de bras d'expérience que l'étiquetage par LLM traditionnel par expérience, tout en respectant le même budget.

Auteurs originaux : Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi

Publié 2026-07-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une ville immense et bouillonnante où des millions de personnes déambulent dans les rues chaque jour. Dans cette ville, il y a des milliers de boutiques, de parcs et de panneaux publicitaires différents, et les urbanistes veulent savoir exactement combien de temps les gens passent à regarder des choses spécifiques — comme des « outils de jardinage » ou de l'« art généré par IA ». C'est le monde de la mesure de la prévalence : déterminer quelle fraction du total des « impressions » (ou des regards) appartient à une certaine catégorie.

Pour prendre des décisions sur la ville, les planificateurs lancent souvent des expériences A/B. C'est comme tester deux versions différentes d'un panneau de signalisation : une version pour la moitié des gens, une autre pour l'autre moitié, afin de voir laquelle rend les gens plus heureux ou plus engagés. Habituellement, pour savoir si un panneau fonctionne, vous devez compter les résultats. Mais voici le hic : parfois, la chose que vous voulez compter est difficile à mesurer. Vous ne pouvez pas simplement demander à chaque personne ce qu'elle a vu ; cela prendrait une éternité et coûterait une fortune. Dans le monde numérique, cette tâche « difficile à mesurer » est souvent accomplie par des Modèles de Langage de Grande Taille (LLM) — des ordinateurs dotés d'une IA super intelligente capables de lire une image ou une publication et de dire : « Oui, c'est du jardinage » ou « Non, ce n'est pas du jardinage ». Bien que ces juges IA soient incroyablement précis, demander à l'IA d'examiner chaque article d'une ville comptant des milliards de visiteurs quotidiens est trop coûteux et trop lent pour être fait pour chaque expérience.

C'est là que le papier de Zehao Xu et de son équipe chez Pinterest intervient. Ils ont été confrontés à un problème : ils menaient des centaines d'expériences chaque jour, et ils avaient besoin de connaître la « prévalence » de certains types de contenus (comme le nombre de pins concernant l'IA ou les problèmes de sécurité) pour chaque groupe d'expérience. Ils ne pouvaient pas se permettre de payer l'IA pour étiqueter chaque article pour chaque test. Ils ont donc construit un système ingénieux qui agit comme un « traducteur global ». Au lieu de demander à l'IA coûteuse de vérifier chaque article de chaque nouvelle expérience, ils demandent à l'IA de vérifier un échantillon représentatif de toute la ville une fois par jour. Ils utilisent cet échantillon pour apprendre à un modèle plus simple et plus rapide comment deviner la prévalence. Ensuite, ils utilisent ce modèle rapide pour mesurer tout le reste instantanément. Le résultat ? Ils peuvent suivre l'évolution de l'exposition au contenu pour des centaines d'expériences chaque jour, en captant de minuscules variations qu'un contrôle unique et coûteux ignorerait, le tout sans dépenser d'argent supplémentaire en étiquetage par IA.

Le Problème : Le « Gold Standard » est trop coûteux

Dans le monde des médias en ligne, les entreprises comme Pinterest doivent équilibrer l'engagement des utilisateurs avec la nécessité de s'assurer qu'ils ne voient pas trop de certains types de contenus (comme des images non sécurisées ou du spam de faible qualité). Pour ce faire, elles lancent des tests A/B. Dans ces tests, elles modifient l'algorithme pour voir s'il change la quantité de contenus d'un type spécifique que les utilisateurs voient.

Pour mesurer cela, le « gold standard » (la référence absolue) consiste à utiliser une IA (un LLM) pour examiner un échantillon de contenu et l'étiqueter parfaitement. C'est comme avoir une équipe de critiques d'art experts examinant chaque tableau d'une galerie pour compter combien sont des paysages. C'est précis, mais c'est lent et incroyablement coûteux. Si vous avez des centaines d'expériences tournant simultanément, et que vous devez vérifier le contenu pour chaque groupe dans chaque expérience, le coût serait astronomique. Vous ne pouvez tout simplement pas vous permettre d'embaucher les « experts » pour regarder tout cela, chaque jour.

De plus, les changements qui importent aux entreprises sont souvent très faibles. Si un nouvel algorithme réduit de seulement 2 % ou 5 % la quantité d'« art généré par l'IA » que les utilisateurs voient, un contrôle unique et coûteux pourrait ne pas être assez précis pour dire si ce changement est réel ou s'il s'agit simplement d'un bruit aléatoire. C'est comme essayer d'entendre un murmure dans une pièce bruyante avec un seul micro coûteux ; vous pourriez passer à côté sans le remarquer.

La Solution : Une Carte de Calibration Globale

L'équipe de Pinterest a réalisé qu'elle n'avait pas besoin de demander à l'IA coûteuse d'étiqueter tout pour chaque expérience. Au lieu de cela, elle avait besoin d'un moyen de « calibrer » une méthode plus simple et plus rapide en utilisant la sagesse de l'IA coûteuse.

Pensez-y de cette façon : imaginez que vous avez un thermomètre super précis mais lent (le LLM) et un thermomètre bon marché et rapide (le score du modèle ML). Le thermomètre bon marché vous donne un chiffre, mais il n'est pas parfaitement précis. Cependant, si vous utilisez le thermomètre coûteux pour vérifier la température dans quelques points spécifiques chaque jour, vous pouvez créer une carte qui vous indique exactement comment corriger la lecture du thermomètre bon marché pour n'importe quel emplacement.

Le papier décrit un système qui fait exactement cela :

Calibration Globale : Au lieu d'étiqueter les articles pour chaque expérience séparément, ils exécutent un processus d'échantillonnage global quotidien. Ils utilisent le LLM coûteux pour étiqueter un échantillon représentatif de l'ensemble du trafic de la plateforme.
Segmentation (Bucketing) : Ils prennent les scores du modèle rapide et bon marché (qui prédit la probabilité qu'un article soit, par exemple, « généré par l'IA ») et les regroupent dans des « compartiments » (ex: 0–10 %, 10–20 %, etc.).
La Traduction : En utilisant les étiquettes du LLM quotidien, ils calculent exactement quel pourcentage d'articles dans chaque compartiment est réellement « généré par l'IA ». Cela crée une table de correspondance : « Si le modèle bon marché indique qu'un article est dans le compartiment 80–90 %, il y a 95 % de chances qu'il soit réellement généré par l'IA. »
Mesure Instantanée : Désormais, pour toute nouvelle expérience, ils n'ont pas besoin d'appeler l'IA coûteuse. Ils regardent simplement les scores du modèle bon marché pour les articles de cette expérience, voient dans quels compartiments ils tombent, et utilisent la carte précalculée pour connaître instantanément la prévalence.

Les Résultats : Capturer les Murmures

L'équipe a testé ce système par rapport aux mesures du « gold standard » (le LLM) dans des expériences réelles. Les résultats sont impressionnants :

Échelle : Le système sert actuellement environ 100 expériences et 250 groupes différents (bras) chaque jour.
Efficacité : Comparé à l'ancienne méthode consistant à effectuer un contrôle unique et coûteux par expérience, ce nouveau système fournit des mesures quotidiennes pour plus de 20 fois plus d'expériences simultanées avec le même budget d'étiquetage.
Précision : Dans environ 300 audits de production, l'intervalle de confiance à 95 % du système contenait la réponse du LLM coûteux 92 % du temps. Cela signifie que la méthode rapide et bon marché est presque aussi fiable que la méthode coûteuse.
Sensibilité : La découverte la plus excitante concernait la détection de petits changements. Dans une expérience, le nouveau système a détecté une réduction relative de 4,2 % constante d'un type de contenu spécifique. Un contrôle unique et coûteux par LLM sur cette même expérience aurait totalement manqué cela car le bruit était trop élevé. En agrégeant les données quotidiennes, le nouveau système a pu entendre le « murmure » que le microphone coûteux avait manqué.

Pourquoi cela importe

Il ne s'agit pas seulement d'économiser de l'argent ; il s'agit de prendre de meilleures décisions. Avant ce système, les équipes devaient peut-être renoncer à mesurer la prévalence du contenu dans de nombreuses expériences car cela était trop coûteux. Ou bien, elles pouvaient prendre des décisions basées sur un point de donnée unique et bruyant qui manquait des tendances subtiles mais importantes.

En « calibrant globalement et en mesurant partout », l'équipe a créé un système où le coût de l'IA coûteuse est payé une seule fois (ou amorti) et est ensuite réutilisé des milliers de fois. Cela transforme un processus lent et coûteux en une routine quotidienne et réutilisable. Cela permet aux équipes produit de voir l'image complète de la manière dont leurs changements affectent l'exposition au contenu, garantissant que la plateforme reste sûre, de haute qualité et engageante pour tous, sans se ruiner.

Le papier souligne qu'il s'agit d'une réussite au niveau du système, et non d'une simple nouvelle formule mathématique. Il s'agit de construire un pipeline qui prend une tâche récurrente et coûteuse et la transforme en un actif réutilisable. Bien que le papier note que les coûts des LLM pourraient baisser à l'avenir, rendant l'étiquetage direct moins cher, la logique de ce système — utiliser une calibration globale pour mettre l'échelle des mesures — reste un outil puissant pour gérer des expériences complexes et de grande ampleur aujourd'hui.

Résumé technique : Calibrer globalement, mesurer partout

Énoncé du problème
Les plateformes de médias en ligne comme Pinterest s'appuient sur des expériences A/B pour évaluer les changements de produits. Une métrique critique pour ces expériences est la prévalence : la fraction des impressions associées à des attributs de contenu spécifiques (par exemple, « Recette de cuisine » ou « Généré par IA générative »). Bien que les modèles de langage de grande taille (LLM) fournissent un étiquetage de haute fidélité pour ces attributs, l'exécution d'un étiquetage basé sur les LLM pour chaque expérience, chaque variante et chaque segment, et ce chaque jour, est économiquement insoutenable. Appliquer directement l'étiquetage par LLM à des milliers d'expériences simultanées est opérationnellement irréalisable. De plus, les mesures par LLM en une seule étape (single-shot) par variante manquent souvent de puissance statistique pour détecter des effets de traitement faibles mais significatifs (décalages relatifs de 2 à 5 %) en raison de l'incertitude d'échantillonnage.

Méthodologie : Le substitut par compartiment de score ML
Les auteurs proposent une solution au niveau du système plutôt qu'un nouvel estimateur statistique. La méthodologie centrale consiste à utiliser le score d'un modèle d'apprentissage automatique (ML) comme résultat substitut (surrogate outcome), calibré par rapport à un flux global et récurrent de données étiquetées par LLM.

Calibration globale : Au lieu d'étiqueter par expérience, le système maintient une calibration globale unique des compartiments de scores ML.
- Compartimentation (Bucketization) : Les scores du modèle ( $m_{i,k}$ ) pour une catégorie $k$ sont discrétisés en $B$ compartiments (ex : $[0, 0,1), [0,1, 0,2), \dots$ ).
- Échantillon de calibration : Un flux quotidien de données étiquetées par LLM à l'échelle de la plateforme est utilisé pour estimer la prévalence par compartiment ( $\hat{P}_{k,b}$ ), définie comme la probabilité qu'un élément dans le compartiment $b$ appartienne réellement à la catégorie $k$ .
- Plan d'échantillonnage : Pour garantir des données suffisantes dans les compartiments à score élevé (qui sont souvent rares), les poids d'échantillonnage sont proportionnels à $I_i \times m_{i,k}$ (impressions $\times$ score du modèle), plutôt qu'aux seules impressions. Cela équilibre la distribution de l'échantillon entre les compartiments.
- Estimation : La prévalence par compartiment est estimée à l'aide de l'estimateur de Hansen–Hurwitz sur l'échantillon PPSWOR (Probability Proportional to Size Without Replacement).
Application du substitut :
- Pour toute variante d'expérience spécifique $S$ , le système calcule la part des impressions tombant dans chaque compartiment de score ( $c_{k,b}(S)$ ) directement à partir des journaux d'impressions.
- La prévalence au niveau de la variante est calculée comme une somme pondérée : $\hat{P}_k(S) \approx \sum_{b} c_{k,b}(S) \cdot \hat{P}_{k,b}$ .
- Ce calcul est déterministe et exécuté via SQL, ne nécessant aucun nouvel appel aux LLM pour l'expérience spécifique.
Variance et inférence :
- Le système propage la variance de la calibration par compartiment vers l'estimation finale.
- Tableau de bord axé sur les deltas : Pour détecter de faibles décalages, le système agrège les deltas quotidiens ( $\Delta(d)$ ) entre les variantes de traitement et de contrôle. Il utilise un test de signe sur ces deltas quotidiens pour déterminer la signification statistique, filtrant ainsi efficacement le bruit inhérent aux estimations de prévalence absolue causé par l'incertitude de calibration.

Contributions clés

Architecture de niveau système : La principale contribution est un système de mesure déployé qui amortit le coût de l'étiquetage coûteux par LLM sur des centaines d'expériences simultanées.
Coût incrémental nul : Dans le déploiement de Pinterest, le système réutilise un flux de travail LLM quotidien existant utilisé pour la surveillance de la plateforme, ce qui n'entraîne aucun coût d'étiquetage supplémentaire pour les métriques par expérience.
Évolutivité : Le système dessert environ 100 expériences et 250 variantes par jour pour six catégories de contenu. Il fournit une prévalence quotidienne par variante pour plus de 20 fois plus de variantes simultanées que ne le permettrait un budget LLM par expérience.
Sensibilité : En agrégeant les deltas quotidiens, le système récupère de faibles décalages relatifs (2 à 5 %) que les mesures LLM en une seule étape manqueraient en raison d'intervalles de confiance larges.

Résultats et validation
Le système a été validé par des audits de production par rapport à l'estimateur de référence basé sur le LLM sur des expériences A/B réelles :

Précision : Sur environ 300 audits, l'intervalle de confiance à 95 % du substitut contenait l'estimation ponctuelle de la référence basée sur le LLM dans 92 % des évaluations. Les intervalles se chevauchaient dans 96 % des cas.
Études de cas :
- Expérience A (Filtrage) : Le substitut a correctement détecté des réductions significatives de la prévalence (baisses d'environ 19 à 36 %) pour les catégories filtrées, les estimations tombant dans les intervalles de confiance de la référence LLM.
- Expérience B (Changement d'interface utilisateur) : Le substitut a correctement identifié l'absence de décalage significatif de la prévalence, s'alignant sur l'hypothèse nulle.
- Expérience C (Petit décalage) : Une mesure LLM par variante en une seule étape n'a pas réussi à détecter une réduction relative d'environ 4 % (p-valeur 0,31). Le substitut, via l'agrégation des deltas quotidiens, a détecté ce décalage comme statistiquement significatif (p-valeur < 0,001).
Latence : Le substitut fournit des résultats en moins de 10 secondes (latence interactive) via SQL, contre 10 à 24 heures pour un traitement basé sur le LLM.

Signification et revendications
L'article affirme que sa signification réside dans la mise à l'échelle de la mesure par LLM. Il soutient que si les LLM sont d'excellents « juges », ils sont trop coûteux pour être la métrique par défaut de chaque expérience. En traitant le score ML comme un substitut et en le calibrant globalement, le système permet :

Mesure de haute fidélité à grande échelle : Étendre les informations de qualité LLM à des milliards d'impressions quotidiennes sans augmentation proportionnelle des coûts.
Faisabilité opérationnelle : Faire de la prévalence une métrique quotidienne standard pour les équipes produit plutôt qu'une analyse rare et ponctuelle.
Amortissement des coûts : Passer d'un modèle de coût « payé par expérience/variante » à un modèle « payer une fois pour la calibration globale », rendant la mesure de haute qualité accessible à toutes les expériences en aval.

Les auteurs notent que bien que les coûts des LLM puissent éventuellement diminuer, le modèle de séparation des niveaux absolus des deltas et l'amortissement de la calibration sur les expériences simultanées restent un modèle architectural précieux pour les systèmes de mesure en production.

Le Problème : Le « Gold Standard » est trop coûteux

La Solution : Une Carte de Calibration Globale

Les Résultats : Capturer les Murmures

Pourquoi cela importe

Articles similaires