Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments

Stellen Sie sich vor, Sie leiten eine riesige, belebte Stadt, in der jeden Tag Millionen von Menschen durch die Straßen ziehen. In dieser Stadt gibt es Tausende von verschiedenen Geschäften, Parks und Werbetafeln, und die Stadtplaner wollen genau wissen, wie viel Zeit die Menschen mit dem Betrachten bestimmter Dinge verbringen – wie etwa „Gartenwerkzeugen“ oder „KI-generierter Kunst“. Dies ist die Welt der Prävalenzmessung: herauszufinden, welcher Anteil der gesamten „Impressions“ (oder Blicke) zu einer bestimmten Kategorie gehört.

Um Entscheidungen über diese Stadt zu treffen, führen Stadtplaner oft A/B-Experimente durch. Dies ist vergleichbar mit dem Testen zweier verschiedener Versionen eines Straßenschilds: Eine Version für die eine Hälfte der Menschen, eine andere für die andere Hälfte, um zu sehen, welche die Menschen glücklicher macht oder stärker bindet. Normalerweise muss man, um zu wissen, ob ein Schild funktioniert, die Ergebnisse zählen. Aber hier liegt der Haken: Manchmal ist das, was man zählen möchte, schwer zu messen. Man kann nicht einfach jeden einzelnen Menschen fragen, was er gesehen hat; das würde ewig dauern und ein Vermögen kosten. In der digitalen Welt wird diese „schwer zu messende“ Aufgabe oft von Large Language Models (LLMs) erledigt – superintelligenten KI-Computern, die ein Bild oder einen Post lesen und sagen können: „Ja, das handelt von Gartenarbeit“ oder „Nein, das handelt nicht davon“. Obwohl diese KI-Richter unglaublich genau sind, wäre es zu teuer und zu langsam, diese KI jedes einzelne Objekt in einer Stadt mit Milliarden täglicher Besucher prüfen zu lassen.

Hier kommt die Arbeit von Zehao Xu und seinem Team bei Pinterest ins Spiel. Sie standen vor dem Problem, dass sie jeden Tag Hunderte von Experimenten durchführten und wissen mussten, wie hoch die „Prävalenz“ bestimmter Inhaltstypen (wie Pins über KI oder Sicherheitsthemen) für jede einzelne Experimentgruppe war. Sie konnten es sich nicht leisten, die KI für jedes einzelne Element in jedem einzelnen Test labeln zu lassen. Also bauten sie ein cleveres System, das wie ein „globaler Übersetzer“ fungiert. Anstatt die teure KI zu bitten, jedes einzelne Element in jedem neuen Experiment zu prüfen, lassen sie die KI einmal am Tag eine repräsentative Stichprobe der gesamten Stadt prüfen. Sie nutzen diese Stichprobe, um ein billigeres, schnelleres Modell darin zu unterweisen, die Prävalenz zu erraten. Dann nutzen sie dieses schnelle Modell, um alles andere sofort zu messen. Das Ergebnis? Sie können Veränderungen der Inhalts-Exposition für Hunderte von Experimenten jeden Tag verfolgen und selbst kleinste Verschiebungen erfassen, die eine einzige, teure Überprüfung übersehen würde – und das, ohne zusätzliche Kosten für KI-Labels zu verursachen.

Das Problem: Der „Goldstandard“ ist zu teuer

In der Welt der Online-Medien müssen Unternehmen wie Pinterest die Balance finden zwischen der Bindung der Nutzer und der Sicherstellung, dass diese nicht zu viele bestimmte Arten von Inhalten (wie unsichere Bilder oder minderwertigen Spam) sehen. Um dies zu erreichen, führen sie A/B-Tests durch. In diesen Tests passen sie den Algorithmus leicht an, um zu sehen, ob er verändert, wie viel von einem spezifischen Inhaltstyp die Nutzer sehen.

Um dies zu messen, ist der „Goldstandard“, eine KI (ein LLM) zu verwenden, die eine Auswahl an Inhalten betrachtet und sie perfekt klassifiziert. Das ist so, als ließe man ein Team von Experten-Kunstkritikern jedes Gemälde in einer Galerie untersuchen, um zu zählen, wie viele davon Landschaften sind. Es ist genau, aber langsam und unglaublich teuer. Wenn man Hunderte von Experimenten gleichzeitig laufen lässt und für jede Gruppe in jedem Experiment die Inhalte prüfen muss, wären die Kosten astronomisch. Man kann es sich schlichtweg nicht leisten, die „Experten“ jeden Tag alles prüfen zu lassen.

Darüber hinaus sind die Veränderungen, um die es Unternehmen geht, oft sehr gering. Wenn ein neuer Algorithmus die Menge an „KI-generierter Kunst“, die Nutzer sehen, um nur 2 % oder 5 % reduziert, ist eine einzige, teure Überprüfung möglicherweise nicht präzise genug, um zu sagen, ob diese Änderung real oder nur zufälliges Rauschen ist. Es ist, als versuche man, ein Flüstern in einem lauten Raum mit einem einzigen, teuren Mikrofon zu hören; man würde es vielleicht völlig überhören.

Die Lösung: Eine globale Kalibrierungskarte

Das Team bei Pinterest erkannte, dass sie nicht die teure KI brauchten, um alles für jedes Experiment zu labeln. Stattdessen brauchten sie eine Möglichkeit, eine günstigere, schnellere Methode mit der Weisheit der teuren KI zu „kalibrieren“.

Stellen Sie sich das so vor: Stellen Sie sich vor, Sie haben ein supergenaues, aber langsames Thermometer (das LLM) und ein billiges, schnelles Thermometer (den ML-Modell-Score). Das billige Thermometer liefert Ihnen einen Wert, aber dieser ist nicht perfekt genau. Wenn Sie jedoch das teure Thermometer nutzen, um die Temperatur an einigen spezifischen Punkten jeden Tag zu prüfen, können Sie eine Karte erstellen, die Ihnen genau sagt, wie Sie die Messung des billigen Thermometers für jeden beliebigen Ort korrigieren müssen.

Die Arbeit beschreibt ein System, das genau dies tut:

1. Globale Kalibrierung: Anstatt die Elemente für jedes Experiment separat zu labelen, führen sie einen täglichen, globalen Sampling-Prozess durch. Sie nutzen das teure LLM, um eine repräsentative Stichprobe des gesamten Plattform-Traffics zu labelen.
2. Bucketing (Einteilung in Gruppen): Sie nehmen die Scores des billigen, schnellen Modells (das vorhersagt, wie wahrscheinlich es ist, dass ein Element z. B. „KI-generiert“ ist) und gruppieren sie in „Buckets“ (z. B. 0–10 %, 10–20 % usw.).
3. Die Übersetzung: Unter Verwendung der täglichen LLM-Labels berechnen sie genau, welcher Prozentsatz der Artikel in jedem Bucket tatsächlich „KI-generiert“ ist. Dies erstellt eine Nachschlagetabelle: „Wenn das billige Modell sagt, ein Artikel liegt im 80–90 % Bucket, besteht eine Wahrscheinlichkeit von 95 %, dass er tatsächlich KI-generiert ist.“
4. Sofortige Messung: Für jedes neue Experiment müssen sie nun nicht mehr die teure KI aufrufen. Sie schauen einfach auf die Scores des billigen Modells für die Artikel in diesem Experiment, sehen, in welche Buckets sie fallen, und nutzen die vorab berechnete Karte, um die Prävalenz sofort zu kennen.

Die Ergebnisse: Das Flüstern einfangen

Das Team testete dieses System gegenüber den „Goldstandard“-LLM-Messungen in realen Experimenten. Die Ergebnisse waren beeindruckend:

• Skalierbarkeit: Das System bedient derzeit etwa 100 Experimente und 250 verschiedene Gruppen (Arms) an jedem einzelnen Tag.
• Effizienz: Im Vergleich zur alten Methode, eine einzelne, teure Prüfung pro Experiment durchzuführen, bietet dieses neue System tägliche Messungen für über 20 Mal mehr gleichzeitige Experimente bei gleichem Labeling-Budget.
• Genauigkeit: In etwa 300 Produktions-Audits enthielt das 95 %-Konfidenzintervall (einen statistischen Bereich der Gewissheit) des Systems in 92 % der Fälle die Antwort des teuren LLMs. Das bedeutet, dass die billige, schnelle Methode fast so zuverlässig ist wie die teure.
• Sensitivität: Die spannendste Erkenntnis betraf die Erkennung kleiner Änderungen. In einem Experiment detektierte das neue System eine kleine, aber konsistente relative Reduktion von 4,2 % eines bestimmten Inhaltstyps. Eine einzelne, teure LLM-Prüfung desselben Experiments hätte dies aufgrund des hohen Rauschens völlig übersehen. Durch die Aggregation der täglichen Daten konnte das neue System das „Flüstern“ hören, das das teure Mikrofon überhört hatte.

Warum es wichtig ist

Es geht hier nicht nur um die Einsparung von Geld; es geht darum, bessere Entscheidungen zu treffen. Vor diesem System mussten Teams möglicherweise auf die Messung der Inhaltsprävalenz in vielen Experimenten verzichten, weil es zu kostspielig war. Oder sie mussten Entscheidungen auf Basis eines einzelnen, verrauschten Datenpunkts treffen, der kleine, aber wichtige Trends übersehen hat.

Indem sie „global kalibrieren und überall messen“, hat das Team ein System geschaffen, in dem die Kosten der teuren KI nur einmal gezahlt (oder amortisiert) werden und dann tausendfach wiederverwendet werden können. Es verwandelt einen langsamen, teuren Prozess in eine schnelle, tägliche Routine. Dies ermöglicht es den Produktteams, das volle Bild davon zu sehen, wie ihre Änderungen die Inhalts-Exposition beeinflussen, um sicherzustellen, dass die Plattform sicher, qualitativ hochwertig und ansprechend bleibt – ohne das Budget zu sprengen.

Die Arbeit betont, dass dies eine systemische Leistung ist, nicht nur eine neue mathematische Formel. Es geht darum, eine Pipeline aufzubauen, die eine wiederkehrende, teure Aufgabe in ein wiederverwendbares Asset verwandelt. Während die Arbeit anmerkt, dass die Kosten für LLMs in Zukunft sinken könnten, was das direkte Labeling billiger machen würde, bleibt die Logik dieses Systems – die Nutzung einer globalen Kalibrierung zur Skalierung von Messungen – ein leistungsstarkes Werkzeug für das Management komplexer, groß angelegter Experimente auch heute.