Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments

あなたは、毎日何百万人もの人々が行き交う、巨大で賑やかな都市を運営していると想像してください。この都市には、数千もの異なるショップ、公園、そして看板があります。都市のプランナーたちは、人々が特定の種類のもの（例えば「ガーデニング用品」や「AI生成アート」など）にどれくらいの時間、視線を注いでいるのかを正確に知りたいと考えています。これが**普及率測定（prevalence measurement）**の世界です。つまり、全「インプレッション（あるいは視線）」のうち、特定のカテゴリーが占める割合を算出することです。

都市に関する意思決定を行うために、プランナーたちはしばしばA/B実験を実施します。これは、街路標識の2つの異なるバージョンをテストするようなものです。半分の人にはバージョンAを、もう半分の人にはバージョンBを見せ、どちらの方が人々をより幸せにしたり、関心を引いたりするかを調べます。通常、看板の効果を知るには、結果をカウントする必要があります。しかし、ここに落とし穴があります。カウントしたい対象が、測定するのが難しい場合があるのです。すべての人の行動を一つひとつ追跡することは、時間がかかりすぎ、莫大な費用がかかります。デジタル世界において、この「測定が難しい」タスクは、大規模言語モデル（LLM）、つまり超高性能なAIコンピュータによって行われます。これらは画像や投稿を読み取り、「はい、これはガーデニングに関するものです」「いいえ、これは違います」と判断することができます。これらのAI判定器は非常に正確ですが、毎日数十億人の訪問者が訪れる都市のすべてのアイテムに対して、AIにチェックさせることは、コスト面でも速度面でも現実的ではありません。

ここで、PinterestのZehao Xu氏とそのチームによる論文が登場します。彼らはある問題に直面していました。毎日数百もの実験を実行しており、それぞれの実験グループにおける特定のコンテンツタイプ（AIに関するものや、安全性に関する問題など）の「普及率」を知る必要がありました。しかし、すべての実験におけるすべてのアイテムに対して、AIにラベル付けをさせるコストを支払う余裕はありませんでした。そこで彼らは、一種の「グローバルな翻訳機」として機能する巧妙なシステムを構築しました。新しい実験ごとに高価なAIにすべてのアイテムをチェックさせる代わりに、プラットフォーム全体の代表的なサンプルを1日1回、AIにチェックさせます。そのサンプルを用いて、安価で高速なモデルに普及率を推測する方法を教え込みます。そして、その高速なモデルを使用して、それ以外の「すべて」を瞬時に測定します。その結果、彼らは、単一の高価なチェックでは見逃してしまうような微細な変化をも、追加のAIコストをかけることなく、毎日数百の実験におけるコンテンツ露出の変化として捉えることができるようになりました。

問題点：「ゴールドスタンダード」は高価すぎる

オンラインメディアの世界では、Pinterestのような企業は、ユーザーのエンゲージメントを維持することと、特定の種類のコンテンツ（不適切な画像や低品質なスパムなど）をユーザーに見せすぎないようにすることのバランスを取る必要があります。これを行うために、彼らはA/Bテストを実施します。これらのテストでは、アルゴリズムを微調整し、それがユーザーが特定の種類のコンテンツを見る量に変化を与えるかどうかを確認します。

これを測定するための「ゴールドスタンダード（最高基準）」は、AI（LLM）を使用してコンテンツのサンプルを確認し、完璧にラベル付けすることです。これは、ギャラリーにあるすべての絵画を美術評論家に調べてもらい、風景画がいくつあるかを数えるようなものです。正確ではありますが、時間がかかり、非常にコストがかかります。もし同時に数百の実験が走っており、それぞれの実験の各グループについてコンテンツをチェックする必要がある場合、そのコストは天文学的な数字になります。すべてのものを毎日チェックするために「専門家」を雇う余裕は、到底ありません。

さらに、企業が重視する変化は、しばло非常に小さいものです。例えば、新しいアルゴリズムによって「AI生成アート」の露出がわずか2%または5%減少した場合、単一の高価なチェックでは、その変化が真実なのか、それとも単なるランダムなノイズなのかを判別できるほど精密ではない可能性があります。これは、高性能だが単一のマイクを使って、騒がしい部屋の中のささやき声を聞き取ろうとするようなものです。その方法では、重要な変化を完全に見逃してしまうかもしれません。

解決策：グローバル・キャリブレーション・マップ

Pinterestのチームは、高価なAIにすべてのアイテムをラベル付けさせる必要はないことに気づきました。代わりに、高価なAIの知恵を利用して、より安価で高速な手法を「校正（キャリブレーション）」する方法が必要でした。

次のように考えてみてください。非常に正確だが動作が遅い温度計（LLM）と、安価で動作が速い温度計（MLモデルのスコア）があるとします。安価な温度計は数値を出しますが、完全に正確ではありません。しかし、毎日いくつかの特定の場所で高価な温度計を使って温度を確認すれば、安価な温度計の数値をどのように補正すべきかを正確に教えてくれる「マップ」を作成できます。

論文で説明されているシステムは、まさにこれを行っています。

1. グローバル・キャリブレーション（全体的な校正）： 各実験ごとに個別にアイテムをラベル付けするのではなく、毎日、グローバルなサンプリングプロセスを実行します。高価なLLMを使用して、プラットフォーム全体のトラフィックの代表的なサンプルにラベルを付けます。
2. バケツ分け（Bucketing）： 安価で高速なモデル（あるアイテムが「AI生成である」可能性を予測するもの）から得られるスコアを、グループ（例：0–10%、10–20%など）に分類します。
3. 翻訳（The Translation）： 日次のLLMラベルを使用して、各バケツの中に実際に「AI生成」であるアイテムが何パーセント含まれているかを計算します。これにより、「もし安価なモデルが、アイテムを80–90%のバケツにあると判定した場合、それは95%の確率で実際にAI生成である」といったルックアップテーブル（参照表）が作成されます。
4. 即時測定（Instant Measurement）： これにより、新しい実験に対しても、高価なAIを呼び出す必要がなくなります。単に、その実験に含まれるアイテムの安価なモデルによるスコアを確認し、それらがどのバケツに属するかを見て、事前に計算されたマップを使用することで、即座に普及率を知ることができます。

結果：ささやき声を捉える

チームは、実世界の実験において、このシステムを「ゴールドスタンダード」であるLLMによる測定と比較検証しました。その結果は驚くべきものでした。

• 規模： このシステムは現在、毎日約100の実験と**250の異なるグループ（アーム）**に対応しています。
• 効率性： 実験ごとに高価なチェックを行う従来の方法と比較して、この新しいシステムは、同じラベル付け予算で20倍以上多い同時実行中の実験に対して、日次の測定を提供しています。
• 正確性： 約300件のプロダクション監査において、システムの95%信頼区間（統計的な確信の範囲）が、高価なLLMの回答を92%の割合で含んでいました。これは、安価で高速な手法が、高価な手法とほぼ同等の信頼性を持っていることを意味します。
• 感度： 最も刺激的な発見は、小さな変化を検出する能力についてでした。ある実験において、新しいシステムは特定のコンテンツタイプの4.2%の相対的な減少という、小さくも一貫した変化を検出しました。同じ実験に対して単一の高価なLLMチェックを行った場合、ノイズが大きすぎて、この変化を完全に見逃していたはずです。データを日次で集計することで、新しいシステムは、高価なマイクが見逃した「ささやき声」を聞き取ることができたのです。

なぜ重要なのか

これは単にコストを節約することだけではなく、より良い意思決定を行うためのものです。このシステムがなければ、チームはコストがかかりすぎるために、多くの実験においてコンテンツの普及率の測定を断念せざるを得なかったかもしれません。あるいは、小さな、しかし重要なトレンドを見逃してしまうような、ノイズの多い単一のデータポイントに基づいて意思決定を行っていたかもしれません。

「グローバルに校正し、あらゆる場所を測定する」ことで、チームは、高価なAIのコストを一度だけ（あるいは分散して）支払い、それを何千回も再利用できるシステムを作り上げました。これにより、高価なプロセスを、高速で日常的なルーチンへと変えることができます。これにより、製品チームは、自らの変更がコンテンツの露出にどのような影響を与えるかという全体像を把握できるようになり、多額の費用をかけることなく、プラットフォームを安全で高品質、かつ魅力的な状態に保つことができるのです。

論文は、これが単なる新しい数学的な公式ではなく、システムレベルの成果であることを強調しています。これは、繰り返される高価なタスクを、再利用可能な資産へと変えるパイプラインを構築することなのです。将来的にLLMのコストが低下し、直接的なラベル付けがより安価になる可能性についても触れていますが、「グローバルな校正を用いて測定をスケールさせる」というこのシステムの論理は、今日の複雑で大規模な実験を管理するための強力なツールであり続けます。