Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling
本論文は、統計的な不偏性とコスト効率を維持しながら、様々なユーザーセグメントにおけるポリシー違反コンテンツの普及率を効率的かつ正確に推定するために、ML支援型確率抽出とLLMによるラベル付けを組み合わせた設計ベースの測定システムを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
何十億もの人々が毎日写真、アイデア、物語を共有する広大なデジタル風景の中で、静かながらも極めて重要な課題が残っています。それは、「ユーザーが実際に何を見ているのかを、どうやって知るのか？」という問いです。長年、プラットフォームは有害なコンテンツを報告するためにユーザーからの通報に頼ってきましたが、この手法は、助けを求めて叫ぶ人々だけを数えることで川の深さを測ろうとするようなものです。多くの危険は見逃されています。ユーザーが気づかなかったり、報告方法を知らなかったり、あるいは単にシステムに関わりたくなかったりするためです。プラットフォームの安全性を真に理解するためには、チームは「プレバレンス（普及率）」、つまりユーザーがルールに違反するコンテンツに遭遇する実際の割合を測定する必要があります。これには、すでにフラグが立てられた部分だけでなく、コンテンツのストリーム全体を見る必要があります。問題は、有害なコンテンツは往々にして稀であり、すべてのアイテムを手作業でチェックすることは、毎日行うにはあまりにも遅く、コストがかかりすぎるということです。
Pinterestの研究者チームは、この問題を解決するための新しい方法を開発しました。スマートなサンプリングと高度な人工知能を組み合わせ、前例のないスピードと精度で安全性を測定するシステムを作り上げたのです。ユーザーからの苦情を待つ代わりに、彼らはユーザーに表示されるすべての内容の、毎日、代表的なスナップショットを取得します。彼らは統計的手法を用い、限られたチェック予算を違反の可能性が最も高い候補に集中させることで、すべてをチェックすることなく、数字を確実にするために十分な数の例を見つけ出します。そして、テキストと画像を理解するように訓練された大規模言語モデル（AI）を使用して、これらのサンプルにラベルを付け、疲れを知らない一貫したレビュー担当者として機能させます。これらの技術を組み合わせることで、彼らはユーザーがどの程度の頻度で有害なコンテンツを見ているかについての、精度の指標を伴う日次レポートを作成できます。これにより、安全対策チームは新たな問題を即座に察知し、修正策が機能しているかどうかをテストし、リスクがどこで、いつ発生しているのかを正確に把握できるようになります。これらすべてを、人間のレビュアーが追いつくのを数週間待つことなく実現できるのです。
このシステムの核心は、どのコンテンツを調査するかを選択する巧妙な方法にあります。数十億のデイリービューが存在する海の中で、稀な違反を見つけることは、森の中で特定の種類の葉を探すようなものです。もしランダムに葉を選べば、何マイルも歩いても何も見つからないかもしれません。研究者たちは代わりに「重み付け」されたアプローチを採用しています。彼らは主に2つの手がかりに注目します。それは、そのコンテンツが何回表示されたか、そしてプラットフォームの既存の安全性モデルによって生成されたリスクスコアです。彼らはこれらの手がかりを組み合わせ、人気があり、かつリスクが高いアイテムがレビュー対象として選ばれやすくなるリストを作成します。これは、リスクの高いアイテムのみをチェックするという意味ではありません。彼らは依然として全集団から抽出を行いますが、統計的な推定を確実にするために、確率をわずかに傾けています。この方法により、毎日一定数のチェックを行いながらも、違反が極めて稀な場合でも、プラットフォーム全体の明確な姿を描き出すことができます。
システムが日次のサンプルを選択すると、次はラベル付けのフェーズに移ります。ここでは、研究者たちは従来の人間によるレビュープロセスを、マルチモーダルな大規模言語モデルに置き換えました。このAIは、画像を見、テキストを読み、文脈を理解することができ、人間のモデレーターと同じように機能します。しかし、研究者たちは単にAIに判断させたわけではありません。彼らはその周囲に厳格な品質管理システムを構築しました。AIが日次のサンプルにラベルを付ける前に、人間の専門家によって注意深くレビューされた「ゴールドセット」のコンテンツに対してテストされます。AIが稼働する前に、人間の専門家の決定と非常に狭い誤差範囲内で一致しなければなりません。稼働中も、システムは日次のラベルの一部を人間の専門家に送り返して検証を行うことで、AIの仕事をチェックし続けます。これにより、AIが時間の経過とともにドリフトしたり、体系的な間違いを犯したりしないようにしています。その結果、ラベル付けプロセスは人間のみのレビューよりも約15倍速く、コストは10倍以上低くなりながら、同等の精度を維持しています。
このアプローチの強みは、さまざまな方法で切り分けたり分析したりできる、統一された単一の視点を提供できる能力にあります。研究者は毎日一つのグローバルなサンプルを抽出しているため、新しい調査を実行することなく、地域別、コンテンツ表面のタイプ別、あるいはコンテンツの古さ別といった観点から、安全性がどのように変化するかという問いに即座に答えることができます。新しいポリシーの更新が機能しているかどうかを、前後比較することで確認できます。また、特定の種類の有害なコンテンツが特定の国で急増していることも分かります。システムは生成されるすべての数値に対して信頼区間を計算しており、これにより安全対策チームは、その結果をどの程度信頼できるかを知ることができます。もし数値が非常に稀な違反の極めて少ない例に基づいている場合、信頼区間は広くなり、チームに対して、大きな決定を下す前にさらなるデータを待つべきであるというシグナルを送ります。
研究者たちは、シミュレーションと、Pinterestでの実際のプロダクション環境の両方でこのシステムを徹底的にテストしました。実際にPinterestでは1年以上毎日稼働しています。彼らは、ML支援型サンプリング手法を使用することで、標準的なランダムサンプリング手法と比較して、日次のサンプル内で6倍から11倍多くの違反を見つけられることを発見しました。この効率性により、より少ないチェック回数で同レベルの統計的精度を達成するか、あるいは同じ作業量でよりタイトで信頼性の高い数値を得ることが可能になりました。また、サンプリングをガイドする基礎となるリスクスコアが時間の経過とともに変化したり、精度が低下したりした場合でも、システムの最終的な推定値はバイアス（偏り）がないままであることも実証しました。エラーは間違った答えとしてではなく、より広い信頼区間として現れたのです。これは、トレンドが現実のものなのか、それとも単なるノイズなのかを知る必要がある意思決定者にとって、極めて重要な区別です。
最も重要な発見の一つは、自動ラベル付けに伴う避けられないエラーを、システムがどのように処理するかという点でした。研究者たちは、非常に稀な違反の場合、最大のリスクは「違反を見逃すこと」ではなく、「安全なコンテンツを誤って有害としてフラグを立てること」であることを見出しました。大量の安全なコンテンツの中にたった一つの偽陽性（誤検知）があるだけで、問題が実際よりも10倍も悪化しているように見えてしまうことがあります。これを管理するために、システムはAIの偽陽性率を常に監視しています。もし率が高くなりすぎた場合、システムは最終的な数値に対して数学的な補正を適用してエラーを考慮するか、あるいは特定のアイテムの急増について人間のレビューをトリガーすることができます。これにより、日次のレポートがAIモデルの癖ではなく、現実を反映するようにしています。また、チームは、日々の数値の変動が、投稿されるコンテンツのタイプの変化や、AIによるルールの解釈の微妙な変化によって引き起こされることが多いことも発見しました。これらの短期的な変動を平滑化し、週間のトレンドに焦点を当てることで、通常のノイズと、真に台頭している脅威を区別することができました。
この取り組みは、デジタルプラットフォームの安全性監視における、ユーザーの苦情に基づくリアクティブ（反応型）なモデルから、プロアクティブ（先行的）でデータ駆動型のモデルへの転換を象徴しています。安全性の測定を単なる執行タスクではなく、統計学的な科学として扱うことで、研究者たちは問題が発生した瞬間にそれを検知できるツールを作り上げました。このシステムは柔軟に設計されており、オンラインコンテンツの状況の変化に合わせて、新しいポリシーを追加したりパラメータを調整したりすることが可能です。それは、サンプリング、AIラベル付け、人間による検証、そして統計分析の継続的なループに依存しており、インターネットのスピードに追いつけるほど高速なフィードバックループを生み出しています。研究者たちは、このシステムは人間の判断やポリシー執行の代わりになるものではなく、それらの決定を効果的に行うために必要な明晰さを提供する補完的なツールであることを強調しています。それは目に見えないものを可視化し、安全対策チームがプラットフォームの真の状態を理解し、より高い精度とスピードでユーザーを保護するための「目」を与えるものなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。