📊 statistics

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

本文提出了一种基于设计的测量系统，该系统将机器学习辅助的概率抽样与大语言模型标注相结合，旨在高效且准确地估算各类用户群体中违规内容的流行率，同时保持统计上的无偏性和成本效益。

原作者： Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数十亿人每天分享照片、想法和故事的广阔数字景观中，一个静默但至关重要的挑战依然存在：你如何知道你的用户究竟看到了什么？多年来，平台一直依赖用户举报来标记有害内容，但这种方法就像是通过计算只有那些呼救的人的数量来测量河流的深度。许多危险之所以未被举报，是因为用户没有注意到它们、不知道如何举报它们，或者仅仅是不想参与其中。为了真正了解平台的安全性，团队需要衡量“流行率”（prevalence）——即用户遇到违规内容的实际比例。这需要观察整个内容流，而不仅仅是那些已经被标记出来的部分。问题在于，有害内容通常很稀少，而每天手动检查每一项内容既太慢又太贵。

Pinterest 的研究团队开发了一种新方法来解决这个问题，他们创建了一个结合了智能采样与先进人工智能的系统，以空前的速度和准确度来衡量安全性。他们不再等待投诉，而是每天对展示给用户的所有内容进行一次具有代表性的快照。他们使用一种统计方法，将有限的检查预算集中在最有可能发生违规的候选对象上，从而确保在不检查所有内容的情况下，也能找到足够的样本以确保数据的可靠性。然后，他们使用一个大型语言模型（一种经过训练可以理解文本和图像的 AI）来标注这些样本，充当一名不知疲倦、始终如一的审核员。通过结合这些技术，他们可以生成一份关于用户看到有害内容频率的每日报告，并附带关于该数值精确度的度量。这使得安全团队能够立即发现新兴问题，测试修复方案是否奏效，并准确了解风险出现的时间和地点，而无需等待数周让人工审核人员赶上进度。

该系统的核心在于一种巧妙的选择待检查内容的方案。在数十亿次的每日浏览中，寻找一个罕见的违规行为就像是在森林中寻找一种特定的叶子。如果你随机挑选叶子，你可能会走过数英里却一无所获。研究人员改用了一种“加权”方法。他们观察两个主要线索：一件内容被展示给人们的次数，以及由平台现有安全模型生成的风险评分。他们结合这些线索创建一个列表，其中既受欢迎又具有风险的内容更有可能被选中进行审查。这并不意味着他们只检查高风险项目；他们仍然从整体人群中进行选择，但稍微倾斜概率，以确保获得足够的违规样本来进行可靠的统计估计。这种方法使他们能够使用每天固定的检查次数，即使在违规情况极其罕见时，仍能获得整个平台的清晰图景。

一旦系统选择了每日样本，就会进入标注阶段。在这里，研究人员用多模态大语言模型取代了传统的人工审核过程。这种 AI 可以观察图像、阅读文本并理解上下文，就像人类审核员一样。然而，研究人员并没有简单地让 AI 做决定；他们在它周围构建了一个严密的质量控制系统。在 AI 被允许对每日样本进行标注之前，必须针对一组经过人类专家仔细审查的“金标准集”（gold set）内容进行测试。AI 必须在非常小的误差范围内达到与人类专家的决策一致，才能正式启用。一旦投入运行，系统会通过将每日标签中的随机选择部分发回给人类专家进行验证，来持续检查 AI 的工作。这确保了 AI 不会随着时间的推移而产生偏差或系统性错误。结果显示，该标注过程比纯人工审核快约 15 倍，成本降低了 10 倍以上，同时保持了相似的准确度。

这种方法的威力在于其能够提供一个可以进行多种维度拆解和分析的统一视图。由于研究人员每天抽取一个全局样本，他们可以立即回答有关安全性如何随地区、内容类型或内容时长变化的问题，而无需为每个问题单独运行一项研究。他们可以通过对比变化前后的数据，观察新的政策更新是否奏效，或者查看特定类型的有害内容是否在某个国家出现激增。系统还会为生成的每个数字计算置信区间，告诉安全团队应对该结果投入多少信任。如果该数字是基于极少数的罕见违规案例，置信区间将会很宽，这向团队发出信号，提示他们在做出重大决策前应等待更多数据。

研究人员在模拟环境以及他们在 Pinterest 的实际生产环境中对该系统进行了广泛测试，该系统已在实际环境中每日运行了一年多。他们发现，通过使用这种基于机器学习辅助的采样方法，他们可以在每日样本中发现比标准随机采样方法多 6 到 11 倍的违规行为。这种效率意味着他们可以用更少的检查次数达到相同的统计精度，或者在投入相同工作量的情况下获得更紧密、更可靠的数据。他们还证明了，即使用于引导采样的底层风险评分发生变化或随着时间推移变得不再准确，系统的最终估计值仍然是无偏的。误差会表现为更宽的置信区间，而不是错误的答案，对于需要区分趋势是真实存在的还是仅仅是噪声的决策者来说，这是一个至关重要的区别。

最重要的发现之一是系统如何处理自动化标注带来的必然错误。研究人员发现，对于非常罕见的违规行为，最大的风险不是漏掉违规行为，而是将安全内容错误地标记为有害。在大量的安全内容中，一个误报（false positive）就可能让情况看起来比实际严重十倍。为了管理这一点，系统不断监控 AI 的误报率。如果误报率过高，系统可以应用数学修正来调整最终数值，或者触发对导致此类激增的具体项目的专家人工审查。这确保了每日报告反映的是现实，而非 AI 模型的特性。团队还发现，数据的日间波动通常是由发布内容类型的变化或 AI 理解规则方式的微妙转变驱动的，而非实际安全水平的变化。通过平滑这些短期波动并专注于每周趋势，他们可以区分正常的噪声与真正的潜在威胁。

这项工作代表了数字平台监测安全性的方式转变：从基于用户投诉的被动响应模式，转向主动的、数据驱动的方法。通过将安全性测量视为一门统计科学而非仅仅是一项执行任务，研究人员创建了一个能够检测到问题刚出现时的工具。该系统设计灵活，允许团队在在线内容格局变化时快速添加新政策或调整参数。它依赖于采样、AI 标注、人工验证和统计分析的持续循环，建立了一个足以跟上互联网速度的反馈回路。研究人员强调，该系统并非人类判断或政策执行的替代品，而是一个互补工具，提供了进行有效决策所需的清晰度。它将不可见变为可见，为安全团队提供了理解平台真实状态并以更高的精度和速度保护用户的“眼睛”。

技术摘要：利用机器学习辅助采样与大语言模型标注测量政策违规内容的流行率

1. 问题陈述

用户生成内容平台的安全团队在测量方面面临一个关键缺口：仅依赖用户举报无法提供完整的安全视图，因为许多危害行为未被充分举报，或者稀有类别产生的样本量不足以进行统计监测。为了解决这一问题，团队需要流行率指标（Prevalence Metrics）——即在给定天数内，用户观看次数（曝光量）中暴露于违反政策内容的比例。

由于以下两个因素，准确测量流行率在历史上一直非常困难：

违规行为的稀有性： 政策违规通常是稀有事件，这使得简单的随机采样效率低下，需要极大的样本量才能达到统计效力。
人工标注的成本与延迟： 传统的人工审核速度过慢且成本过高，无法支持每日进行的、具有平台代表性的研究，从而阻碍了检测新兴危害或评估干预措施的快速反馈循环。

目标是构建一个能够实现每日、无偏、基于曝光加权的流行率估计的系统，该系统能够在不重新采样的情况下支持细粒度的下钻分析（按界面、地理位置、内容时长等），同时保持统计严谨性和操作可行性。

2. 方法论

作者提出了一个结合了基于设计的采样、机器学习辅助加权以及大语言模型（LLM）驱动标注的三阶段测量系统。

A. 机器学习辅助概率采样

为了解决违规行为稀有的问题，系统采用了按规模比例抽样（Probability Proportional to Size, PPS），并辅以来自生产环境安全模型的辅助风险评分。

采样权重： 每个内容单元 $j$ 被分配一个权重 $w_j$ ，该权重基于其总曝光量 ( $C_j$ ) 和辅助风险评分 ( $s_j$ )：
$w_j = C_j^\nu (s_j^\gamma + \epsilon)$
其中， $\nu$ 控制曝光权重， $\gamma$ 控制风险评分的影响力， $\epsilon$ 确保非评分项具有非零的概率底线。
实现方式： 系统使用加权蓄水池采样（Efraimidis–Spirakis 算法），通过流式处理高效地从数十亿次的每日曝光中抽取固定大小的样本 ( $m$ )（内存复杂度为 $O(m)$ ）。
无偏性： 至关重要的是，风险评分 $s_j$ 仅用于采样优先级排序，而不作为标签。最终的估计器通过对样本进行 $1/p_j$ 的重加权（其中 $p_j$ 是抽取概率）来确保流行率估计具有设计一致性且是无偏的，无论底层模型的阈值如何演变。

B. 大语言模型（LLM）辅助标注

采样项由**多模态大语言模型（LLM）**而非人工审核员承担大部分工作量进行标注。

输入： LLM 接收内容（图像/视频关键帧、文本元数据）以及经过领域专家（SME）审核的政策提示词（Prompt）。
输出： 包含二元违规标签、理由及置信度的结构化 JSON 数据。
治理： 为确保质量，系统采用了金标准集（Gold-set）验证工作流。在上线前，LLM 配置必须相对于人类专家满足特定的决策质量阈值（偏差和 F1 分数）。上线后，系统会随机抽取每日样本进行人工验证，以监测是否存在漂移（政策变更、内容变化或模型更新）。

C. 设计一致性估计与不确定性量化

系统使用 Hansen–Hurwitz 比率估计量（针对有放回的 PPS）或 Horvitz–Thompson 变体（针对无放回）来计算曝光加权流行率 ( $\theta$ )。

单样本下钻分析： 该系统的核心设计目标是让单个每日样本支持多个细分维度（如地理位置、界面）。通过为被采样的项目持久化存储特定维度的曝光计数 ( $C_{jg}$ )，系统可以计算任何细分维度的流行率而无需重新采样。
不确定性量化： 系统使用泰勒线性化方法为比率估计量报告 95% 置信区间（CI）。同时，系统还追踪 Kish 有效样本量（ESS），以监测权重方差对精确度的影响。
标签误差修正： 考虑到 LLM 存在假阳性率 ( $f$ ) 和灵敏度 ( $r$ )，系统将测得的流行率 $\theta^{(L)}$ 建模为真实流行率 $\theta$ 的函数。如果误差率是齐次的，则应用 Rogan–Gladen 修正。系统会监测由标签误差引起的上升波动（这在稀有事件场景中很常见），并在出现高影响力的异常情况时触发人工裁决。

3. 主要贡献

论文详细说明了四个主要贡献：

设计一致的估计器： 一种用于每日流行率估计的方法，支持从单个全局概率样本中进行多种细分维度的下钻分析，即使在执法模型演进时也能确保无偏性。
实用的不确定性量化： 一个涵盖置信区间、有效样本量诊断以及标签误差（特别是假阳性）如何传播至流行率估计的敏感性分析的综合框架，并提供了何时激活偏差修正的指导。
超参数配置工作流： 一个基于模拟的具象化工作流，用于调整采样参数 ( $\nu, \gamma, \epsilon$ )，以平衡正样本数量与新政策下的有效样本量。
可配置的工程工作流： 一个端到端的系统，其中政策定义、提示词和金标准集均为声明式配置，能够实现快速上线新的政策指标，而无需定制化的工程流水线。

4. 结果与经验证据

该系统已在 Pinterest 的多个政策领域在生产环境中运行超过一年。由于涉及绝对流行率水平的保密性，结果以相对形式及通过合成模拟进行报告。

采样效率： 在生产环境中，使用 ML 辅助采样（利用风险评分）相比于仅基于曝光量的 PPS 采样，在固定标签预算下，将正样本比例提高了 6 倍至 11.4 倍。这显著降低了达到目标置信区间宽度所需的标签预算。
标注效率： 与纯人工工作流相比，LLM 辅助工作流将端到端标注延迟降低了约 15 倍，并将运营成本降低了 >10 倍，同时保持了相当的决策质量。
统计稳健性： 模拟表明，基于设计的重加权即使在辅助风险评分发生漂移时也能保持点估计的无偏性；漂移的主要影响是增加方差（导致置信区间变宽）而非引入偏差。
超参数敏感性： 实验表明，增加风险评分指数 ( $\gamma$ ) 在一定范围内（如 $\gamma=1$ ）可以提高精确度，但过度倾斜（ $\gamma \ge 2$ ）会导致有效样本量崩溃，从而降低性能。
最小可检测效应（MDE）： 系统能够实现每周检测出 5–6.5%（相对于均值）的相对变化，具体取决于政策领域和标签量。

5. 重要性与主张

论文声称，这种方法从根本上改变了内容安全测量的运行点：

从间歇性审计转向高频反馈： 通过降低延迟和成本，该系统实现了每日、具有平台代表性的监测，使团队能够实时检测新兴模式、进行快速根因分析并评估干预措施（如模型发布、政策更新）。
对报告机制的补充： 该系统为那些未被充分举报的危害提供了可见性，作为用户举报的补充指标。
可扩展的治理： 可配置的工作流允许安全团队快速将测量扩展到新政策，其治理依据是金标准集验证而非定制化的工程工作。
伦理安全： 系统旨在通过使用 LLM 进行大规模标注，并将人工审核保留给针对性的验证和边缘案例裁决，从而最大限度地减少人类接触有害内容的频率。

作者强调，虽然针对敏感政策的绝对流行率水平属于机密，但其方法论是完全明确且经过合成模拟验证的，确保了该方法在应对大规模系统中稀有事件估计的挑战时是可独立验证且稳健的。