💻 computer science

Open-Domain Safety Policy Construction

本文提出了名为 Deep Policy Research (DPR) 的轻量级代理系统，该系统仅需人类提供的种子领域信息，即可通过迭代网络搜索与规则提炼自动生成全面的开放域内容安全策略，并在多项基准测试中展现出优于基线方法及专家撰写策略的效果。

原作者： Di Wu, Siyue Liu, Zixiang Ji, Ya-Liang Chang, Zhe-Yu Liu, Andrew Pleffer, Kai-Wei Chang

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Di Wu, Siyue Liu, Zixiang Ji, Ya-Liang Chang, Zhe-Yu Liu, Andrew Pleffer, Kai-Wei Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DPR (Deep Policy Research，深度策略研究) 的新系统。为了让你轻松理解，我们可以把这篇论文的核心内容想象成 “一位不知疲倦的超级实习生，正在帮老板起草一份‘公司行为准则’"。

1. 背景：为什么我们需要这个系统？

想象一下，你是一家大型互联网公司的老板（比如运营一个社交软件或广告平台）。你需要制定一份**“安全行为准则”**（Policy），告诉你的员工（或者 AI 审核员）：

什么内容可以发？（比如：正常的风景照）
什么内容绝对不能发？（比如：暴力血腥、仇恨言论、虚假广告）

现在的痛点是：
制定和更新这份准则非常昂贵且耗时。你需要雇佣一群懂法律、懂心理学、懂各个行业潜规则的专家，他们要没日没夜地写规则、改规则。而且，互联网上每天都在出现新的“擦边球”内容（比如某种新的网络暴力形式），专家们的反应速度往往跟不上。

论文提出的挑战：
我们能不能让 AI 自己来起草这份规则？只要给它一个简单的主题（比如“禁止暴力”），它能不能自己去网上查资料，然后写出一份专业、详细、甚至能直接拿来用的规则手册？

2. 核心主角：DPR（深度策略研究）

DPR 就像一个拥有“搜索引擎”和“超级大脑”的实习生。它的工作流程非常巧妙，分为三步走：

第一步：像侦探一样提问（搜索）

传统做法：专家凭经验想规则。
DPR 的做法：它先看你给的一个简单指令（比如“我们要禁止仇恨言论”）。然后，它不会瞎猜，而是会问自己：“关于仇恨言论，有哪些具体的边缘情况我没考虑到？”
动作：它利用搜索引擎，像侦探一样去网上找资料。它会搜索“仇恨言论的隐蔽形式”、“网络霸凌的新套路”、“不同文化背景下的冒犯性语言”等等。

第二步：像编辑一样提炼（提取规则）

动作：它把搜回来的成千上万条网页信息读一遍。
提炼：它不是把网页直接复制粘贴，而是像一位资深编辑，把那些杂乱的信息提炼成一条条清晰的**“规则”**。
- 原始网页：“有些人在网上用暗语攻击别人，比如用‘狗哨’（Dog Whistling）……"
- DPR 提炼出的规则：“禁止使用具有双重含义的暗语或符号来煽动对特定群体的攻击（即‘狗哨’行为）。”
自我纠错：它还会自己检查，把重复的、太模糊的规则删掉或合并，确保规则既精准又不啰嗦。

第三步：像图书管理员一样整理（索引）

动作：规则多了会乱。DPR 会把整理好的规则，按照主题分类（比如“语言攻击类”、“图像攻击类”），并给每个分类起个好听的名字，做成一本结构清晰的“索引手册”。
目的：这样，当真正的 AI 审核员（读者模型）需要判断一条内容是否违规时，它能快速在手册里找到对应的章节，而不是面对一堆乱码。

3. 实验结果：它做得怎么样？

作者把 DPR 放在两个真实的“考场”里进行测试：

通用内容审核（OpenAI 数据集）：
- 考题：判断内容是否涉及色情、仇恨、暴力、骚扰或自残。
- 对手：
  - 只有简单定义（比如只告诉 AI“不要发暴力内容”）。
  - 给几个例子（比如“这是暴力，那是非暴力”）。
  - 通用搜索 AI（比如 OpenAI 自己的 Deep Research 工具）。
- 成绩：DPR 写的规则手册，让审核 AI 的准确率显著高于其他对手。特别是在那些很难定义的领域（比如“骚扰”和“自残”），DPR 找到的细节规则帮了大忙。
广告审核（内部真实数据）：
- 考题：判断广告是否违规（比如是否夸大其词、是否利用灾难博眼球）。
- 成绩：用 DPR 生成的规则替换掉人类专家写的某一部分规则，效果几乎和专家写的差不多！甚至在某些领域（如“剥削性内容”），它甚至能捕捉到人类专家容易忽略的细微差别。

4. 核心启示：为什么它比通用 AI 强？

这就好比**“全科医生”和“专科专家”的区别**。

通用搜索 AI（如 OpenAI Deep Research）：像是一个全科医生，什么病都能看，但面对“如何制定广告审核规则”这种专业任务时，它可能写得比较泛泛，不够精准。
DPR：像是一个专门研究广告法的专科实习生。它虽然工具简单（只用搜索），但它有一个专门设计的“工作流”（搜索 -> 提炼 -> 分类 -> 自我修正）。这个结构化的流程，让它能更有效地把网上的信息转化成可执行的规则。

5. 总结：这对我们意味着什么？

这篇论文告诉我们：

AI 不仅能回答问题，还能“制定规则”。只要给一个种子想法，AI 就能通过搜索和整理，生成一份高质量的政策文档。
结构很重要。让 AI 按照特定的步骤（搜索、提炼、分类）工作，比让它随便聊聊要有效得多。
未来的可能性：以后，当一个新的社会问题出现（比如新的 AI 诈骗手段），我们可能不需要等人类专家熬夜写规则，只需要告诉 AI 这个新现象，它就能在几小时内生成一份详细的“防范指南”，供我们审核系统使用。

一句话总结：
DPR 就是一个不知疲倦、会查资料、会写总结、还会整理档案的超级实习生，它能帮人类快速起草出专业、精准的安全规则，让互联网内容审核变得更聪明、更高效。

1. 研究背景与问题定义 (Problem)

背景：在现代基于用户生成内容（UGC）或模型生成内容的产品中，内容审核（Moderation）是核心组件。这些系统依赖于特定领域的**安全策略（Safety Policies）**来定义允许和禁止的内容，并指导标注、训练和部署。
痛点：
- 起草和维护高质量、特定领域的策略成本高昂，需要领域专家知识、反复迭代和频繁更新。
- 现有的自动化工具通常仅用于优化策略的应用（如分类器），而策略本身的制定仍需人工完成。
核心问题：能否利用大语言模型（LLM）辅助甚至自动起草策略本身？
任务定义（开放域策略构建）：
- 输入：一个简洁的领域定义（Domain Specification，通常为一句话）和一个搜索引擎接口。
- 输出：一份结构化的策略文档（包含分节的文本规则）。
- 评估标准：下游效用（Downstream Utility），即当该策略作为上下文（In-context）提供给固定的审核模型（Reader LLM）时，能否提高内容审核的准确率（F1 分数）。

2. 方法论：Deep Policy Research (DPR)

DPR 是一个最小化（Minimal）的代理系统，仅使用网络搜索作为外部工具，配合轻量级的脚手架（Scaffolding）方案。其核心流程是一个迭代循环，包含三个主要步骤：

2.1 核心流程

DPR 运行 $k$ 次迭代（实验中 $k=3$ ），每次迭代维护一个策略草稿 $P_i$ 和一个索引 $I_i$ 。

查询生成 (Query Generation)：
- 分析当前的策略组织（索引 $I_{i-1}$ ），识别覆盖盲区或模糊部分。
- 生成针对性的搜索查询（Query），旨在捕捉定义边界、常见边缘案例（Edge Cases）、高风险子类型和执行线索。
- 利用搜索引擎获取前 $m$ 个结果（标题、摘要、URL）作为证据。
规则提取与整合 (Rule Extraction & Consolidation)：
- 提取：LLM 根据检索到的证据，提取候选规则。规则被格式化为简短的谓词式陈述（Predicate-style），包含明确的决策边界和可选的限定词。
- 自我批判 (Self-Critique)：LLM 进行自我审查，移除不相关或过于通用的规则，合并表达相同决策边界的冗余规则，并解决冲突（优先选择多来源或高质量来源支持的规则）。
- 输出整合后的规则集 $R_i$ 。
索引与组织 (Indexing)：
- 将新规则合并到草稿中。
- 聚类：使用基于关键词（Keyphrase）的聚类方法（K-means）将规则分组。
- 结构化：LLM 为每个聚类命名并撰写简短的章节摘要，形成带有索引的结构化文档 $I_i$ 。
- 该索引既作为人类可读的文档，也作为下一轮查询生成的覆盖信号。

2.2 设计特点

极简架构：不依赖复杂的代理架构，仅使用单一搜索工具和轻量级提示工程。
结构化输出：通过索引和聚类解决长上下文策略文档的可读性问题，帮助下游模型更好地消费策略。

3. 实验设置与基准 (Experimental Setup)

论文在两个主要场景下评估了 DPR：

OpenAI 不良内容基准 (OpenAI Undesired Content Benchmark)：
- 领域：5 个主要类别（色情、仇恨、暴力、骚扰、自残）。
- 读者模型：Llama 3.1 8B 和 Qwen2.5 7B。
- 基线对比：
  - 仅种子信息 (Seed Information)：仅使用输入的一句话定义。
  - 上下文学习 (In-Context Learning)：提供 3 个安全/不安全示例。
  - 通用深度研究系统 (OAI DR)：人工运行 OpenAI 的 Deep Research Agent（使用 GPT-5.1）。
内部多模态广告审核基准 (In-house Multimodal Advertisement Moderation)：
- 数据：包含广告文本和缩略图的真实世界数据集。
- 任务：预测广告创意是否符合安全政策。
- 设置：替换专家撰写的特定领域章节，对比 DPR 生成的章节与原始专家章节的效果。

4. 关键结果 (Results)

4.1 OpenAI 文本审核结果

性能提升：DPR 在所有领域和两个读者模型上均优于“仅种子信息”和“上下文学习”基线。
- Llama 3.1 8B：平均 F1 从 0.752 提升至 0.792。
- Qwen2.5 7B：平均 F1 从 0.810 提升至 0.831。
主观类别增益最大：在暴力、骚扰、自残等定义模糊、主观性强的类别中，DPR 带来的提升最为显著（因为 Few-shot 示例在这些类别上表现脆弱）。
优于通用研究系统：在相同种子和评估协议下，DPR 的表现优于 OpenAI 的通用深度研究系统（OAI DR）。
- 例如在 Llama 3.1 8B 上，OAI DR 平均 F1 为 0.776，而 DPR 达到 0.792。
- 结论：针对策略起草任务的特定结构化研究循环（提取 - 整合 - 索引）比通用的网页研究更有效。

4.2 多模态广告审核结果

恢复专家级性能：用 DPR 生成的章节替换专家撰写的章节，在多个领域（如 Misrepresentative, Exploitative）恢复了大部分人工策略的收益。
对比基线：DPR 显著优于“无策略”或“仅种子信息”的设置。
局限性：在高度依赖特定组织合规语言（如金融声称 Finance Claims）的领域，DPR 表现不如专家策略，因为公开网络难以获取内部特定的免责声明模式。
压缩影响：过度压缩策略长度（DPR + Summary）会导致部分准确率下降，表明某些细微的限定词对边界案例的判断至关重要。

5. 主要贡献与意义 (Contributions & Significance)

提出新任务范式：定义了“开放域策略构建”任务，证明了从高层人类指导（一句话定义）自动起草完整策略的可行性。
最小化代理设计：展示了无需复杂架构，仅通过“搜索 + 轻量级脚手架 + 结构化索引”即可构建出具有实际下游效用的策略。
超越通用基线：证明了在特定任务（策略起草）中，定制化的研究循环比通用的深度研究工具更有效。
可复现性与开源：提供了完整的实验代码、提示词（Prompts）和领域定义，为未来关于策略起草代理的研究（如针对特定读者模型的策略呈现、生成示例等）提供了基准环境。
实际价值：为内容平台提供了一种低成本、快速迭代策略的方法，特别是在新领域出现或边缘案例难以覆盖时，能够迅速从公开网络中提炼规则。

6. 总结

Deep Policy Research (DPR) 成功地将 LLM 和搜索引擎结合，构建了一个自动化的策略起草系统。它不仅能生成结构清晰、覆盖全面的策略文档，还能在实际的内容审核任务中显著提升模型性能，甚至在某些主观性强的领域超越了通用研究工具的表现。这项工作表明，利用 LLM 进行“深度研究”来辅助甚至替代人工制定安全策略，是一个极具潜力且可行的方向。