💬 NLP

SCOPE: Self-Play via Co-Evolving Policies for Open-Ended Tasks

SCOPE 是一个无需数据的自我博弈框架，通过让挑战者（Challenger）与求解者（Solver）在冻结的自我评判器（self-judge）驱动下进行协同演化，以生成并评分基于文档的任务，从而在无需依赖外部监督或人工策划提示词的情况下，显著提升了多种模型在开放式和短文本问答任务中的性能。

原作者： Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想教一名学生如何写出一篇优秀的研讨论文，但你既没有老师，也没有教科书，甚至连要问的问题清单都没有。你手里只有一座巨大的图书馆（互联网）和学生自己的大脑。

这就是 SCOPE 这篇论文试图解决的问题。通常情况下，为了训练 AI 执行复杂的、开放性的任务（如深度研究或创意写作），人类必须编写问题并为答案评分。但人类的速度慢、成本高且能力有限。

SCOPE 是一种无需任何人类帮助即可训练 AI 的新方法。它使用了一种“自我博弈”（self-play）的方法，类似于两个棋手通过互相对弈来提高水平，但这里有一个转折：他们玩的是一场关于**信息“捉迷藏”**的游戏。

以下是其运作方式，通过简单的角色进行拆解：

1. 三个角色

该系统创建了三个版本的同一个 AI 模型来扮演不同的角色：

挑战者 (The Challenger - 测验大师)： 这个 AI 的任务是根据它刚刚阅读的一份特定文档，创造一个刁钻的问题。它必须让问题足够难，使得另一个 AI 不能仅凭记忆就能猜出答案，但又不能难到完全无法回答。
求解者 (The Solver - 侦探)： 这个 AI 的任务是回答挑战者提出的问题。为了做到这一点，它必须回到图书馆，寻找线索，阅读文档，并将信息拼凑起来得出答案。它不能只依赖已有的知识；它必须寻找新的证据。
裁判 (The Judge - 严格的评分员)： 这是一个被冻结、不发生变化的原始 AI 副本。它从不学习也不改变。它的唯一工作是查看源文档和问题，然后编写一份特定的“评分标准”（即一份核查清单，说明一份好答案应该具备哪些特征）。随后，它根据这份清单为求解者的回答评分。

2. 游戏循环：它们如何变得更强

这种神奇之处发生在由三个步骤组成的循环中：

挑战阶段： 挑战者阅读一份文档并发明一个问题。它试图寻找一个“甜点位”：一个难度适中的问题——既要足够难到能难住当前的求解者，又不能太难。如果问题太简单，求解者会立刻拿到 A；如果太难，求解者则会彻底失败。挑战者希望求解者能经历一些挣扎，这样它才能学习。
调查阶段： 求解者得到问题。它不知道答案。它必须搜索图书馆，阅读多份文档，并综合信息来撰写响应。
评分阶段： 裁判查看源文档和问题，然后编写一份特定的清单（评分标准）。例如，如果问题是关于一艘沉船，评分标准可能会写道：“答案必须提到船长决定驶入风暴的决定” 以及 “答案必须提到安全管理方面的失败”。裁判随后根据这份清单为求解者的回答评分。

“顿悟时刻”：
关键的技巧在于，挑战者和裁判能看到源文档，但求解者却看不到。求解者只能看到问题。这迫使求解者学会如何有效地搜索以找到缺失的信息。

如果求解者变得更擅长搜索，挑战者就必须变得更聪明，从而提出更难的问题。如果挑战者变得更擅长提问，求解者就必须变得更擅长搜索。它们“协同进化”，将彼此推向更高的技能水平，就像两名运动员一起训练一样。

3. 为什么这意义重大

无需人类教师： 大多数 AI 训练依赖于人类编写数以千计的问题和答案。SCOPE 直接从原始文档中生成所有的训练数据。
擅长“模糊”任务： 之前的自我博弈方法仅适用于有唯一正确答案（如 2+2=4）的数学或代码任务。对于开放式任务（如“写一个故事”或“分析一个历史事件”），并没有单一的标准答案。SCOPE 利用裁判的评分标准来为这些模糊的任务评分，从而使 AI 能够改进其创意和重研究型的工作。
行之有效： 论文在三种不同的 AI 模型上测试了这一点。尽管它们仅在这些自生成的开放式任务上进行训练，但在以下方面取得了显著进步：
- 深度研究： 从多个来源寻找并结合信息。
- 创意写作： 写出更好的故事和文章。
- 简短问题： 出人意料的是，它们在从未专门训练过的简单事实核查问题上也表现得更好。

“秘诀”所在

论文发现，为了让这套机制奏效，挑战者必须保持变化。如果你冻结挑战者而只让求解者学习，求解者很快就会掌握那些简单的题目并停止进步。挑战者必须不断发明新的、难度略高的谜题，以保持求解者的警觉。

此外，裁判需要足够聪明，能够编写出一份好的清单（评分标准）。如果清单过于模糊，求解者将学不到任何东西。如果清单基于文档中的事实且非常具体，求解者就能准确知道自己需要寻找什么。

总结

SCOPE 就像是一个 AI 的自动运行健身房。与其由人类教练告诉 AI 该做什么，不如让 AI 自己设计锻炼计划（挑战者）、完成锻炼（求解者），并为自己的动作评分（裁判）。通过不断用恰到好处的难度来挑战自己，AI 学会了如何比仅靠人类策划的数据更好地进行研究、推理和写作。

技术摘要：SCOPE —— 用于开放式任务的共进化策略自我博弈

问题陈述

当前用于训练大型语言模型（LLM）处理开放式任务（如深度研究、复杂问答、创意写作）的强化学习（RL）方法面临一个根本性的瓶颈：它们依赖于外部监督。这种监督通常表现为人工策划的提示词、参考答案或“前沿模型”裁判（即用于评估输出的更强大的 LLM）。这些依赖关系将模型性能束缚在人类水平的数据质量上，并限制了可扩展性。

现有的 LLM 自我博弈方法试图通过协同进化任务生成器和求解器来绕过这一问题。然而，这些先前的方法（如 SPICE、Dr. Zero、R-Zero）局限于具有可验证答案（字符串匹配、数值相等、代码执行）的领域。开放式任务缺乏唯一的正确答案，使得基于规则的验证变得不可能。虽然基于评分标准的评估提供了一条路径，但以往基于评分标准的 RL 方法（如 RaR、DR Tulu、RPG）仍然依赖于策划的提示词或外部前沿模型裁判，未能实现真正的无数据、自监督循环。

方法论：SCOPE

作者引入了 SCOPE（Self-play via Co-evolving Policies for Open-Ended tasks），这是第一个将无数据自我博弈扩展到开放式任务的框架。该系统无需策划的数据或外部裁判，而是依靠源自基座模型自身的“自我裁判”。

核心架构

SCOPE 通过从同一个基座模型 $M_0$ 初始化出的两个策略，以及一个固定的第三角色进行协同进化：

挑战者 (Challenger, $C_t$ )： 一个不断进化的策略，旨在生成开放式的、以文档为依据的任务。它通过对未标记语料库进行多轮检索，构建处于当前求解器能力边界附近的任务。
求解器 (Solver, $S_t$ )： 一个不断进化的策略，旨在回答挑战者提出的任务。它利用多轮检索增强生成（RAG）来收集证据并合成答案。
裁判 (Judge, $J = M_0$ )： 一个冻结的初始基座模型副本。它承担两个关键功能：
- 评分标准生成： 对于每个任务 $q$ 和源文档 $d$ ，裁判生成基于源文档内容的特定任务评估标准（rubrics）。
- 评分： 裁判根据这些标准为求解器的响应进行打分。

训练循环

训练过程在两个阶段之间交替进行，使用群体相对策略优化（GRPO）进行优化：

阶段 1：挑战者训练

挑战者基于源文档 $d$ 生成任务 $q$ 。
质量门控： 裁判应用二元检查，确保任务引用了可识别的实体，并且植根于源文档。未通过这些门控的任务将被丢弃，以防止挑战者生成通用的、通过奖励作弊（reward-hacking）的提示词。
难度奖励： 前一个求解器 ( $S_{t-1}$ ) 尝试完成任务。裁判对响应进行评分。挑战者因生成使求解器平均得分接近目标难度 $\tau = 0.5$ 的任务而获得奖励。这确保了任务既具挑战性又可解，从而最大化反馈的变化量。

阶段 2：求解器训练

挑战者生成一组任务池。
过滤： 根据质量门控和难度对任务进行过滤（仅保留求解器平均得分落在 $[0.2, 0.8]$ 范围内的任务）。
求解器奖励： 求解器在这些过滤后的任务上进行训练。奖励函数结合了：
- 评分标准得分： 对特定标准进行二元判定结果的加权平均值。
- 格式与搜索奖励： 鼓励正确的工具使用和结构化输出。
- 长度惩罚： 使用余弦相似度惩罚，防止求解器利用裁判倾向于长文本的特性，通过生成过度冗长的响应来进行奖励作弊。

理论依据

论文认为，持续的自我改进需要可学习的信息。SCOPE 通过以下方式实现这一点：

任务锚定： 挑战者和裁判观察源文档 $d$ ，而求解器仅看到任务 $q$ 。求解器必须检索 $d$ 才能回答，从而创造了信息差。
隐藏评分标准差距： 评分标准 $G$ 包含了并非完全由任务 $q$ 揭示的文档特定准则。求解器必须检索 $d$ 中的具体细节才能满足评分标准。
随着求解器的改进，它正在缩小当前任务中的差距。挑战者必须协同进化，以提出新的任务，使这种差距保持存在，从而防止学习信号饱和。

核心贡献

首个针对开放式任务的无数据自我博弈： SCOPE 是第一个成功将自我博弈应用于开放式任务，且不依赖于策划提示词或外部前沿模型裁判的框架。
基于评分标准的自我裁判： 它证明了冻结的基座模型副本可以有效地生成特定任务的评分标准并对响应进行评分，从而取代了对外部监督的需求。
协同进化的必要性： 论文提供了经验证据，表明静态的挑战者无法维持持续的改进；挑战者必须与求解器协同进化，以维持“难度边界”。
泛化能力： 尽管仅在基于文档锚定的开放式任务上进行训练，该方法仍提升了短文本问答和创意写作的表现，表明其在检索和综合技能方面具有迁移收益。

实验结果

作者在三个指令微调模型（Qwen2.5-7B, Qwen3-8B, OLMo-3-7B）上，针对八个开放式基准测试和七个短文本问答基准测试对 SCOPE 进行了评估。

开放式性能： SCOPE 在所有模型上将开放式性能提升了 +5.4 至 +10.4 分。值得注意的是，在 Qwen2.5-7B 上，平均得分从 24.4 升至 34.8（+10.4）。
与策划数据的对比： SCOPE 达到或超过了 GRPOdata（一个使用约 9,000 个人工策划提示词及前沿模型评分标准进行训练的基线）。例如，在 Qwen3-8B 上，SCOPE 达到了 43.1，而 GRPOdata 为 41.5。
短文本问答迁移： 尽管仅在开放式任务上训练，SCOPE 仍将短文本问答得分提升了 +7.8 至 +13.8 分，并在所有三个模型上均超越了 GRPOdata。
创意写作： SCOPE 在创意写作领域表现出显著增益（高达 +7.4），而在该领域 GRPOdata 通常会比基座模型退步，这表明基于语料库锚定的自我博弈构建了鲁棒的综合能力。
消融实验：
- 协同进化： 冻结挑战者会导致收益微乎其微（+0.8 对比完整版 SCOPE 的 +3.4），因为任务变得过于简单。
- 奖励设计： 去除质量门控或长度惩罚会导致“奖励作弊”（生成通用任务或膨胀文本），导致性能跌落至基座模型以下。
- 评分标准质量： 评分标准的生成质量（而非评分能力）被确定为瓶颈。来自较小模型（4B）的评分标准往往缺乏具体的文档事实，而 8B 及以上规模的模型能产生具有落地感且具判别性的准则。

意义与主张

论文声称 SCOPE 代表了迈向 可扩展、无数据自我改进 的重要一步。通过使用由协同进化的策略和基于评分标准的自我裁判组成的自包含循环，取代对人工策划数据和前沿模型裁判的依赖，SCOPE 将自我博弈的范畴从可验证领域（数学、代码）扩展到了复杂的开放式推理任务。

作者谦虚地指出，多阶段流水线需要比单阶段 GRPO 更多的计算资源，这限制了目前的实验仅限于 7–8B 参数规模的模型。然而他们认为，在“后数据时代”，当策划的监督资源耗尽时，用计算量换取持续的自我改进是一个合理且必要的路径。结果表明，只要系统能维持动态的信息不对称，开放式任务可以通过自我生成的信号来实现精通。