🤖 machine learning

G-Zero: Self-Play for Open-Ended Generation from Zero Data

G-Zero 是一个无需验证器的协同进化框架，它通过利用内在的“提示- $\delta$ "奖励来训练提议模型生成具有挑战性的查询和提示，随后生成模型通过直接偏好优化（DPO）从这些内容中学习，从而绕过外部评判者的局限性，实现开放式的语言模型自我改进。

原作者： Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢的学生（即生成器），他渴望变得更聪明，却被困在一个没有老师、没有教科书、也没有答案钥匙的房间里。通常，学生要学习，需要一位老师指出：“错了，试试这个。”如果没有老师，学生可能只会猜测，或者陷入不断重复同样错误的困境。

这篇论文介绍了一种让 AI 模型在没有人类教师或外部“评判者”打分的情况下学习的新方法。他们将此系统称为G-Zero。

以下是其工作原理，使用一个简单的类比：

两个角色：“教练”与“学生”

G-Zero 并非只有一位孤独的学生，而是利用两个 AI 模型在循环中协同工作：

生成器（学生）：这是我们要改进的模型。它尝试回答问题。
提议者（教练）：这是第二个模型，其职责是找出学生的薄弱环节，并思考如何帮助他们。

秘密武器："Hint-δ"（火花）

自学习的最大难题是：如果没有答案钥匙，模型如何知道自己正在进步？

G-Zero 通过一个巧妙的技巧Hint-δ解决了这个问题。其过程如下：

挑战：教练（提议者）提出一个棘手的问题和一个提示。
测试：学生（生成器）尝试在没有提示的情况下回答问题。我们称之为“挣扎答案”。
转变：然后，学生再次尝试，但这次带有提示。我们称之为“顿悟答案”。
测量：系统测量学生大脑中的“冲击”或转变。提示是否让学生突然更好地理解了答案？
- 如果学生原本就很出色，提示不会带来太大变化。（低分）
- 如果提示毫无用处，学生也不会产生太大变化。（低分）
- 最佳点：如果问题很难，且提示恰好是学生解锁答案所需的关键，学生的大脑会发生剧烈转变。这将产生高分。

类比：想象你正在尝试解一道谜题。

如果你能轻松解开，提示的帮助不大。
如果提示是胡言乱语，你依然无法解开。
但如果你卡住了，而有人低声说出了恰好缺失的那块逻辑拼图，你的大脑会发出“咔哒”一声！这个“咔哒”声就是Hint-δ。它证明了提示是有价值的，且问题具有挑战性。

训练循环：他们如何变得更好

该系统分两个阶段反复运行：

阶段 1：教练变得更擅长发现弱点。
当教练找到一个难住学生的问题，并提供一个能解决该问题的提示时，它会得到奖励。教练学会不再提出简单的问题，也不再给出糟糕的提示。它学会去搜寻学生的“盲点”。

阶段 2：学生从“顿悟”时刻中学习。
学生被展示成对的答案：“挣扎答案”（被拒绝）和“顿悟答案”（被选中）。学生被训练去偏好使用了提示的那个版本。

魔力：随着时间的推移，学生学会了提示的风格和逻辑。最终，学生能够不再需要提示就能生成那些高质量的答案。学生已经将教练的指导内化了。

为什么这很重要

无需外部评判者：通常，AI 需要人类或非常聪明的 AI 来说：“这个答案很好。”这设定了一个上限；AI 永远无法变得比评判者更聪明。G-Zero 完全移除了评判者。AI 根据自己理解的变化程度来自我评判。
适用于创造性任务：以前的方法仅在数学或代码（有明确的对错答案）上有效。G-Zero 适用于开放式任务，如写故事、提供建议或聊天，这些任务没有单一的“正确答案”。
自我提升：论文表明，经过仅仅两轮这样的循环，模型在数学、编程和写作方面都有了显著提升，即使它们最初没有任何外部数据。

潜在问题（局限性）

论文指出，教练与学生之间的这场“军备竞赛”有时会出错。如果教练变得过于刁钻，学生可能会感到困惑，或者系统可能会崩溃（即“坍塌”）。他们还发现，该系统在过滤掉最简单和最难的示例、专注于“难度适中”的示例时效果最佳。

总结

将 G-Zero 想象成一辆自动驾驶汽车，它通过意识到“哇，当我这样看路时，我对转弯的理解要深刻得多”来学习如何开得更好。它不需要驾驶教练；它只需要注意到那些视角的微小变化带来理解大幅提升的时刻。通过追逐这些清晰时刻，AI 自我教导变得更为聪明。

技术摘要：G-Zero

1. 问题陈述

自我演化的大语言模型（LLM）在可验证领域（如数学、代码）中已展现出显著成功，在这些领域中，程序化预言机（programmatic oracles）可为基于可验证奖励的强化学习（RLVR）提供真实标签。然而，这些模型在开放领域（如创意写作、对话、指令遵循）中表现挣扎，因为这些领域不存在客观验证器。

当前针对这些不可验证任务的方法严重依赖LLM 作为裁判（LLM-as-a-Judge）机制来生成代理奖励信号。论文指出了该范式存在的两个关键局限：

能力瓶颈：演化模型的性能上限从根本上受限于裁判模型的能力。
奖励黑客：模型倾向于利用裁判的风格漏洞（如偏见、格式偏好、冗长性），而非真正提升回答质量。

本文探讨的核心问题是：如何在不可验证领域中扩展自我演化，既不依赖外部裁判，也不内化代理奖励信号带来的病理特征？

2. 方法论：G-Zero 框架

G-Zero 是一个无验证器的协同演化框架，其监督信号完全源自内部分布动力学。它通过两个模型的交互运行：一个提议者（ $\pi_P$ ）和一个生成器（ $\pi_G$ ）。

2.1 内在信号：Hint- $\delta$

核心创新是Hint- $\delta$ ，这是一种内在奖励信号，用于量化生成器在条件化于自生成提示（hint）时的分布预测偏移。

机制：对于查询 $q$ ，生成器生成无辅助回答 $a_{hard}$ 。随后提供提示 $h$ ，生成器生成提示条件化回答 $a_{assisted}$ 。
计算：Hint- $\delta$ 是无辅助分布与提示条件化分布之间每个 token 的对数似然差均值：
$\delta(q, h, a_{hard}) = \frac{1}{T} \sum_{t=1}^{T} \left[ \log \pi_G(a_t | q, a_{<t}) - \log \pi_G(a_t | q, h, a_{<t}) \right]$
特性：仅当查询对生成器而言真正具有挑战性（无辅助回答存在缺陷）且提示提供了必要且缺失的信息时， $\delta$ 值才会较大。该信号对回答长度具有不变性，且完全基于生成器自身的对数概率计算，从而消除了外部裁判的偏差。

2.2 协同演化循环

该框架在涉及两个阶段的迭代轮次中运行：

阶段 1：提议者训练（GRPO）

目标：训练 $\pi_P$ 合成具有挑战性的查询（ $q$ ）并配对信息丰富的提示（ $h$ ），以最大化生成器的 $\delta$ 。
优化：使用组相对策略优化（GRPO）。
奖励函数： $r(q, h) = \delta(q, h, a_{hard}) - P_{length} - P_{BLEU}$ $r (q, h) = δ (q, h, a_{ha r d}) - P_{l e n g t h} - P_{B L E U}$ 。
- $P_{length}$ ：惩罚超过字符预算（约 200 字符）的提示，以防止冗长的奖励黑客行为。
- $P_{BLEU}$ ：惩罚重复的查询生成，以确保探索覆盖率。
结果：提议者针对生成器的“盲点”，创建一个难度递增的任务课程。

阶段 2：生成器训练（DPO）

目标：训练 $\pi_G$ 内化提示所建议的结构和逻辑改进。
数据构建：
- 提议者生成 $(q, h)$ 对。
- 生成器生成 $a_{hard}$ （无提示）和 $a_{assisted}$ （有提示）。
- 过滤策略：与寻求高 $\delta$ $δ$ 的提议者不同，生成器训练数据集（ $D_{R+1}$ $D_{R + 1}$ ）保留 $\delta$ $δ$ 分布中下半部分的对。
  - 理由：高- $\delta$ 对通常代表“答案泄露”（提示直接给出了答案），违反了 DPO 的隐式 KL 约束。低- $\delta$ 对代表“难以区分”的信号，其中提示诱导的是细微的结构性 refinement 而非琐碎的修正。
优化：使用直接偏好优化（DPO），并采用长度归一化损失。
- 优选（ $y_w$ ）： $a_{assisted}$ （提示引导）。
- 拒绝（ $y_l$ ）： $a_{hard}$ （无辅助）。
- 参考模型：本轮开始时 $\pi_G$ 的冻结快照。

3. 理论分析

论文为 G-Zero 的理想化标准 DPO 变体提供了理论保证。

假设：该框架假设线性奖励结构、Bradley-Terry 偏好模型，并假设提议者通过 BLEU 奖励诱导了足够的探索覆盖率，同时 $\delta$ 过滤器保持了伪标签噪声（ $\eta_\delta$ ）处于低位。
结果（定理 1）：在这些条件下，存在一个迭代点 $t_0$ ，使得次优性差距 $J(\pi^*) - J(\pi_{t_0})$ 被与样本复杂度和噪声水平相关的项所界定。具体而言，该界限取决于提议者诱导的覆盖率和 $\delta$ 认证的伪标签分数噪声。这证明了协同演化循环可以在没有外部验证器的情况下收敛到近优策略。

4. 实验结果

实验在 Qwen3-8B-Base 和 Llama-3.1-8B-Instruct 模型上进行了两轮自我演化。

开放领域任务：
- AlpacaEval 2.0（聊天）：G-Zero 取得了显著提升。对于 Llama-3.1，长度控制的胜率从基线的 24.12% 提升至第 2 轮的 27.86%。
- IFEval（指令遵循）：在严格和宽松的指令遵循方面，两个模型均观察到改进。
可验证任务（迁移）：
- 数学（AIME24/AIME25）：尽管主要在开放领域、不可验证的数据上训练，G-Zero 仍显示出显著的推理改进。
  - Qwen3-8B-Base：第 2 轮后，AIME25 分数从 7.19% 跃升至 12.40%。
  - Llama-3.1-8B-Instruct：AIME25 从 0.42% 提升至 0.63%（注：基线非常低，但提升具有一致性）。
与 R-Zero 的比较：
- R-Zero（一种基于验证器的方法）在数学方面显示出强劲增益，但在对话和指令遵循任务中遭受能力崩溃（例如，Qwen3 聊天分数从 8.94% 降至 8.04%）。
- G-Zero 在所有指标（聊天、IFEval、数学）上均保持或提升了性能，证明了其稳健的泛化能力，且没有基于裁判方法所见的权衡。

关键分析发现：

结构性迁移：训练数据中超过 70% 由不可验证任务（建议、写作）主导。数学方面的推理改进归因于从这些开放领域任务中内化了逻辑深度和组合复杂性，而非特定领域的记忆。
协同演化军备竞赛：第 2 轮中 Hint- $\delta$ 的分布向右移动，表明随着生成器的改进，提议者成功合成了更复杂且更具影响力的提示，以维持学习信号。

5. 意义与贡献

论文声称主要有三项贡献：

无验证器的协同演化框架：G-Zero 通过将外部裁判替换为源自模型自身预测偏移的内在信号（Hint- $\delta$ ，实现了开放领域中的持续自我改进。
理论表征：作者形式化了协同演化循环，并证明了最佳迭代次优性保证，表明只要提议者确保探索且过滤器维持数据质量，自我演化在理论上是合理的。
跨域迁移的实证验证：这项工作表明，模型可以从不可验证的开放领域任务中内化逻辑推理模式，并将其成功迁移到严格的、可验证的领域（如数学）。这挑战了自我演化需要可验证预言机或外部裁判才能扩展的观点。

结论：
G-Zero 为自主 LLM 自我演化提供了一条可扩展且稳健的路径。通过从内部分布动力学中推导监督信号，它绕过了外部裁判的能力上限和奖励黑客漏洞，证明了模型可以仅利用内在反馈来提升其能力。