🤖 AI

From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement

该论文提出了具有自验证奖励的强化学习（RLSVR）范式，该范式将开放式任务转化为可验证的代理环境——以受社交推理游戏启发的 SpyRL 方法为例——旨在使大型语言模型能够超越数学和编程等传统可验证领域，实现可扩展且无偏见的自我提升。

原作者： Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu, Bo Liu, Qingyun Wu, Hai Helen Li, Yiran Chen, Handong Zhao, Wentian Zhao

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu, Bo Liu, Qingyun Wu, Hai Helen Li, Yiran Chen, Handong Zhao, Wentian Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机就像是才华横溢的学生，能够精准地解决数学问题或编写代码，因为那里有一个清晰的答案解析。如果他们答错了，老师能立刻发现，学生也会从中学习。这就是当今许多最聪明的 AI 模型被训练的方式：他们在那些答案显而易见且可检查的任务上进行练习。但如果老师要求写一首诗、讲一个有趣的故事或总结一篇长篇新闻报道时，情况会怎样呢？对于创意而言，并不存在唯一的标准答案。如果没有人类老师来为每一篇论文评分，计算机如何知道自己的故事写得是否“好”？这正是研究人员试图解决的大谜题：如何教会 AI 在处理开放式、创造性任务时不断进步，而不需要人类在它每次练习时都在一旁监督。

你即将阅读的这篇论文通过借鉴另一个科学分支——“自监督学习”（self-supervised learning）中的技巧来解决这个问题。你可以把这想象成一个学生，他并没有等待老师给他出测验，而是自己发明了一个小游戏来进行练习。他们可能会遮住句子中的一个词，然后尝试猜出那个词是什么。尽管这个游戏并不是最终考试，但玩这个游戏的行为本身有助于他们更好地理解语言。这篇论文的研究人员提出了这样一个问题：“我们能否让 AI 玩一个类似的逻辑游戏，从而在没有标准答案的情况下，提高其写作和推理能力？”他们提出了一种名为 RLSVR（具有自我验证奖励的强化学习）的新型 AI 训练方法。与其试图去猜测一个故事是否“好”（这很难且具有主观性），不如将任务转化为一个可以通过严格的内置规则来检查自身工作的游戏。

间谍游戏：AI 如何学会写得更好

研究人员构建了这个想法的一个特定版本，称为 SpyRL。为了理解它，请想象五位朋友围坐成一圈，正在玩“谁是卧底？”（灵感来自流行的聚会游戏《谁是卧底》）。

以下是这个游戏在 AI 世界中的运作方式：

设置： 这一组人会被给出一个写作提示，例如“写一个关于机器人坠入爱河的故事”。四名玩家（“平民”）会得到完整、完整的提示。一名玩家（“间谍”）得到的则是破碎、不完整的提示版本——也许有一半的词语缺失或被打乱了。
表现： 每个人都要根据他们看到的内容进行创作。平民拥有全部信息，因此他们可以写出精彩、详尽的故事。然而，间谍却缺少部分信息。为了避免被识破，间谍必须猜测缺失的部分是什么，并写出一个看起来符合主题的故事，尽管他们是在盲目摸索。
检测： 在每个人完成写作后，小组会阅读所有的故事，并投票选出谁是间谍。
奖励： 这是神奇之处。因为运行游戏的计算机完全知道谁是间谍（因为它分配了角色），所以它可以立即检查投票结果。
- 如果小组正确识别出了间谍，投票者会获得奖励。
- 如果间谍被投出局，间谍会受到“惩罚”（低分）。
- 如果平民被误投出局，他们也会得到较低的分数。

这创造了一个完美的自我检查循环。AI 不需要人类来评价“这个故事很无聊”。相反，游戏规则提供了反馈。如果间谍的故事太模糊或不符合主题，其他玩家就会发现并将其投出局。如果平民写的文章令人困惑或离题，他们可能会被误投出局，这会教导他们要表达得更清晰。

他们的发现

研究人员在三种非常不同的任务类型上测试了这个“间谍游戏”：

总结长篇报告（例如将一份 20 页的政府文件缩减为简短摘要）。
创意写作（根据提示编写故事）。
数学推理（解决复杂的数学问题）。

结果非常令人惊喜。通常，依赖于“猜测”作品好坏的方法（使用其他 AI 模型作为评委）很难取得显著进步。但 SpyRL 通过将任务转化为一个具有明确规则的游戏，成功教会了 AI 编写更好的故事和摘要。

在实验中，使用 SpyRL 训练的 AI 击败了其他先进的自我改进方法。例如，在创意写作任务中，与未经训练的同类模型相比，经过 SpyRL 训练的模型胜率约为 77.3%。在数学问题上（其答案通常是可检查的），SpyRL 仍然显著提高了分数，在某些困难基准测试中将模型的数学准确率提升了近 9%。

论文指出，这种方法之所以奏效，是因为它迫使 AI 关注其输出的质量。为了赢得游戏（或者至少不输掉），AI 必须写出连贯、有创意且逻辑严密的文章。如果它写出的内容乏味或混乱，就会被游戏中的其他玩家“抓个正着”。

为什么这很重要

核心结论是，你不需要人类教师或完美的标准答案来教会 AI 如何进行创作。通过将一个模糊的任务（如“写一个好故事”）转化为一个带有隐藏角色和明确胜负条件的结构化游戏，AI 可以实现自我提升。研究人员表明，这种方法不仅适用于数学（答案易于检查），也适用于写作和摘要（其中“正确性”通常是一种观点问题）。

他们发现，参与游戏的玩家越多（在一定限度内），训练信号就越好，这表明由一群 AI 进行辩论和投票有助于过滤掉糟糕的想法。虽然这篇论文并未声称解决了 AI 的所有问题，但它提供了一条充满希望的新路径：将人类创造力那混乱、主观的世界，转化为一个计算机可以独自玩耍、获胜并从中学习的游戏。

技术摘要：从 RLVR 到 RLSVR

1. 问题陈述

具有可验证奖励的强化学习（RLVR）已在具有确定性结果的领域（如数学和编程）推动了面向推理的大语言模型（LLM）取得显著进展。在这些场景中，验证器 $V(x, y)$ 可以确定性地检查给定输入 $x$ 下输出 $y$ 是否正确，从而提供无偏、无限且零成本的监督。

然而，RLVR 在很大程度上仍无法应用于开放式任务（例如创意写作、文本摘要、通用推理），因为在这些任务中，正确性是主观的，缺乏确定性的地面真值（ground truth）。目前弥合这一差距的方法依赖于：

学习到的偏好信号（例如 RLHF、DPO），这需要昂贵的人类标注。
基于模型的代理（例如 LLM-as-a-Judge、自我奖励机制），这些方法会引入评估偏差，受限于裁判的能力，并产生显著的推理成本。

核心挑战在于，这些方法试图直接近似一个不可验证的质量目标 $Q(x, y)$ ，而不是从数据本身构建一个可验证的信号。

2. 方法论：RLSVR 与 SpyRL

本文提出了具有自我验证奖励的强化学习（RLSVR），这是一个将自监督学习原则（通过自动生成的标签构建前置任务）扩展到 RLVR 领域的范式。RLSVR 将开放式任务转化为一个代理环境，在该环境中，奖励是自我可验证的——即源自环境内部规则和交互结果，而非外部裁判。

2.1 RLSVR 框架

RLSVR 通过任务转换 $\Phi$ 将目标任务 $(D, \tau)$ 映射到代理环境 $E$ ：

隐变量注入： 环境采样一个输入 $x$ 和一个隐变量 $z$ （例如，隐藏身份或扰动状态），并将 $z$ 记录为地面真值。
条件化任务执行： 智能体根据基于 $(x, z)$ 的观测执行目标任务。
可验证交互： 环境提出一个关于 $z$ 的问题，该问题必须利用任务输出进行回答。至关重要的是，正确回答问题取决于输出的质量。
基于规则的奖励： 通过检查交互结果是否符合记录的 $z$ 来计算奖励，无需外部验证器。

2.2 SpyRL：一种基于信息不对称自我博弈的实例化

作者通过 SpyRL（自我博弈强化学习）实例化了 RLSVR，这是一个受社交推理游戏《谁是卧底？》（Who Is the Spy?）启发的多智能体框架。

游戏机制：

智能体： 一组由 $n$ 个智能体组成的群体，包含 $n-1$ 个“平民”和 1 个“间谍”。
不对称信息：
- 平民： 接收完整的任务输入 $x$ 。
- 间谍： 接收降级的版本 $g(x)$ （例如，被遮蔽或删除的连续文本段落），从而产生信息缺失。
表演阶段： 所有智能体根据各自的观测生成目标任务的输出 $y_i$ （例如，摘要、创意写作、数学推理）。
检测阶段： 智能体分析所有输出并投票以识别间谍。
奖励信号：
- 检测奖励 ( $R_D$ )： 具有确定性的可验证性。如果智能体投出了正确的间谍索引 $u$ ，则获得正向奖励；否则为零。
- 表演奖励 ( $R_P$ )： 源自投票结果。间谍获得的负向奖励与其收到的票数（怀疑度）成正比，而平民则根据相对于群体平均值的零和约束获得奖励。
- 对齐： 未能掩盖信息缺失（即质量较低）的输出会吸引更多选票，从而导致更低的奖励。因此，不可验证的“质量”被转化为了可验证的“身份识别”问题。

优化策略：
SpyRL 在表演策略（ $\pi^P_\theta$ ）和检测策略（ $\pi^D_\phi$ ）之间采用交替优化。

角色优势估计（RAE）： 为了解决间谍天生面临更难任务的结构性不平衡，RAE 通过减去特定角色的基准线来校准奖励，确保梯度信号反映的是相对于角色难度的表现，而非绝对奖励的大小。
交替更新： 系统在优化表演者（以生成更好的、更具欺骗性的输出）和检测者（以更好地识别弱点）之间切换。这防止了在固定自我博弈中常见的策略停滞和局部最优问题。

3. 核心贡献

RLSVR 范式： 提出了具有自我验证奖励的强化学习，它将自监督学习原则整合进 RLVR 中，从而实现无需外部验证器的开放式任务的可扩展训练。
SpyRL 框架： 引入了 SpyRL，这是一种基于信息不对称自我博弈的方法，它将开放式生成重新表述为多智能体社交推理游戏，通过基于规则的身份推理产生可验证奖励。
实证验证： 在文本摘要、创意写作和数学推理领域进行了全面的评估，证明了 SpyRL 在非可验证任务上优于现有的自我改进方法（R-Zero, Absolute Zero），同时保持或提升了在可验证推理任务上的性能。
泛化性： 有证据表明该方法可以泛化到特定领域的摘要（科学论文），并在任务间转移能力（例如，经过摘要训练的模型提升了创意写作能力）。

4. 实验结果

作者在 Qwen3-4B 和 Qwen3-8B 模型上针对三个领域对 SpyRL 进行了评估：

非可验证任务（摘要与创意写作）：
- 摘要： SpyRL 在五个基准测试（GovReport, Multi-News 等）中实现了最高的 ROUGE-L 分数。例如，在 Qwen3-4B 的 GovReport 上，SpyRL 将 ROUGE-L 从 33.2 (Absolute Zero) 提升至 36.7。在针对基准模型的成对 A/B 测试中，SpyRL 赢得了多数比较（例如，在 GovReport 上胜率为 74.6%）。
- 创意写作： 在 GPT-4o 进行的关于新颖性、情感和连贯性的维度评价中，SpyRL 显著优于基准模型。在 WritingPrompts 上，SpyRL 相对于未训练的主干模型胜率为 84.3%，相对于 R-Zero 胜率为 78.9%。
- 相关性： 分析显示，收到的怀疑票数与较低的输出质量（由 GPT-4o 排名）之间存在强正相关，验证了基于投票的奖励与实际任务表现相一致。
可验证任务（数学推理）：
- SpyRL 在七个基准测试（GSM8K, Math500, AIME 24/25, Minerva, MMLU-Pro, GPQA-D）上持续优于基准模型。
- 在 Qwen3-8B 上，SpyRL 将 Math500 准确率提升至 81.2%（相比之下，R-Zero 为 78.4%），并将 AIME 25 提升至 23.3%（相比之下，R-Zero 为 14.2%）。
成本效率：
- 与产生每项实验约 200 至 900 美元验证器成本的 Rubric-as-Reward (RaR) 基准相比，SpyRL 无需外部验证器，仅依赖于游戏的内部规则。
消融研究：
- 交替优化： 对性能至关重要；联合训练会导致性能下降（例如，Math500 准确率从 68.2% 降至 53.1%）。
- 小组规模： 将玩家从 3 人增加到 5 人带来了最大的收益；进一步扩大规模则显示出收益递减。
- RAE： 去除角色优势估计会导致性能大幅下降，证实了为信息不对称进行校准的必要性。

5. 意义与主张

本文声称，可验证性不必是任务的内在属性，而是可以通过任务转换进行工程化设计的。通过将开放式质量评估转化为可验证的身份识别问题，SpyRL 实现了无需外部验证器的、可扩展的开放式能力自我改进。

作者认为，他们的方法解决了 RLVR 在非确定性领域中的根本瓶颈：

它消除了对有偏人类偏好或昂贵 LLM 裁判的依赖。
它提供了一个稳定的、基于规则的、源自环境本身的奖励信号。
它证明了自我博弈不仅限于本质可验证的领域（如数学/代码），还可以通过适当的环境设计扩展到创意和生成式任务。

结果表明，任务转换可以将基于 RLVR 的可扩展自我改进扩展到目前的极限之外，为无需人类监督的开放式 LLM 能力训练提供了一条路径。