💬 NLP

OpenSIR: Open-Ended Self-Improving Reasoner

OpenSIR 是一个自我博弈框架，它通过让大语言模型交替扮演教师和学生的角色，在无需外部标注的情况下生成并解决新颖问题，从而使其能够持续提升推理能力，并在数学和通用推理基准测试中实现持续的性能增益。

原作者： Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢的学生，他已经背下了图书馆里所有的数学教科书。他非常擅长解决标准问题，但已经遇到了瓶颈。因为他停止了学习新知识，只是在不断练习旧有的练习题，所以他无法再进步了。

这就是 OpenSIR 这篇论文试图解决的问题。

问题所在：“学习的回音壁”

目前的 AI 模型（例如驱动 DeepSeek-R1 或 OpenAI o1 的模型）通常使用带有可验证奖励的强化学习 (RLVR) 进行训练。这就像一个学生在参加标准化考试，由人类教师为每一个答案评分。

瓶颈： 你需要数以千计的人类标注样本（即老师批改试卷）来完成这项工作。
极限： 一旦学生掌握了人类策划的测试内容，他们就会停止进步。他们无法超越“人类水平”，因为他们只能从人类已经记录下来的内容中学习。

一些研究人员尝试了自我博弈 (Self-Play)，即 AI 与自己对弈来学习。想象一下一位棋手在与自己的克隆体对弈。

失败原因： 之前的自我博弈方法在面对高级模型时失败了。为什么？因为 AI 会不断生成它已经掌握的同类问题。这就像一个学生只会反复练习乘法表，却从未尝试过代数或微积分。他们陷入了“熟悉概念”的循环中。

解决方案：OpenSIR（“好奇心驱动的师生”）

作者引入了 OpenSIR（开放式自我进化推理器）。这是一个框架，其中单个 AI 模型同时扮演两个角色：教师和学生。

你可以把它想象成一个人既是健身教练又是运动员，但有一个特别的转折：他不断尝试发明新的锻炼方案，这些方案既要有足够的挑战性，又不至于难到无法完成。

以下是这个循环的步骤：

1. 种子（火花）

你从一个极其简单的问题开始，比如“1 + 1 等于几？”这是你唯一需要的人类输入。

2. 教师的任务（发明新的挑战）

AI（扮演教师的角色）观察这个简单的种子，并尝试发明一个新的数学问题。

陷阱： 如果没有引导，教师只会一遍又一遍地发明“2 + 2 等于几？”和“3 + 3 等于几？”。
解决方法（多样性奖励）： OpenSIR 会给教师发放“额外积分”，只要它创造的问题与它之前见过的所有内容都不同。这就像一位厨师，如果能发明出一种使用从未组合过的食材的新菜肴，就会获得奖金。这迫使 AI 去探索新的数学概念（如微积分、概率论或最优化理论），而不是重复算术。

3. 学生的任务（解决挑战）

AI（扮演学生的角色）尝试解决教师发明的新问题。

陷阱： 如果教师发明了一个太难或有缺陷的问题（例如缺少数字），学生就无法解决，从而导致学习无法进行。
解决方法（难度校准）： OpenSIR 会检查问题是否“恰到好处”。它使用一个“可解性评分”。如果问题太简单，它就很枯燥；如果问题太难或有缺陷，它就是无用的。系统只奖励那些具有挑战性但可解的问题。

4. 循环（协同进化）

教师和学生共同学习。

随着学生解决问题的能力增强，教师被迫发明更难、更复杂的题目，以获取那些“额外积分”。
随着教师发明复杂问题的能力增强，学生也学会了如何解决它们。
他们互相推动对方进步，创造了一个无需人类进行任何批改的永恒学习循环。

为什么这很重要

论文在七个不同的数学基准测试和三个通用推理测试上进行了测试。结果如下：

击败了“人类评分”的基准线： OpenSIR 从一个微不足道的问题（“1+1”）开始。尽管它在训练过程中使用了零个人类标注数据，但它的表现超过了使用超过 7,000 个人类评分样本进行训练的模型。
修复了“停滞”的模型： 之前的自我博弈方法实际上会让高级模型变得更差，或者根本没有帮助。OpenSIR 则持续提升了它们的性能。
泛化能力： 学习到的技能不仅仅局限于数学。因为 AI 被迫去探索多样化的概念，它在通用推理任务（如逻辑谜题）上也变得更加出色。

核心秘诀

论文发现两件事至关重要：

多样性： 如果你移除了“对差异性的奖励”，AI 就会停止学习新事物，性能也会下降。
校准： 如果你不检查问题的可解性，AI 会开始生成乱码，从而导致学习停止。

简而言之

OpenSIR 就像一辆自动驾驶汽车，它不仅仅是在从地图上学到的路线上行驶。相反，它会发明新的道路，检查这些道路是否可以通行，并在这些道路上学习驾驶，最终成为比任何人类教练所能教出的水平都要优秀的驾驶员——而这一切都不需要人类告诉它该往哪转。

技术摘要：OpenSIR：开放式自我改进推理器

问题陈述

近期大语言模型（LLM）推理能力的进展，如 DeepSeek-R1 和 OpenAI o1，高度依赖于使用大量人工标注数据集的基于可验证奖励的强化学习（RLVR）。这种依赖性造成了可扩展性的瓶颈，并可能将模型性能限制在人类水平。虽然自我博弈（self-play）为超越人类表现提供了一条路径——通过从无歧义的奖励信号中学习（如在围棋和扑克等游戏中所示）——但在应用于数学推理时面临一个根本障碍：生成的题目缺乏用于反馈的地面真值答案（ground-truth answers）。

现有的自我博弈方法试图通过外部验证器（如编译器）或启发式信号（如多数投票）来规避这一问题。然而，当应用于已经过大量人工策划数据后训练的模型时，这些方法产生的收益微乎其微，甚至会出现负增长。本文指出了一种更深层的局限性：先前的研究方法未能支持开放式学习。由于缺乏对新颖性的显式激励，“教师”组件在自我博弈中会坍缩回熟悉的题目模板，从而停止生成新的学习信号。因此，这些方法无法推动训练良好的模型超越其当前的能力边界。

方法论：OpenSIR

作者提出了 Open-Ended Self-Improving Reasoner (OpenSIR)，这是一个自我博弈框架，其中单个策略 $\pi_\theta$ 在教师（题目生成）和学生（题目求解）角色之间交替，无需外部监督或标注数据。该框架从一个平凡的种子问题（例如“1+1等于几？”）开始引导。

每个训练迭代包含四个阶段：

题目生成： 教师根据从累积池中采样的参考题目生成 $G$ 个新题目。
解法采样： 学生尝试对每个题目进行多次求解。通过多数投票确定参考答案，并计算“求解率”以衡量可靠性。
评分：
- 教师评分（新颖性）： 根据难度和多样性对题目进行评分。
  - 难度： 通过可解性得分（在最优求解率，如 0.5–0.9 处达到峰值的三角形函数）和解题长度（鼓励多步推理）来衡量。
  - 多样性： 通过新题目与现有题目池之间的嵌入距离（余弦距离）来衡量，以确保探索语义上的新概念。
- 学生评分（正确性）： 基于解析后的答案与参考答案的准确性以及格式是否正确。
模型更新： 使用类似于组相对策略优化（GRPO）的目标来更新策略。高质量的“题目-解法”对会根据新颖性得分被选中，其中一半的批次分配给教师训练，另一半分配给学生训练。

至关重要的是，OpenSIR 采用了双角色训练，即教师和学生共同进化。这使得教师能够根据学生能力的提升动态校准题目难度，防止生成过易或过难（从而导致无效）的题目。

核心贡献

识别失效模式： 本文证明了现有的自我博弈方法在经过充分后训练的模型上会失效，因为它们缺乏维持新颖性的机制，导致题目生成重复并导致性能下降。
OpenSIR 框架： 引入了第一个能够从单一平凡种子实现开放式自我改进的自我博弈框架。它通过联合优化难度校准（calibration）和多样性奖励（diversity），无需外部验证器即可实现。
经验优越性： OpenSIR 在七个数学基准测试（GSM8K, MATH-500, Minerva, OlympiadBench, College Math, AIME 2024/2025）和三个通用推理基准测试（BBEH, MMLU-Pro, SuperGPQA）上表现出色。

结果

作者在七个数学基准测试和三个通用推理基准测试上评估了 OpenSIR。

指令微调模型： 在 Llama-3.2-3B-Instruct 和 Llama-3.1-8B-Instruct 上，OpenSIR 在数学推理方面分别实现了 +3.99 和 +3.27 的平均增益。这超越了使用超过 7,000 个人工标注样本训练的 GRPO 基线（增益为 +2.69 和 +1.91）以及其他自我博弈方法（Absolute Zero, R-Zero，显示出微乎其微甚至负向的增益）。
推理模型： 在经过重度后训练的推理模型（DeepSeek-R1-Distill-Llama-8B 和 Qwen3-8B）上，OpenSIR 分别将数学推理能力提升了 +3.71 和 +2.41。相比之下，基于数据的 GRPO 基线收益极小，而其他自我博弈方法往往会导致性能下降。
通用推理迁移： OpenSIR 是唯一能够持续提升通用推理能力的算法，在推理模型上分别获得了 +4.79 和 +4.41 的增益。这表明，通过训练多样化的、自生成的创新题目，可以培养可迁移的推理能力，而非仅仅是数学熟练度。
消融实验：
- 多样性奖励： 移除多样性奖励会导致数学准确率下降约 2.7 点，通用推理下降约 2.5 点，同时探索到的独特概念数量减半。
- 双角色训练： 仅训练学生（使用固定教师）会导致性能显著下降且题目难度不稳定，证实了协同进化的必要性。
- 种子鲁棒性： 无论初始种子是平凡算术题、几何题还是竞赛级题目，该方法均表现出一致的性能。

意义

本文声称 OpenSIR 代表了一种引人注目的开放式自主数学推理发展范式。通过结合难度校准和多样性奖励，它使模型能够递归地扩展其能力，超越人类标注数据的边界。

作者强调，这种方法消除了对大规模策划数据集的依赖，而这正是扩展性的瓶颈。结果表明，只要系统被明确激励去探索新颖概念而非重复熟悉的内容，模型就可以通过递归自我改进来有效地引导数学推理。虽然论文指出性能在长时间训练后最终会进入平台期，但它确立了由新颖性驱动的自我博弈是推动 LLM 超越人类水平推理任务的一条可行且必要的路径。