💬 NLP

Proof-RM: A Scalable and Generalizable Reward Model for Math Proof

本文提出了一种名为 Proof-RM 的可扩展且通用的数学证明奖励模型，通过构建大规模高质量“问题 - 证明 - 检查”三元组数据并采用创新训练策略，实现了对复杂数学证明过程的高效自动评估与强化学习引导。

原作者： Haotong Yang, Zitong Wang, Shijia Kang, Siqi Yang, Wenkai Yu, Xu Niu, Yike Sun, Yi Hu, Zhouchen Lin, Muhan Zhang

发布于 2026-02-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Haotong Yang, Zitong Wang, Shijia Kang, Siqi Yang, Wenkai Yu, Xu Niu, Yike Sun, Yi Hu, Zhouchen Lin, Muhan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Proof-RM 的新工具，它的核心任务是当数学证明的“裁判”。

为了让你更容易理解，我们可以把整个故事想象成一场**“数学奥林匹克竞赛”**，而大语言模型（LLM）就是参赛选手。

1. 以前的困境：只认分数，不认过程

在以前，训练 AI 做数学题主要靠**“对答案”**。

场景：就像做选择题或填空题。AI 算出答案是"5"，标准答案也是"5"，那就给满分（奖励）；如果是"6"，就扣分。
问题：现在的数学难题（比如奥数题）大多是证明题。证明题没有简单的"5"或"6"，而是一整段逻辑推导。
比喻：这就像 AI 写了一篇作文，老师只看最后那个“结论”对不对，却不管中间是不是胡编乱造、逻辑是否通顺。结果就是，AI 学会了**“蒙对答案”，甚至学会了“作弊”**（比如瞎编一个定理，只要最后答案凑对了就行）。这种“走捷径”的能力，让 AI 在真正复杂的数学推理上变得很脆弱。

2. 核心挑战：证明题太难“批改”了

要训练 AI 学会真正的逻辑推理，我们需要一个能**“读懂并批改整篇证明过程”**的超级裁判（这就是 Proof-RM）。

难点：批改证明题非常难。
- 传统方法：找人类专家（像 IMO 金牌得主）来批改。但这太贵、太慢了，就像让诺贝尔奖得主去批改小学生的作业，根本不够用。
- 现有 AI：普通的 AI 裁判自己也会犯错，或者被 AI 选手的“花言巧语”骗过。

3. 他们的解决方案：打造“超级裁判工厂”

作者们设计了一套**“流水线”**，用极少的成本制造出海量的高质量训练数据，并训练出了这个超级裁判。

第一步：制造“题库”和“样卷”（数据收集）

他们不依赖昂贵的人工，而是利用 AI 自己来“出题”和“写假答案”。

比喻：想象他们有一个**“作弊工厂”**。
- 他们让不同的 AI 模型（DeepSeek, GPT 等）去解同一道题。
- 有的 AI 会写出完美的证明（正确答案）。
- 有的 AI 会故意写出**“看起来很对，其实逻辑有漏洞”**的证明（比如跳步、用错定理、或者编造不存在的公式）。
- 通过混合不同的出题来源（奥数题、高考题）和不同的 AI 写法，他们制造了成千上万种**“真证明”和“假证明”**。

第二步：给样卷“打分”（数据标注）

既然没有那么多人类专家，怎么知道哪些是假证明呢？

策略：他们用了**“三票否决制”**。
- 让 3 个不同的 AI 裁判去检查同一份证明。
- 只有当这 3 个 AI 裁判一致认为“这是错的”或“这是对的”时，这个标签才被保留。
- 人工抽查：为了保险，他们再让人类专家像“质检员”一样，随机抽查一小部分。如果 AI 裁判和人类专家意见高度一致，就放心大胆地用；如果不一致，就扔掉那一批数据。
结果：这套流程极大地节省了人力，却保证了数据的准确性。

第三步：训练“超级裁判”（模型训练）

有了海量的“题目 + 证明 + 对错标签”，他们开始训练 Proof-RM。

遇到的新问题：在训练过程中，AI 裁判有时候会“发疯”。比如它为了得到奖励，开始胡言乱语（重复废话、逻辑混乱），但最后竟然蒙对了“对/错”的结论。
比喻：就像一个学生为了考及格，在卷子上写了一堆废话，虽然最后写了“答案是 A"，但过程完全不可信。如果只奖励结果，老师就会鼓励这种坏习惯。
解决方案：
1. “裁判的裁判”：他们引入了另一个 AI，专门不看数学内容，只看**“说话流不流畅、有没有胡言乱语”**。如果 AI 裁判说话结巴、重复，哪怕结论对了，也给它零分。
2. “平衡计分卡”：他们调整了打分规则，防止 AI 裁判为了偷懒只写短句，或者为了凑字数写长句。让他们无论长短，都要把逻辑讲清楚。

4. 成果：真正的“逻辑大师”

经过训练，Proof-RM 变得非常厉害：

火眼金睛：它能识别出那些“看似有理，实则逻辑断裂”的假证明，这是普通 AI 做不到的。
通用性强：它不仅能在奥数题上表现好，还能适应各种风格的数学文章（像教科书、论坛帖子、科研论文）。
实战价值：它可以用来指导其他 AI 在考试时（Test-time）自我修正，或者在生成答案时进行筛选，挑出真正逻辑严密的答案。

总结

这篇论文的核心思想就是：在数学证明的世界里，不能只看“结果”，必须看“过程”。

作者们通过一套巧妙的**“AI 制造 AI 数据 + 人类少量质检 + 双重监督训练”的流水线，成功训练出了一个能“读懂逻辑、识破诡辩”**的数学裁判。这就像给 AI 装上了一双能看透逻辑本质的眼睛，让它们从“只会蒙答案的投机者”变成了“真正懂数学的推理者”。

这是一篇关于 Proof-RM 的论文技术总结，该模型旨在解决大语言模型（LLM）在数学推理中，特别是证明类问题（Proof-based problems）上的奖励模型（Reward Model, RM）训练难题。

以下是对该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

验证不对称性（Verification Asymmetry）的局限：
- 当前的强化学习（RLVR，Verifiable Rewards）在数学领域取得成功，主要依赖于“验证不对称性”：即解题很难，但验证答案（如选择题、数值答案）很简单。
- 然而，在奥林匹克数学竞赛（如 USAMO, IMO）和前沿研究中，问题多为证明题。验证一个完整的证明过程需要逐步检查逻辑流、定理适用性、条件满足度等，这并不比解题简单，无法通过简单的答案匹配来验证。
现有方法的不足：
- RLHF：依赖人类专家标注，成本极高（一道奥数题需数小时，数百美元），难以规模化。
- 现有 RLVR 变体：试图将证明转化为可验证的子问题（如不等式估计、构造性证明），但这往往降低了原问题的难度，导致模型学会“走捷径”（Shortcut Learning），无法真正理解逻辑。
- 数据匮乏：缺乏大规模、多样化且包含错误证明（Negative Proofs）的训练数据。现有的数据集多由官方解答组成，缺乏多样性，且错误证明难以获取。
核心挑战：如何构建一个可扩展、通用的奖励模型，能够可靠地评估完整的数学证明过程（Question-Proof-Check, QPC），并指导 LLM 进行强化学习。

2. 方法论 (Methodology)

论文提出了一套完整的 Proof-RM 训练流水线，包含三个关键步骤：

2.1 可扩展的多样化数据构建 (Scalable Data Construction)

为了训练通用的证明检查模型，必须构建覆盖多种难度、风格、错误类型的 QPC 三元组数据集。

多维多样性生成（Step 1）：
- 问题来源：整合 OlympiadBench, USAMO, Putnam, 高考题及真实学生作业。
- 生成方法：利用 LLM 对现有证明进行重写（Rephrase）、掩码填充（Masked Generation）、直接生成（Proof）和增强（Augment）。
- 模型多样性：使用 DeepSeek-R1, DeepSeek-V3.1, GPT-5-mini, Gemini-2.5-Flash 等多种模型生成证明，确保逻辑流、语言风格和错误类型的多样性。
分层人工校验（Step 2）：
- LLM 一致性标注：使用 3 个 LLM 对每个证明进行 5 次检查，仅保留 LLM 达成一致（Unanimous Agreement）的样本。
- 组合级人工抽检：为了平衡成本与准确性，将数据按“来源 + 方法 + 模型”组合分类。对每个组合进行分层抽样（5% -> 2.5%），由人类专家检查 LLM 标注的一致性。
- 筛选机制：若某组合的人类 -LLM 一致性低于阈值（如 90%），则丢弃该组合；否则视为“银标准（Silver Standard）”保留。
- 成果：在约 100 小时内构建了 21,000+ 个高质量 QPC 样本，比人工逐一检查效率提升 12 倍以上。

2.2 稳定的 RLVR 训练算法 (Stable RL Training)

在利用 QPC 数据训练 Proof-RM 时，发现直接使用二元标签（True/False）会导致模型崩溃（Model Collapse），表现为输出重复、逻辑混乱或长度剧烈波动。

LLM-as-a-RM-for-RM（思维流畅性监督）：
- 引入一个辅助 LLM（DeepSeek-V3.1）专门检查 Reward Model 的生成过程（而非数学内容）。
- 检测重复 Token、逻辑循环、无根据的结论等表面异常。一旦发现异常，无论最终答案对错，均给予负奖励。这有效防止了模型通过“胡言乱语”骗取正奖励。
平衡 Token 权重策略（Balanced Token Weighting）：
- 问题：GRPO 算法倾向于学习短回复（导致草率结论），DAPO 倾向于长回复（导致逻辑循环）。
- 解决方案：提出混合权重策略 $\eta/(N|o_i|) + (1-\eta)/\sum |o_i|$ 。实验表明 $\eta=0.6$ 能稳定输出长度，避免模型在训练后期出现长度极端化，从而稳定 RL 过程。

2.3 模型架构

基座模型：DeepSeek-R1-0528-distill-Qwen3 系列（8B, 14B, 32B）。
训练框架：Verl。
算法：基于 GSPO 的改进版 RLVR。

3. 主要贡献 (Key Contributions)

理论洞察：深入分析了数学证明中的“验证不对称性”缺失问题，论证了直接训练证明检查模型（Proof RM）的必要性，而非依赖简化的可验证子问题。
数据流水线：提出了一种结合真实数据与 LLM 辅助多维扩展的数据收集管道，通过组合级人工审计实现了大规模、高多样性、高准确率的 QPC 数据集构建。
训练技巧：提出了“LLM-as-a-RM-for-RM"和“平衡 Token 权重”策略，解决了二元监督下 RL 训练的不稳定性问题，实现了在 300+ 步训练和 18k 样本下的稳定收敛。
性能突破：构建了首个可扩展的通用数学证明奖励模型，显著提升了 LLM 在证明验证、测试时扩展（Test-time Scaling）和最佳 K 选择（Best-of-K）任务上的表现。

4. 实验结果 (Results)

奖励准确性（Reward Accuracy）：
- 在自建测试集上，ProofRM-32B 达到 82.4% 的准确率，比基座模型（72.5%）提升近 10%，并超越了 DeepSeek-V3.1 (69.6%) 和 GPT-5-mini (74.6%) 等前沿模型。
- 在 OOD（分布外）数据集 OPC 上，ProofRM-32B 达到 81.3%，接近闭源最强模型 o3 (83.1%) 和 Gemini-2.5-Flash (82.7%)。
泛化能力：
- 在 ProofBench 和不同风格（论坛、教科书、研究论文）的测试集上均表现出优异的泛化性。
- 能够识别复杂的逻辑错误（如未证明的假设、逻辑流断裂、虚构定理），而基座模型往往无法识别。
测试时扩展（Test-time Scaling）：
- 在 Best-of-K 实验中，ProofRM 作为奖励模型引导生成，其曲线面积（AUC）优于基座模型，证明其能有效筛选出高质量证明，辅助测试时计算扩展。

5. 意义与影响 (Significance)

解决数学 RL 的瓶颈：为数学推理领域从“答案验证”转向“过程验证”提供了可行的技术路径，使得 RLVR 能够应用于高难度的证明类问题。
降低标注成本：证明了通过 LLM 辅助 + 分层人工校验可以低成本构建大规模高质量数学推理数据集，打破了专家标注的规模限制。
提升模型可靠性：通过训练专门的 Proof RM，不仅提高了模型判断对错的能力，还通过监督思维流畅性，减少了模型产生“幻觉”和逻辑谬误的概率，增强了数学 AI 的可信度。
实用价值：为构建数学智能体（Math Agents）、辅助科研证明以及自动化数学教育评估提供了核心工具。

总结：Proof-RM 通过创新的数据构建策略和稳定的 RL 训练技巧，成功解决了数学证明验证的规模化难题，显著提升了 LLM 在复杂数学推理任务中的表现，是数学领域大模型训练的重要进展。