🤖 AI

VERIFY-RL: Verifiable Recursive Decomposition for Reinforcement Learning in Mathematical Reasoning

本文提出了一种名为 VERIFY-RL 的强化学习框架，通过利用符号微分构建具有数学严谨性的递归分解机制，确保子问题在复杂度、解的包含性和规则推导上均可验证，从而显著提升了语言模型解决复杂数学问题的准确率。

原作者： Kaleem Ullah Qasim, Jiashu Zhang, Hao Li, Muhammad Kafeel Shaheen

发布于 2026-02-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaleem Ullah Qasim, Jiashu Zhang, Hao Li, Muhammad Kafeel Shaheen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 VERIFY-RL 的新技术，旨在让 AI（大语言模型）在做数学题时变得更聪明、更严谨。

为了让你轻松理解，我们可以把 AI 想象成一个正在准备“数学奥赛”的学生。

1. 现状：一个“靠直觉”的学习方法

现在的 AI 在学习复杂数学题时，通常采用一种叫“课程学习”的方法：先做简单的题，再做难的题。

但问题在于，目前的 AI 在“拆解题目”时非常随性。比如遇到一道超级复杂的微积分大题，AI 会尝试把它拆成几个小题。但它拆得并不科学，有时候拆出来的“小题”可能比原题还难，或者拆出来的题目跟原题根本没关系。

打个比方：
这就像一个学生在学做“满汉全席”。他想把这道大菜拆解成小菜来学，结果他把“红烧肉”拆成了“生猪肉”和“调料”，或者把“清蒸鱼”拆成了“一碗米饭”。这种**“乱拆”**的学习方式会产生大量的“垃圾信息”，让学生越学越糊涂，甚至学到错误的逻辑。

2. 核心创新：VERIFY-RL —— 一个“自带标准答案”的教练

研究人员不再让 AI “瞎拆”题目，而是给它请了一位极其严厉、且完全按数学规则办事的**“金牌教练”**。

这个教练要求，所有的题目拆解必须同时满足三个**“硬指标”**（这就是论文里的 V1, V2, V3）：

指标一：必须真的变简单了 (V1 - 易学性)
拆出来的子题目，难度必须比原题低。
比喻： 你不能把“切西瓜”拆解成“如何搬动一个巨大的西瓜”，那只会更难。你得拆成“如何拿刀”和“如何切开皮”。
指标二：必须对解原题有用 (V2 - 有效性)
拆出来的子题目的答案，必须是原题答案的一部分。
比喻： 你在学做“红烧肉”，拆解出的“如何炒糖色”必须是红烧肉的关键步骤，而不是去学“如何煮面条”。
指标三：必须符合数学逻辑 (V3 - 合理性)
拆解的过程必须严格遵守数学公式（比如微积分里的链式法则、乘法法则）。
比喻： 拆解必须像按照“菜谱”操作，而不是凭感觉乱切。

这种方法被称为“通过构造实现验证”：因为拆解过程本身就是严格按照数学公式来的，所以拆出来的每一道题，天生就是合格的。

3. 实验结果：从“学渣”到“学霸”的飞跃

研究人员用这个方法训练了不同规模的 AI 模型，结果非常惊人：

攻克难题的能力翻倍： 在面对最难的数学题时，AI 的准确率从 32% 直接飙升到了 68%！这相当于一个平时只能考 30 分的学生，突然进步到了 68 分。
整体进步显著： 即使是整体表现，也有了 40% 的大幅提升。
学习效率更高： AI 不再浪费时间在那些“没用的、错误的”拆解练习上，而是每一分钟都在做“高质量”的练习。

总结一下

VERIFY-RL 的本质，就是给 AI 的学习过程装上了一个**“数学逻辑过滤器”**。

它不再让 AI 盲目地通过“感觉”去拆解难题，而是强制要求 AI 必须按照**“由易到难、环环相扣、逻辑严密”**的科学路径去学习。这就像是把一个在乱涂乱画的学生，变成了一个严格遵循公式、步步为营的数学家。

这是一篇关于通过**可验证递归分解（Verifiable Recursive Decomposition）**提升大语言模型（LLM）数学推理能力的学术论文。以下是对该论文的详细技术总结：

1. 问题背景与挑战 (Problem)

在利用**课程学习（Curriculum Learning）提升模型数学推理能力时，现有的方法（如 LADDER）通常依赖于让模型自主生成“更简单的子问题”。这种启发式（Heuristic）**方法存在三个核心缺陷：

缺乏有效性保证：生成的子问题可能并不比原问题简单（违反难度递减原则）。
缺乏逻辑关联：子问题的解可能对解决原问题毫无帮助（违反知识传递原则）。
引入训练噪声：由于分解关系可能是伪造或错误的，这些无效样本会干扰强化学习（RL）过程，导致模型学习到错误的推理模式。

2. 核心方法论 (Methodology: VERIFY-RL)

作者提出了一种名为 VERIFY-RL 的框架，其核心思想是利用**符号微分（Symbolic Differentiation）**的数学规则来构建具有“构造性验证”能力的分解体系。

A. 三大验证属性 (Verification Properties)

框架要求每一个“父-子”问题对必须同时满足以下三个可验证的数学条件：

V1: 结构简化 (Easier)：子问题的嵌套深度 $\delta(c)$ 必须严格小于父问题 $\delta(p)$ 。这确保了课程学习的难度梯度是单调递增的。
V2: 解的包含性 (Helpful)：子问题的解 $\sigma(c)$ 必须出现在父问题的解 $\sigma(p)$ 的因子或项中。这确保了解决子问题能为解决父问题提供实质性的知识支撑。
V3: 规则相关性 (Related)：分解必须通过明确的微积分规则（链式法则、乘积法则或求和法则）推导得出。这确保了分解的数学严谨性。

B. 算法流程

递归分解：利用符号计算工具（如 SymPy）根据微积分规则将复杂函数分解为更简单的子树，并自动通过 V1-V3 检查。
课程构建：通过对分解树进行拓扑排序（Topological Sort），按照难度等级（ $D_1$ 到 $D_5$ ）构建从易到难的训练序列。
强化学习优化：采用 GRPO（Group Relative Policy Optimization） 算法。相比传统的 PPO，GRPO 通过组内相对优势归一化，在处理数学推理这种解空间差异大的任务时，提供了更稳定的训练信号。
奖励函数设计：采用基于规则的奖励（Rule-based Reward），主要由**准确性（Accuracy）和格式（Format）**组成，避免了神经奖励模型可能带来的“奖励作弊”问题。

3. 主要贡献 (Key Contributions)

形式化框架：提出了一个具有数学保证的递归分解框架，实现了“通过构造实现验证（Verification by Construction）”。
分解算子：定义了针对链式、乘积和求和规则的分解算子，并证明了它们能保持验证属性。
课程算法：开发了一种保证先修关系（Prerequisite Ordering）的课程构建算法。
实验验证：通过多尺度模型实验，证明了该方法在提升复杂数学问题解决能力方面的显著作用。

4. 实验结果 (Results)

实验在不同规模的模型（0.6B 至 3B 参数）上进行，结果非常显著：

准确率大幅提升：在最难的问题（ $D_5$ 级别）上，准确率实现了翻倍增长。例如，Qwen3-1.5B 模型在 $D_5$ 上的准确率从 32% 提升至 68%（相对提升 112%）。
整体性能：整体准确率平均提升了 40%。
算法对比：在所有算法中，GRPO 的表现优于 PPO 和 DPO，证明了组相对优化在数学推理任务中的优越性。
消融实验结论：
- 课程顺序是最大的贡献项（由易到难比随机顺序提升 9.4 个百分点）。
- 验证属性至关重要：缺少 V1（难度保证）会导致性能下降 17.2 个百分点；缺少 V2（解的帮助性）会导致下降 10.4 个百分点。
- 验证成功率：相比于 LLM 生成分解的 78.4% 成功率，VERIFY-RL 达到了 100% 的验证成功率。

5. 研究意义 (Significance)

该研究为大语言模型的数学推理训练提供了一种**从“启发式学习”转向“形式化验证学习”**的新范式。它证明了：在强化学习中，通过数学规则构建高质量、逻辑严密的课程，比单纯增加数据量或复杂化奖励函数更为有效。 这种通过符号逻辑保证训练数据质量的方法，对于提升模型在科学、工程等严谨领域的推理能力具有重要的指导意义。