🤖 AI

VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct

VeriEvol 是一个迭代框架，它通过类型感知演化算子实现提示词难度的扩展，并结合多源假设检验证伪来强化答案可靠性，从而将多模态数学推理进行解耦，进而生成高质量的验证数据，显著提升模型在视觉数学基准测试上的性能。

原作者： Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名非常聪明但有些天真的学生，如何利用图片（如图表、图示和图形）来解决复杂的数学问题。

在过去，研究人员试图通过仅仅给这个学生布置更多作业的方式来让他变得更聪明。他们会生成成千上上万个新问题。但有一个陷阱：他们往往只是让问题变得更长或稍微更难，而没有实际检查答案是否正确。这就像是一个老师发了一份卷子，但答案解析里却全是错误。如果学生学习了错误的答案，他们不仅不会进步，反而会退步。

VeriEvol 是一个改变了我们创建作业方式的新系统。它关注的不是“更多”的问题，而是“更好”的问题和“经过验证”的答案。作者称之为“可验证的进化指令”（Verifiable Evol-Instruct）框架。

它是如何运作的，我们可以将其分解为以下简单的步骤：

1. “进化”健身房（让问题变得更难）

想象一下你有一个简单的练习：“观察这张三角形的图片，告诉我它有多少条边。”这对一个聪明的学生来说太简单了。

VeriEvol 有一个特别的教练（进化模块），它会观察图片和问题，然后将作业改写得难得多，但仍然需要观察图片才能完成。

隐喻： 教练不再只是问“有多少条边？”，而是将其改写为：“如果你把这个三角形切成两半并旋转它，它的面积与一个周长相同的正方形相比会如何变化？”
诀窍： 教练足够聪明，知道这是“哪种类型”的图片。如果是一张图表，它就会制作一个基于图表的问题；如果是一个几何图形，它就会制作一个几何问题。它不会只是向学生抛出随机的词汇；它会构建一个特定的挑战，迫使学生必须通过观察图像来解决问题。

2. “怀疑论者”侦探（检查答案）

这是最重要的一部分。通常，当计算机生成一个答案时，我们就假设它是正确的。VeriEvol 说：“没门。让我们试着先证明它是错的。”

他们建立了一个名为 HTV-Agent 的侦探系统。

隐喻： 想象一个法庭。计算机生成一个答案（“假设”）。HTV-Agent 是一组怀疑论律师组成的团队，他们的唯一职责就是寻找证据证明该答案是错误的。
他们如何对抗：
- 他们使用不同的“证人”（不同的 AI 解题器）来查看它们是否达成一致。
- 他们使用“计算器”（代码执行）来检查数学运算。
- 他们使用“眼睛”（视觉工具）来检查答案中的数字是否与图像中的像素相匹配。
判决： 如果侦探们能找到任何证明答案错误的证据，这份作业就会被扔进垃圾桶。只有当侦探们竭尽全力试图拆穿它却失败了，这个答案才会被接受。只有到那时，它才成为一个“经过验证”的答案。

3. 结果：一本超可靠的教科书

该系统将这两个步骤循环进行：

获取一个简单的问题。
将其进化为一个基于图像的困难挑战。
生成一个答案。
将其发送给“怀疑论侦探”。
如果侦探们无法拆穿它，就保留它；如果拆穿了，就扔掉并重新尝试。

其结果是一个拥有超过 25 万个数学问题的庞大库，其中每一个答案都经过了压力测试和验证。

当他们使用它时发生了什么？

研究人员在一名“学生”AI（一个 70 亿参数的模型）身上测试了它。

没有使用 VeriEvol 时： 这个学生表现尚可，但经常会被图片搞混，或者根据文本模式进行猜测。
使用 VeriEvol 时： 学生变得明显更聪明了。
- 当他们仅仅使用“进化后的”问题（没有使用严格的验证器）时，学生有所进步。
- 当他们加入“怀疑论侦探”以确保答案完美无误时，学生的进步幅度更大。
- 规模效应： 他们展示了随着他们添加更多这些经过验证的问题（从 1 万个到 25 万个），这个学生会持续变得更聪明，这证明了数据的质量比数量更重要。

为什么这很重要（用简单的语言来说）

大多数 AI 研究都在试图让“老师”（AI 优化器）变得更聪明。VeriEvol 则说：“让我们先修好教科书。”

通过将“让问题变难”的过程与“检查答案是否正确”的过程分开，他们创建了一个数据本身是值得信赖的系统。他们不仅仅是培养了一个更好的学生，而是创建了一个更好的课程体系。他们甚至发布了所有的“侦探报告”（他们如何验证每个答案的痕迹），以便其他研究人员可以审计他们的工作，确保没有人在这份作业上作弊。

简而言之： VeriEvol 是一个能够自动编写基于图片的更难数学题，并使用一支数字侦探团队来确保在 AI 学习之前，每个答案都 100% 正确的系统。

技术摘要：VeriEvol

问题陈述

在视觉数学推理领域，扩展强化学习（RL）面临一个关键瓶颈：随着数据量的增加，奖励标签（reward labels）的可靠性往往会下降。现有方法通常通过信任自动化标注器来扩展监督，或假设底层答案是正确的，未能解决强化学习中标签噪声产生的复合效应。在视觉推理中，模型必须将变量与图表对齐并执行多步推理，未经验证的标签可能会系统性地强化错误的策略。此外，仅仅生成更难的问题往往会导致生成的提示词只是变得更长，或者可以通过文本先验来解决，缺乏真正的、基于图像的难度。核心挑战在于构建一个既能同时扩展提示词难度，又能确保答案可靠性，且不将这两个过程与策略优化器耦合的数据流水线。

方法论：VeriEvol 框架

VeriEvol 是一个迭代框架，它在任何策略更新之前，将提示词难度与答案可靠性进行解耦。它通过两个可扩展的组件，将低难度的图像-问题种子转化为经过验证的高质量训练样本：

1. 类型感知提示词演化 (Type-Aware Prompt Evolution)

VeriEvol 并非应用统一的演化模板，而是将种子路由进入一个代表问题族、答案类型、推荐工具和视觉证据草图的结构化标签元组 $z = (t, y, u, c)$ 。

特定路由算子： 对于每个路由，特定的演化算子会将种子问题 $q$ 重写为更难、且具有图像对齐性的提示词 $q'$ 。这些算子被约束为放大特定的推理技能，保持必要的视觉证据，并避免仅靠文本即可解决的问题。
问题级门控： 生成的提示词需通过一个独立的门控 $\phi_q$ ，检查其图像对齐性、视觉一致性、非平凡的难度提升以及去重情况。这确保了图像对于解题是必要的。

2. HTV-Agent（假设-测试验证器）

该组件将候选答案视为可证伪的假设，而非地面真值（ground truth）。它采用一种“寻求反驳”的策略，跨越四个阶段：

假设生成： 三个独立的求解器分支（具有不同的温度系数）生成候选答案和推理轨迹。
寻求反驳的验证： 验证器通过以下方式主动寻找反证：
- 程序化通道： 将约束转化为在受限解释器中执行的 Python 断言。
- 视觉通道： 使用 OCR、局部裁剪和像素级探测，以验证所引用的数量和符号是否在图像中有据可查。
冲突解决： 决策器评估求解器假设与验证器报告之间的关系。它评估的是反对意见的逻辑合理性，而非盲目信任验证器。如果验证器提供了充足的证据来反驳求解器，则修正答案；如果证据不一致，则拒绝该样本。
确定性接受门控： 只有当答案通过所有结合性检查时，最终门控 $g(\hat{a}, m)$ 才会接受该答案：包括模式合规性、视觉支持、验证器批准、可执行断言以及求解器集群共识。

3. 数据物化 (Data Materialization)

VeriEvol-SFT： 存储完整的推理轨迹和证据，用于监督微调。
VeriEvol-RL： 存储提示词、验证后的答案以及验证元数据。推理轨迹被移除，以迫使策略在展开（rollout）过程中自行生成。元数据包含一个确定性的奖励检查器（例如，精确匹配、符号等价），与现有的 GRPO 式 RL 配方兼容。

核心贡献

可扩展的多模态 Evol-Instruct 框架： 一个将低难度种子转化为更难、且具有图像对齐性的提示词的流水线。实验表明，将 SFT 数据从 10K 扩展到 250K 样本时，平均准确率提升了 +19.31。在 RL 阶段，将验证后的数据从 10K 扩展到 130K，带来了平滑的 +4.60 增益，且设计本身比未演化的基线贡献了 +3.88（分解为来自演化提示词的 +1.82 和来自验证器的 +2.06）。
HTV-Agent： 一个模块化的、采用“智能体即评判”模式的假设-测试智能体，它通过独立的求解器、多源反证（程序化和视觉）以及决策器来筛选答案。它允许在不重新设计策略优化器的情况下，添加新的验证器通道。
可追溯的开源发布： 作者发布了提示词、数据、模型以及每个样本的完整验证器轨迹（包括求解器假设、反证报告、工具输出和门控结果）。这使得下游工作能够审计构建决策，而不仅仅是检查最终输出。

实验结果

使用 Qwen2.5-VL-7B 作为骨干网络，在五个基准测试集（MathVista, MathVision, MathVerse-VO, DynaMath, We-Math）上进行了评估：

性能： VeriEvol 实现了 59.12 的平均准确率，在五个基准测试中的三个上领先于强力的外部 7B 基线。具体而言，它在 MathVerse-VO（70.46 对比次优的 63.80）和 We-Math-Strict（63.05 对比 53.81）上处于领先地位。
扩展行为：
- SFT 扩展： 平均准确率从 35.42 (10K) 单调上升至 54.73 (250K)。
- RL 扩展： 验证后的 RL 数据从 54.52 (10K) 单调上升至 59.12 (130K)，没有任何基准测试在数据量增加时出现性能下降。
组件分析：
- 演化： 演化后的提示词本身为 RL 基线增加了 +1.82。训练动态显示，演化后的提示词能维持更高的策略熵并获得更高的最终奖励，防止过早收敛到低熵模式。
- 验证： HTV-Agent 增加了 +2.06。关于验证器作为推理时评判员的消融研究表明，多求解器自一致性有利于视觉丰富的任务，而程序化执行有利于计算密集型任务，证实了证据通道之间的互补性。
错误分析： 对 60 个样本进行的初步审计显示，错误分布发生了变化。视觉对齐（VG）和纯文本捷径（TS）错误显著减少（从残余错误的 57% 降至 38%），而系统的剩余错误转向了由于 7B 骨干能力限制而导致的推理链和符号/算术局限性。

重要性与主张

本文认为，扩展视觉推理需要将数据构建视为一个可验证的问题，而非策略侧的优化问题。通过将提示词演化与答案验证解耦，VeriEvol 确保了随着数据量的增长，奖励信号保持可靠。

正交性： 该框架与策略侧的创新（如 GRPO 变体、奖励塑造）是正交的，允许未来的优化器直接构建在 VeriEvol-RL 数据之上。
可组合性： 验证器的模块化特性允许添加针对性的反证通道（例如，新的工具或证据类型），以解决特定的失效模式，而无需重新设计训练循环。
透明度： 通过发布完整的验证器轨迹，作者旨在将下游研究的重心从检查输出转向审计构建过程本身，从而实现更稳健的多模态推理系统构建与验证。

作者承认存在局限性，包括对种子池覆盖率的依赖、求解器与验证器之间可能存在的共同盲点，以及由于验证要求更严格，导致 RL 可用子集比 SFT 可用子集更窄。他们强调，观察到的增益是趋势性的体现，而非在单个基准测试的小幅差距上具有统计学意义上的显著差异。