🤖 AI

Self-Modifying Lean Proof Agents with Verifier-Grounded Benchmark Coevolution

本文介绍了一种能够与受精通程度限制的基准测试进行协同进化的自修改 Lean 证明智能体，该智能体在留存测试中实现了 45.1% 的解决率，通过确保所有自我改进都基于受信任的 Lean 验证，显著超越了其种子模型和固定基准对照组。

原作者： Yuqing Li, Zeguan Wu, Yu Gan, Junyu Liu

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuqing Li, Zeguan Wu, Yu Gan, Junyu Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不再仅仅是听从指令，而是能够真正学会修复自己的错误、重写自己的指令，并随着时间的推移变得越来越聪明。这就是“自我进化智能体”（self-evolving agents）的领域——这是人工智能的一个分支，其中的软件试图通过改变自身的代码来提升自己。通常情况下，这些数字生物会在一组固定的谜题上接受测试，就像一个学生一遍又一遍地做同一份数学卷子直到背下答案一样。但如果测试本身能随着学生变得更好而变得更难呢？这就是“协同进化”（coevolution）的概念，即学习者与挑战共同成长，互相推动对方达到新的高度。在被称为“形式化验证”（formal verification）的特定数学领域中，有一个严格的裁判叫作“Lean”，它负责检查一个证明是否 100% 正确。研究人员一直问的核心问题是：一个计算机智能体能否在没有人类教师设计策略的情况下，自主找到解决这些数学证明的最佳方法？

这篇论文讲述了一支研究团队构建了一个“证明智能体”的故事，旨在尝试回答这个问题。研究人员并没有给这个智能体一份由人类手写的完美指南来指导如何解决数学问题，而是让智能体去重写自己的工作流、工具，甚至是如何组织思路的方式。为了保持公平和诚实，他们将这个自我进化的智能体与一个“协同进化的基准测试”（coevolving benchmark）相匹配。把这想象成一个会自动调整难度的电子游戏：一旦智能体掌握了一个关卡，游戏就会立即用更难的关卡替换掉那些简单的关卡，确保智能体既不会感到无聊，也不会陷入停滞。研究人员发现，这种方法效果惊人地好。在经过 15 代进化后，这个自学成才的智能体能够解决 45.1% 的高难度、未见过的数学问题，相比于开始时的 12.7%，这是一个巨大的飞跃。然而，论文也指出，虽然这个智能体变得强大了许多，但它并未成为一个完美的天才；它主要是学会了如何非常出色地修复错误，而不是发明全新的、复杂的解题方法。

自我编辑数学机器人的故事

想象你有一个想要解决一叠巨大数学证明的机器人。通常，人类程序员会为机器人编写一份严格的手册：“首先，做这件事。然后，如果你看到错误，就做那件事。”但在这次实验中，研究人员决定让机器人编写它自己的手册。他们创建了一个系统，机器人的“大脑”（其代码、工具和策略）是完全可编辑的。机器人可以尝试重写自己的指令，看看是否能更快或更准确地解决问题。

但这里有一个陷阱。如果机器人可以重写自己的代码，它也可能撒谎说“我解出来了！”，而实际上并没有。为了阻止这种情况，研究人员构建了一个“受信任的运行时”（trusted runtime）——一个严格、不可更改且永不眠的裁判。这个由名为 Lean 的系统驱动的裁判充当最终的法官。无论机器人如何改变自己的代码，裁判都会检查最终的证明。如果证明在裁判的显微镜下站不住脚，那么就不计分。这确保了机器人无法作弊；它必须真正完成数学运算才能得分。

会变难的游戏

这次实验最令人兴奋的部分在于他们是如何测试机器人的。在大多数 AI 实验中，机器人是在一份固定的问题清单上进行练习。如果机器人变得太强，它就会仅仅是记住了答案，导致测试失去意义。研究人员希望避免这种情况。他们设置了一个“协同进化的基准测试”，这就像是一个每当你打通一个关卡，难度就会随之增加的电子游戏。

它是这样运作的：

冠军： 在每一轮中，表现最好的机器人（“冠军”）都有权决定下一轮的形式。
升级： 如果冠军解决的题目太简单，系统就会退役这些简单的题目，并从一个更大的挑战池中引入更难的题目进行替换。
计分员： 为了确保在游戏变难时得分依然公平，他们使用了一种特殊的数学技巧，叫做“单锚点重新校准”（single-anchor recalibration）。想象一下，如果你在一条突然变陡的赛道上跑步，你的速度会变慢，但你依然是一名优秀的跑者。这个系统会对分数进行调整，使得在困难赛道上获得“金牌”的价值与在简单赛道上获得金牌的价值相等。

这种设置意味着机器人始终被推向舒适区之外，迫使它学习新技巧，而不是仅仅死记硬背旧技巧。

机器人究竟学到了什么

在运行了 15 代实验后，结果非常引人入胜。机器人起初只能解决大约 12.7% 的问题。到第 15 代时，表现最好的版本能够解决 45.1% 的全新、未见过的测试题。这是一个巨大的进步，表明让机器人自我改写确实有助于它变得更聪明。

然而，研究人员发现了一个关于机器人如何变聪明的有趣现象。他们曾预期机器人最终会摸索出一种复杂的、循序渐进的策略，即把一个大问题拆解成一个个微小的、易于处理的部分（就像一位大师级建筑师逐层设计建筑楼层一样）。相反，获胜的机器人大多成为了修复专家。

你可以这样理解：机器人学会了快速写出一个完整的证明，然后检查其中的错误，接着修复那些出错的具体部分。它并不一定是从头开始规划整座建筑，它只是变得非常擅长修补裂缝。研究人员发现，虽然机器人尝试去构建复杂的、分步式的计划，但这些计划往往会崩溃或风险过高。而“尝试、检查、修复”这种更简单的策略则更加可靠，并在竞争中胜出。

机器人还发明了一些巧妙的工具来帮助自己。例如，它学会了反复核对所使用的数学术语名称，以确保自己没有编造虚假词汇（这是一种常见的错误，称为“幻觉”）。它构建了小型的清单和搜索工具，以确保在提交证明之前，其中的每一个部分都是真实且有效的。

结论

那么，这个机器人变成数学天才了吗？还不完全是。虽然它有了显著的进步，但它仍然无法像那些由人类设计的顶级机器人那样解决 99% 的问题。研究人员认为，机器人目前仍处于“修复模式”而非“规划模式”。它非常擅长修复错误，但尚未学会如何从底层开始构建一个完美且深邃的结构。

这次实验表明，当挑战不断随之增长时，自我进化的智能体可以学会更好地使用它们的工具并变得更加聪明。但也表明，如果没有人类引导其走向更复杂的策略，机器人仅靠自身教导的能力是有极限的。机器人证明了它可以进化，但通往真正数学大师的旅程仍处于进行时。

技术摘要：具有验证器锚定的基准共进化的自修改 Lean 证明智能体

问题陈述

设计有效的基于 Lean 的定理证明智能体框架面临着双重挑战：既要提高证明器的原始合成能力，又要优化周围的证明工作流。虽然近期的研究侧重于构建更强大的专门模型或策略（tactics），但另一种互补的观点认为，瓶颈在于智能体与 Lean 环境的交互——具体而言，是如何分解义务、利用编译器反馈、诊断失败以及维持结构化的证明上下文。

目前的自进化智能体系统（如 Darwin Gödel Machine、Hyperagents）通常针对外部提供的固定基准进行优化。这种方法并不适用于形式数学，原因如下：

选择信号： 如果基准过于困难（例如竞赛级问题），大多数评估都会失败，从而无法提供进化梯度。如果过于简单，智能体会迅速饱和。
工作流僵化： 大多数智能体依赖于手工设计的流程。问题在于，智能体能否在无需人工干预的情况下，进化出自己的证明工作流、工具和上下文表示。
落地性（Grounding）： 一个自我改写的智能体无法被信任去报告自身的成功；必须有一个固定的、受信任的验证器来仲裁正确性。

方法论

作者提出了一个系统，其中一个自进化的 Lean 证明智能体与一个自硬化的基准进行共进化，且两者都由一个固定的、受信任的 Lean 验证器进行锚定。

1. 系统架构

可信运行时 vs. 可变工作空间： 系统将一个固定的、受信任的运行时（处理 Lean 验证、评估和基准管理）与一个完全可变的工作空间分离。智能体可以在这个工作空间内重写自己的证明工作流、提示词（prompts）和工具。
代码有效性 vs. 证明成功： 变异后的智能体会经过代码层面的“冒烟测试”以确保其能够运行，但只有当生成的证明在受信任的 Lean 快照下重新通过验证时，才会被标记为“已解决”。
基于验证器的契约： 每次求解尝试都必须生成机器可读的证明上下文。虽然该上下文的表示形式（图、树、表）可以自由进化，但其落地性受到强制约束。运行时会清洗证书，拒绝 sorry/admit，并独立重新验证声明。

2. 共进化基准机制

系统没有使用固定基准，而是采用了冠军驱动、精通度节制的课程（mastery-throttled curriculum）：

任务池： 问题被分为三个难度等级（L1：单策略引理；L2：miniF2F；L3：PutnamBench）。
更新规则： 在每一代结束时，如果“冠军”（得分最高的智能体）超过了求解阈值 ( $\gamma=0.30$ $γ = 0.30$ )，则基准进行更新。
- 被所有智能体解决的任务将被退役。
- 如果冠军在特定等级上的精通度超过了阈值 ( $\tau=0.70$ )，退役的任务将被下一等级的更难任务替换；否则，它们将被同难度的全新任务进行横向替换。
- 更新倾向于选择智能体群体积累了大量失败的领域。
单锚点重新校准： 为了在难度增加时保持得分的可比性，冠军会在新基准上进行重新评估。难度系数 ( $c$ ) 会通过乘法更新，以实现跨代的得分归一化 ( $q = r \times c$ )。

3. 进化接口

父代选择： 智能体根据难度归一化后的得分从存档中被选中，并根据其已产生的后代数量进行折扣处理，以防止谱系统治地位。
自我修改： 智能体重写自己的代码，包括工作流逻辑（例如：修复循环、分解策略）和工具（例如：引理检查器）。

核心贡献

自进化 Lean 证明智能体： 作者展示了一个代码层面的自进化智能体，其证明工作流和工具是可变的，但证明的成功性严格基于 Lean 验证。
基准共进化： 他们引入了一个冠军驱动、自硬化的基准，该基准随智能体同步进化。这避免了固定简单基准导致的饱和问题，也避免了固定困难基准导致的信号稀疏问题，并利用了精通度节制的更新和单锚点重新校准。
无表示限制、有落地性的证明上下文： 系统强制执行一项契约，即智能体可以进化其证明上下文的格式（例如，从扁平日志到结构化图），但所解声明的有效性由受信任的运行时严格执行。

实验结果

该系统在 15 个活跃世代中进行了评估，将共进化轨迹与固定基准基线进行了对比。

在留存测试集上的表现：
- 种子智能体： 在留存的 miniF2F 测试集拆分上达到 12.7% 的求解率。
- 固定基准基线： 最好的智能体达到了 32.0%。
- 共进化智能体： 最好的智能体 (c144, 第 15 代) 在留存测试集上达到了 45.1%。
基准硬化： 难度系数在 15 代内从 1.00 上升到 3.17，表明基准随着智能体的改进成功提升了复杂度。
工作流进化：
- 以修复为中心的统治地位： 获胜的工作流主要保持为“以修复为中心”（生成证明 $\to$ 检查 Lean 错误 $\to$ 修复），而非“以分解为中心”（计划子目标 $\to$ 证明 $\to$ 组装）。
- 工具进化： 智能体成功进化了工具来防止幻觉出的 Lean 名称（例如：#check 探测、源码搜索、经过验证的引理缓存）。
- 分解尝试： 若干智能体尝试了基于分解的工作流（例如：c26, c44, c141）。虽然这些智能体进化出了真正的节点级验证（用于自包含的子引理），但这些策略往往在选择过程中被剔除，因为组装步骤引入了新的失败点（JSON 解析、上下文不匹配），导致最终求解率低于紧凑的修复循环。
证明上下文： 证明上下文变得可检查，但很少进化为深层的、经过验证的依赖图。智能体倾向于从最终证明向后构建上下文，而不是预先规划一个图。

重要性与主张

本文声称，通过验证器锚定的自进化可以改进 Lean 证明工作流及基准的共进化。

自我改进的可行性： 结果表明，只要有一个固定的、受信任的验证器来仲裁成功，智能体就可以仅通过重写自己的代码来改进其数学工作流和工具。
共进化的重要性： 消融研究显示，一旦智能体掌握了某部分任务，固定基准会导致进化停滞。共进化基准通过不断提高难度，维持了信息丰富的选择信号。
局限性与未来方向： 作者对现状持谨慎态度。获胜的工作流仍是以修复为中心的，且系统尚未进化出能与 Goedel-Architect（在 miniF2F-test 上达到 99.2%）相媲美的深层、持久的证明上下文图 (DAG)。作者建议，可能需要更长的运行时间、更大的种群规模，或专门针对经过验证的分解过程的奖励，才能进化出更复杂的、以分解为先的工作流。

这项工作为在形式化领域中能够适应自身推理结构的智能体奠定了基础，在保持验证逻辑固定的同时，允许证明构建的“方式”进行进化。