🤖 AI

ImProver 2: Iteratively Self-Improving LMs for Neurosymbolic Proof Optimization

本文介绍了 ImProver 2，这是一个神经符号框架，它将数据高效的专家迭代与结构脚手架系统相结合，使小型语言模型能够有效优化 Lean 4 中的复杂形式化证明，在显著超越更大规模模型的同时，将证明优化确立为一项可扩展、可学习的任务。

原作者： Riyaz Ahuja, Tate Rowney, Jeremy Avigad, Sean Welleck

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Riyaz Ahuja, Tate Rowney, Jeremy Avigad, Sean Welleck

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一个庞大且不断增长的数学证明图书馆。这些不仅仅是故事；它们是经过计算机严格检查的刚性蓝图，用于证明事物的真实性。最近，计算机（特别是人工智能）开始帮助人类编写这些证明，导致图书馆的规模急剧膨胀。

但问题随之而来：图书馆变得杂乱无章。有些证明虽然正确，但写法令人困惑；有些过于冗长；还有些依赖庞大的其他规则列表，使得它们难以维护。这就像拥有一栋房子，其中的管道虽然能工作，但管线纠缠不清，墙壁涂着冲突的颜色，而且你甚至需要背着一背包的额外工具才能打开一盏灯。

ImProver 2 登场了。

将 ImProver 2 想象成一位超级有条理、能自我完善的图书管理员，它不仅仅是把书上架，还会重写书籍以使其更优秀。它的工作是接收一个正确的证明，并将其重写得更短、更简洁或更具模块化，同时不破坏数学逻辑。

以下是它的工作原理，借助一些简单的类比：

1. “熟能生巧”循环（迭代式自我完善）

通常，要教会计算机执行某项任务，你需要向它展示成千上万个由人类编写的示例。但在证明优化领域，高质量的示例非常稀缺。

ImProver 2 通过自我教学来解决这个问题。

草稿阶段：它接收一个证明，并尝试以多种不同的方式重写它（就像一位作家为同一个故事构思 10 种不同的结局）。
评分阶段：它检查哪些重写版本在数学上仍然正确。然后，根据我们的目标对它们进行评分：它更短了吗？它使用的引用更少了吗？它是否被分解为更清晰的步骤？
学习阶段：它将“获胜”的重写版本与“失败”的版本进行比较。它学会了：“哦，当我这样做时，证明变短了且保持正确；当我那样做时，它出错了。”
回放缓冲区：为了防止人工智能遗忘所学内容或陷入糟糕想法的循环，它会建立一个“记忆库”，将旧的优质示例与新示例混合在一起。这确保它能随时间不断进步，而不是仅仅重复同样的错误。

2. “神经符号脚手架”（训练轮）

想象一下，在没有手册或图表的情况下试图修理复杂的引擎。这很难。现在想象你拥有一张图表，它精确地高亮显示你正在工作的部件，用通俗易懂的英语解释该部件的作用，并列出附近所需的工具。

ImProver 2 为每个证明向人工智能提供这种“图表”。这被称为神经符号增强。它提供：

地图：展示证明的当前状态（目前已证明的内容，以及剩余待完成的内容）。
上下文：调取与该特定证明相关的具体定义和规则，因此人工智能无需猜测。
翻译：提供证明试图做什么的“通俗英语”摘要，帮助人工智能在开始编写代码之前理解目标。

这种“脚手架”甚至能让小型、算力较弱的计算机表现得像更大、更智能的计算机一样。

3. 三大目标（指标）

这位图书管理员不仅仅希望证明是“正确”的。它希望针对特定质量进行优化，就像厨师调整食谱一样：

长度（“高尔夫”指标）：就像在高尔夫球中一样，目标是用最少的挥杆次数将球打入洞中。ImProver 2 试图通过移除不必要的步骤来缩短证明。
依赖项（“自包含”指标）：想象一个食谱说“添加邻居家的秘制酱汁”。这就是一种依赖。ImProver 2 试图重写证明，使其不再依赖如此多的外部“邻居酱汁”，从而使它们更易于理解并独立使用。
模块化（“乐高”指标）：杂乱的证明就像一大块粘土。模块化的证明则像一套乐高积木——由小型、独立且可重复使用的部件组成。ImProver 2 试图将大型证明分解为更小的、独立的子证明（例如“拥有 h1"、“拥有 h2"），从而使逻辑更加清晰。

结果：小即是强

最惊人的发现是，ImProver 2 将一个小型人工智能模型（70 亿参数）训练得比那些巨型人工智能模型（有些拥有数千亿参数）更擅长这些任务，而这些巨型模型没有接受这种特殊训练。

这就像将一辆紧凑、高效的跑车进行完美调校，使其在特定比赛中击败一辆拥有更大引擎的庞大重型卡车。当小型模型获得了正确的“脚手架”和正确的“练习循环”后，它学会了比那些巨头更好地重构复杂的数学论证。

总之：ImProver 2 是一个系统，它教导小型人工智能模型成为专业的证明编辑。通过为它们提供清晰的问题地图，并让它们从自己最好的尝试中学习，它可以清理杂乱的数学图书馆，使其更短、更简洁、更易于维护，而这一切都不需要最昂贵、最庞大的超级计算机。

技术摘要：ImProver 2

问题陈述

形式化数学库（例如 Lean 的 Mathlib）的快速扩展带来了双重挑战：这些库的可维护性因异构的证明风格和低模块化而受到威胁，同时，神经定理证明器的训练数据质量也因那些正确但结构次优的证明而下降。现有的自动证明优化方法面临重大障碍，包括异构且启发式定义的目标、高质量优化数据的稀缺，以及大规模模型训练和推理的高昂成本。此外，先前的工作通常依赖通用的闭源模型，或仅关注 token 数量，未能解决模块化、依赖管理等更广泛的结构指标问题。

方法论

作者提出了 ImProver 2，这是一个神经符号框架，旨在通过迭代方式自我提升小型语言模型（SLMs），以优化 Lean 4 中的证明。该系统通过多组件管道运行：

1. 神经符号增强（脚手架）

为了弥合非形式化推理与形式化验证之间的差距，该框架向模型展示了来自 Lean 环境的丰富上下文。这种“脚手架”（ $\Psi$ ）包括：

上下文切片： 目标证明直接引用的相关定义、定理和引理，附带元数据进行序列化。
状态链（CoS）： 每个策略步骤前后目标状态的显式轨迹，作为注释交错插入，以揭示证明的逻辑流程。
自动非形式化： 通过将形式化证明翻译为一系列高层描述，生成的证明步骤的自然语言摘要。

2. 优化指标

该系统针对三个不同的结构目标，定义为可计算函数 $\mu$ ：

长度： 最小化使用的策略数量（证明“高尔夫”）。
依赖： 最小化证明中显式命名的唯一外部引理数量，鼓励自包含的证明。
模块化： 最大化“有效生成的目标”数量（通过 have、calc 等引入的独立子证明），这作为证明分解和可维护性的代理指标。

3. 迭代偏好优化（IRPO）管道

ImProver 2 采用迭代训练循环来引导小型语言模型：

生成： 当前模型 $G_t$ 利用神经符号脚手架，为训练集中的每个定理生成 $n$ 个候选重写。
过滤与回放： 候选项根据正确性（Lean 内核验证）和指标改进情况进行评分。使用回放缓冲区来平衡新生成的数据与历史数据，防止模型崩溃并确保单调改进。过滤掉琐碎或低质量的问题。
偏好对构建： 数据集被划分为“胜者”（编译通过、高改进的证明）和“败者”（失败或低改进的证明）。形成两种类型的偏好对：胜者–胜者（按改进幅度排序）和胜者–败者。
训练： 模型使用**迭代推理偏好优化（IRPO）**进行更新，该方法将直接偏好优化（DPO）损失与胜者证明上的负对数似然（NLL）损失相结合。此过程重复进行，直到收敛或预算耗尽。

主要贡献

用于重构的自我提升小型语言模型： 本文证明了迭代偏好优化可以有效地引导小型语言模型（具体为 70 亿参数模型）优化专业研究库中的证明，使其在与显著更大的模型竞争时具有竞争力。
结构优化指标： 除了简单的长度缩减外，作者还引入并评估了模块化和依赖指标。这些指标利用证明结构和库上下文，针对与库可维护性相关的不同重构目标。
神经符号增强： 该框架提取并集成了目标状态轨迹、相关上下文和自动非形式化内容。作者表明，这种增强显著提升了小型模型和前沿模型的性能，促进了有效、高价值重写的发现。

实验结果

该系统在 miniCTX-v2（一个人工编写的高级数学基准）上进行了评估，使用了 70 亿参数的基础模型（DeepSeek-R1-Distill-Qwen-7B）。

性能与规模对比： 在无脚手架的情况下，ImProver 2 在所有三个指标（长度、模块化、依赖）上均优于规模大得多的 DeepSeek-R1 671B 模型。例如，在模块化方面，ImProver 2 实现了 0.143 的平均改进，而 671B 模型仅为 0.055。
与前沿模型的比较： 70 亿参数的 ImProver 2 模型在长度和依赖指标上与中 tier 前沿模型（如 GPT-5-mini）具有竞争力。在模块化方面，它领先于所有评估的无脚手架系统。
脚手架的影响： 添加神经符号脚手架显著提高了所有模型族的表现。例如，70 亿参数模型的长度改进分数从 0.118（基础版）上升至 0.236（脚手架版）。即使是 GPT-5-high 这样的大型模型，在使用脚手架后也获得了显著提升（从 0.660 到 0.875）。
迭代动态： 大部分性能提升发生在前 2–3 次 IRPO 迭代内。该系统表明，小型模型可以有效地学习重构高级研究证明，尽管随着模型吸收常见的重构模式，性能最终会趋于平稳。
准确性权衡： 论文指出优化与编译准确性之间存在权衡。虽然优化后的证明通常能带来更高的指标改进，但其编译率可能略低于保守的重写，这反映了结构转换的更高风险性质。

意义与主张

本文提出，证明优化不仅仅是模型规模的函数，而是显著受到任务特定专业化和迭代自我提升的驱动。通过将带有回放缓冲区的偏好优化管道与神经符号脚手架相结合，ImProver 2 确立了小型、可访问的模型可以有效地重构复杂的研究级证明。

作者声称，他们的工作将证明优化确立为一项可扩展、可学习的任务。他们指出，他们的方法解决了维护形式化库和提高未来证明器训练数据质量的迫切需求，提供了一条自动化证明重构以提升可维护性的途径，而无需完全依赖庞大且昂贵的前沿模型。这项工作强调，通过适当的脚手架和训练，小型模型可以在特定的结构目标上达到甚至超过规模大得多的系统的性能。