🤖 AI

Efficient Test-Time Optimization for Multi-Agent Proof Autoformalization

本文介绍了 ToMap，这是一个通过将证明分解步骤识别为关键瓶颈，并利用形式化验证和语义细则对其进行迭代优化，从而在 ProofFlowBench 上实现全证明自动形式化准确率与效率显著提升的多智能体框架，旨在优化测试时计算。

原作者： Tian-Shuo Liu, Shiyuan Zhang, Zijie Geng, Haoyu Liu, Runjie Xu, Pengyuan Wang, Lei Yuan, Yang Yu

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Tian-Shuo Liu, Shiyuan Zhang, Zijie Geng, Haoyu Liu, Runjie Xu, Pengyuan Wang, Lei Yuan, Yang Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个聪明但有点心不在焉的机器人如何写出完美的数学证明。你递给它一张写满巧妙想法、逻辑跳跃以及人类能瞬间理解的“显而易见”步骤的凌乱手写笔记。你的目标是什么？是让这个机器人将你那份凌乱的笔记翻译成一种严格的、计算机可检查的语言——Lean，且绝不出错。

这就是**全自动形式化（full-proof autoformalization）**的挑战。但问题在于，这个机器人不仅仅是在翻译文字；它是在尝试像搭积木一样，一步一个脚印地构建一座逻辑摩天大楼。如果第一块砖头歪了，整座塔就会坍塌。

问题所在：“修补一切”的陷阱

过去，研究人员试图通过让机器人尝试、失败、然后再重试来解决这个问题。如果计算机说：“错误！这个证明不对，”机器人就会只是随机生成一种新的写法并重新尝试整个过程。

作者们认为，这就像是通过随机更换轮胎、收音机和座椅来修理一台坏掉的汽车引擎，并寄希望于其中某个部件出了问题。这种方法既昂贵、缓慢，又几乎毫无用处。他们发现，大多数时候，问题并不在轮胎（最终证明）或收音机（翻译）上；问题在于蓝图。

发现： “蓝图”是瓶颈

由南京大学研究人员领导的团队将机器人的工作拆解成了三个专家角色：

分解者（The Decomposer）： 建筑师，负责将宏大且凌乱的证明拆解为微小、易于管理的步骤。
形式化器（The Formalizer）： 翻译官，负责将这些步骤转化为计算机代码。
证明器（The Prover）： 建造者，负责在计算机中实际构建出证明。

他们进行了一系列实验（类似于受控的碰撞测试）来观察哪个专家是薄弱环节。他们发现，如果分解者（建筑师）给出了错误的蓝图，那么其他两个专家无论多么努力也无法挽救局面。即使你给形式化器和证明器无限次修正工作的机会，它们也无法克服一个糟糕的初始计划。

主要发现： 为了获得最佳结果，你不应该浪费时间去修复翻译器或建造者。你应该把所有的精力都花在帮助分解者绘制更好的蓝图上。

解决方案：TOMAP（聪明的建筑师）

于是有了 TOMAP，这是一个像高效教练一样指导分解者的系统。它不再让机器人盲目猜测，而是使用了一个巧妙的“进化”循环：

起草（Drafting）： 分解者为同一个证明创建几种不同的蓝图（分解方案）。
“准则”检查（The "Rubric" Check）： 在机器人甚至开始尝试构建任何东西之前，一个聪明的评委（AI）会查看这些蓝图，并根据三项指标进行评分：
- 忠实度（Faithfulness）： 你是否遵循了原始证明的思想？
- 可证明性（Provability）： 这个步骤是否真的可以被解决？
- Lean 友好度（Lean-friendliness）： 语言是否足够清晰，能让计算机理解？
帕累托前沿（The Pareto Frontier）： 系统保留那些“优中选优”的蓝图——即在所有领域都表现强劲的蓝图——并丢弃弱势蓝图。
进化（Evolution）： 它提取最好的蓝图，对其进行批判，并要求分解者再次尝试，进行微小的改进。
把关人（The Gatekeeper）： 只有当一个蓝图在“准则”上获得了完美评分时，系统才会让形式化器和证明器真正尝试构建它。

把它想象成一场选秀节目。 “准则”就是初步海选。你不会让每一个选手都在主舞台上表演完整的歌曲（这既昂贵又耗时）。你只让那些通过了海选的人上台表演。这节省了大量的时间和计算资源。

结果：更快、更聪明、更准确

当他们在 PROFFLOWBENCH（包含 184 个数学问题）和 miniF2F（244 个问题）基准测试中测试 TOMAP 时，结果令人印象深刻：

与之前的最佳方法相比，在考察代码正确性和对原始证明的忠实度时，TOMAP 将成功率提高了 19.0%。
它实现这一目标的同时，比其他方法使用了更少的时间和更少的计算资源。
有趣的是，最大的提升发生得非常迅速。大部分收益是在短短几次“进化”轮次内实现的，这表明你不需要运行该系统数小时就能获得极佳的结果。

他们没做的事（以及他们没说的事）

了解这篇论文没有声称的内容很重要。

它不是修复错误数学的魔杖： 该系统假设原始的人类证明是正确的。如果人类证明是错误的或不完整的，TOMAP 会忠实地翻译那个错误。它并不修复错误的数学，它只是更好地翻译它。
它目前还不适用于研究级的巨型证明： 测试是针对标准数学问题（如高中竞赛或本科课程）进行的。作者承认，他们尚未在可能需要写上数页的宏大、尖端的研究级证明上进行测试。
它不是一种“训练”奇迹： 不同于那些需要从头训练一个新的、巨大的 AI 模型（这需要花费巨资）的方法，TOMAP 是一种“测试时（test-time）”优化。它利用我们现有的模型，只是在使用方式上更加聪明。

核心结论

这篇论文表明，在 AI 数学证明的世界里，初期的质量控制高于一切。通过将我们有限的计算能力集中在完善初始计划（分解）而非无休止地重试最终构建上，我们可以更快地构建出更好、更可靠的证明。这是一种从“更努力地尝试”到“更好地规划”的转变，而数据证明了这是行之有效的。

技术摘要：面向多智能体证明自动形式化的高效测试时优化

1. 问题陈述

全证明自动形式化（Full-proof autoformalization）旨在将广泛的自然语言数学证明转化为在 Lean 等证明辅助工具中经过形式化验证的推理过程。与侧重于翻译单个定理的语句级形式化不同，全证明自动形式化是一个长程挑战。它需要协调众多证明步骤中的断言、上下文和依赖关系，以构建一个全局可检查的整体。

现有方法面临两个主要局限性：

成本高昂的训练： 许多方法依赖于大规模监督微调，但由于缺乏证明级的配对监督数据，这种方式难以实现。
低效的测试时优化： 现有的推理方法通常在整个流水线中应用过度且缺乏引导的修复或迭代细化。在全证明设置中，验证器反馈（如 Lean 错误）仅在长生成链完成后才到达，很少能揭示是哪个上游决策导致了失败。这使得在有限的测试时计算资源下，难以将其导向有针对性的改进，而非盲目的重试。

2. 方法论：TOMAP 框架

作者引入了 TOMAP（面向多智能体证明自动形式化的测试时优化），该框架将任务构建为一个 分解者-形式化器-证明者（Decomposer-Formalizer-Prover） 流水线。其核心创新在于一种高效的测试时优化策略，能够识别并针对系统的关键瓶颈。

2.1 多智能体流水线

该系统由三个专门的智能体组成：

分解者 ( $D$ )： 将非形式化证明拆分为具有显式依赖关系的原子化、自包含的子命题（证明单元）。
形式化器 ( $F$ )： 将每个自然语言子命题翻译为形式化的 Lean 语句。
证明者 ( $P$ )： 生成用于证明每个形式化目标的策略脚本（tactic scripts）。
验证器 ( $V$ )： 一个外部 Lean 检查器，用于验证组装后的证明文件。

2.2 弱环节分析（Weak-Link Analysis）

在优化之前，作者进行了“弱环节分析”，以确定测试时计算在何处能产生最高的收益回报。通过在保持其他阶段固定的情况下，分别对每个阶段（分解者、形式化器、证明者）进行干预，他们测量了端到端验证成功率的可恢复性。

发现： 分解者 是关键瓶颈。通过修订自然语言证明单元的规范（断言、假设、依赖关系），相比于修订形式化语句（45.1%）或证明脚本（33.7%），能显著提高最终验证成功率（51.1% 准确率）。
启示： 高质量、原子化且自包含的证明单元可以将下游的形式化和证明任务降低为形式化器和证明者能力范围内的局部任务。

2.3 测试时优化策略

TOMAP 将所有的测试时计算集中在优化 分解者 上，将形式化器和证明者视为固定的下游执行器。优化遵循 GEPA 式（反射式提示词演化）循环：

候选池： 为给定输入维护一个候选分解方案池。
准则评分： 不立即调用昂贵的 Lean 验证器，而是由基于 LLM 的“准则评判器（Rubric Judge）”根据三个维度对候选方案进行评分：
- 语义忠实度（Semantic Faithfulness）： 与原始自然语言证明的一致性。
- 可证明性（Provability）： 每个单元是否自包含且逻辑完整。
- Lean 友好度（Lean Friendliness）： 表达的清晰度、假设的显式程度以及避免歧义的情况。
帕累托引导演化（Pareto-Guided Evolution）： 候选方案基于准则评分在帕累托前沿进行评估。一个具有反射能力的 LLM 提议者会选择高性能的候选方案，根据准则反馈对其进行批判，并提出修订后的分解方案。
验证门控（Verification Gating）： 只有满足高质量阈值（通过准则门控）的候选方案才会提交给下游的形式化器-证明器流水线，进行昂贵的、基于真实情况的 Lean 验证。

这种两级设计平衡了用于引导搜索的廉价、密集的代理反馈（准则）与仅保留给极具潜力的候选方案的昂贵、真实的验证。

3. 核心贡献

瓶颈识别： 本文通过弱环节分析提供了经验证据，证明证明分解质量是全证明自动形式化成功的首要决定因素，从而将优化重心从整个流水线转向了分解者接口。
TOMAP 框架： 一种新颖的测试时优化方法，它实现了搜索与验证的解耦。它利用多目标准则反馈和帕累托选择来演化证明分解，显著减少了在搜索阶段对昂贵 Lean 调用次数的依赖。
效率与性能： 该方法无需大规模训练，而是依靠高效的推理时优化，即可达到最先进的性能水平。

4. 实验结果

实验在 PROOFFLOWBENCH（184 个本科水平问题）和 miniF2F（244 个高中水平问题）上进行。

性能： TOMAP 优于基于训练的基线（如 ProofBridge）和无需训练的基线（如 PROOFFFLOW, Monotonic）。
- 在 PROOFFLOWBENCH 上，TOMAP（使用 Gemini3-Pro）比此前最好的方法在联合语法正确性和语义忠实度得分上提升了 19.0%。
- 在 miniF2F 上，它在联合指标上实现了 8.2% 的提升。
语义忠实度： TOMAP 在保持原始证明语义结构方面显著优于单体生成器，避免了其他方法容易产生的生成语义错误但语法正确的 Lean 代码的问题。
成本效率： 虽然 TOMAP 比朴素基线需要更多的测试时计算，但与依赖于对整个流水线进行大量迭代重试的方法相比，它能以更低的总体成本实现更高的成功率。
扩展性分析： 消融研究表明，大部分性能增益发生在分解演化的前几次迭代中，这为选择测试时预算提供了实际指导。

5. 重要性与主张

本文主张，全证明自动形式化从根本上是一个分解质量问题。通过识别出分解者是最具反馈可恢复性的阶段，作者证明了通过将资源集中在细化自然语言证明结构而非反复重试形式化或证明上，可以实现高效的测试时优化。

TOMAP 的意义在于其能够：

通过更忠实地连接非形式化证明与形式化验证，提升可验证数学推理的上限。
提供一种可扩展的、无需训练的复杂微调方法的替代方案。
通过因果分析识别出的“弱环节”，为多智能体系统中分配有限的测试时计算资源提供了一个实用的框架。

作者也指出了局限性，包括仅限于基准测试规模的证明而非长篇研究级数学，以及假设输入的非形式化证明是正确的。他们将错误证明步骤的检测与修复留作未来的工作。