MathAdv: What Theorem Provers Know, Reason, Formalize, and Generalize
本文介绍了 MathAdv，这是一个涵盖 13 个数学领域的全面诊断基准，通过多项辅助任务来评估定理证明器，旨在揭示形式化过程中的关键瓶颈、特定领域的性能差异以及聚合准确率指标往往会掩盖的鲁棒性限制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，数学一直是人工智能的终极测试。它要求的不仅仅是记忆事实或识别模式；它需要一个能够理解抽象概念、遵循逻辑链条并逐步构建结论的思想。多年来，研究人员通过让机器解决以普通语言编写的问题来测试这些机器，仅检查最终答案是否正确。但正确的答案并不保证机器理解了整个过程。计算机可能在从未真正掌握其背后推理逻辑的情况下，就猜中了正确的数字。为了解决这个问题，科学家们转向了形式化定理证明。这是一种要求机器必须使用一种严格的、计算机可读的语言来编写其证明的方法，这种语言充当了数学的通用语法。在这个系统中，每一步都必须经过程序的验证，以确保逻辑严密且结论必然由初始假设推导而出。这排除了侥幸猜对的可能性，迫使机器以一种无法造假的方式展示其解题过程。
一项新的研究引入了一个名为 MathAdv 的综合测试，旨在观察现代人工智能系统在这一严苛环境下的实际表现。研究人员从教科书和专家来源中收集了 321 个数学问题，涵盖了从基础代数、几何到拓扑学和波动研究等高级课题在内的 13 个不同领域。他们不仅要求机器证明这些定理；还设计了一场多层次的考试，以精确诊断机器在何处成功以及在何处失败。除了编写形式化证明这一主要任务外，研究人员还要求模型回答关于哪些数学概念相关的多项选择题，在没有任何计算机代码的情况下用自然语言解决问题，并处理那些被改写得看起来完全不同的同类问题版本。这种方法使团队能够将模型的数学理解能力与其将这种理解转化为计算机程序严格规则的能力区分开来。
结果揭示了一个人工智能远非完美的现状，尽管近期有关其能力增长的新闻层出不穷。最重要的发现是，这些机器面临的最大障碍并非缺乏数学知识，而是将这些知识转化为形式化证明的难度。在许多情况下，模型可以正确识别解决问题的策略，甚至能回答关于底层概念的问题，却无法用计算机语言写出最终的证明。这就像一个学生可以完美地用文章解释物理概念，却写不出证明它的方程。研究发现，虽然一些专门化系统通过训练有所进步，但它们的整体成功率仍然很低，表现最好的模型也仅解决了约 22% 的问题。这表明，理解一个数学概念与构建一个经过验证的证明之间仍然存在着巨大的鸿沟。
研究人员还发现，当问题的呈现方式发生变化时，这些机器表现得异常脆弱。当专家使用不同的措辞或略微不同的结构重写同一个数学挑战时，即使模型曾解决过原始版本，也往往会失败。这表明机器并不是像人们希望的那样通过核心逻辑进行推理；相反，它们似乎是在依赖熟悉的模式和特定的措辞。一旦措辞发生变化，它们寻找解决方案的能力就会崩溃。此外，研究显示，表现因学科而异，差异巨大。模型在数论和线性代数等领域的表现要好得多，这可能是因为它们在训练期间见过更多这些主题的例子，但在拓扑学等领域表现极差，因为这些领域的概念更难形式化，且在训练数据中较少见。
有趣的是，引导机器的方式也会以意想不到的方式产生影响。当研究人员用普通英语向通用人工智能模型提供关于如何处理问题的提示时，它们的表现得到了提升。然而，对于专门为定理证明而训练的模型，同样的提示反而让它们表现变差。这表明专门化系统已经学会了依赖其内部模式来寻找证明，而加入人类风格的解释会干扰它们特定的策略。研究结论指出，尽管人工智能在数学推理方面取得了进展，但在形式化验证这一最后且关键的一步上仍然挣扎。机器通常能看到路径，但在被要求用计算机那严格、不容置疑的语言去行走时，却会踉跄跌倒。这一诊断性基准提供了一个更清晰的局限性图景，表明机器真正的数学推理不仅需要得到正确答案，还需要一种能够经受住问题提问方式的变化以及形式化证明严苛性的、稳健且灵活的理解。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。