Learning to Coordinate Symbolic Tools: LLM Agents for Verified Sum-of-Squares Certificates

想象一个计算机非常擅长执行指令，却极不擅长判断该遵循“哪条”指令的世界。这就是当前人工智能的前沿领域，特别是对于大语言模型（LLMs）而言——这些能够写故事、写代码和解谜题的超级智能聊天机器人。虽然这些模型非常擅长预测句子中的下一个词，但当问题需要长链条逻辑推理时（例如复杂的数学证明），它们往往会跌跤。为了解决这个问题，科学家们正在教这些 AI 智能体使用“工具”，就像人类数学家拿起计算器、直尺或专门的软件程序一样。核心问题不仅在于 AI 能否使用工具，而在于它能否学会如何协调一整套工具箱，去解决一个单一工具无法攻克的谜题。这就像是拥有锤子的区别在于，你不仅要懂得何时敲击，还要知道何时该拧螺丝，以及在把墙砸坏之前何时该停手。

本文通过一种特定的数学谜题——“平方和”（Sum-of-Squares, SOS）分解，深入探讨了这一挑战。可以把这想象成试图证明一个复杂且混乱的多项式方程始终为正（从不为负）。证明这个问题的“窍门”是将方程重新排列，使其看起来像是一系列完全平方项之和（例如 $x^2 + y^2$），因为平方项始终是正数。然而，寻找这种重排方式的过程就像盲打魔方：有数百万种扭转部件的方式，但只有极少数能导向解法。作者构建了一个特殊的 AI 智能体，它学习使用符号数学工具（SymPy）来即时检查自己的工作。他们不仅针对最终的谜题进行训练，还先让 AI 在一个包含 135 万个更简单、更小的代数问题的大型库中进行了练习。

结果表明，仅仅给 AI 一个工具是不够的；AI 需要具备“代数基础”（algebra-grounded），这意味着它必须在有效使用工具之前，深刻理解工具背后的数学原理。当研究人员测试他们经过充分训练的智能体（即既学好了数学又学会了如何使用工具）时，它成功解决了 78.96% 的复杂谜题。相比之下，一个拥有相同工具但未经过底层数学训练的版本，其解决率仅为 44.73%。更令人印象深刻的是，经过充分训练的智能体在九种不同类型的代数任务中达到了 91.75% 的准确率。这项研究表明，要让 AI 成为真正的解题者，它需要学习该领域的“手艺”，而不只是按下“按钮”的方法。

数学侦探的故事

想象你是一名侦探，正在试图破解一起案件，而嫌疑人是一个巨大且混乱的代数方程。你的任务是证明这个方程始终是“好”的（正数）且绝非“坏”的（负数）。证明这一点的唯一方法是将方程拆解成一堆完美的平方项，就像堆叠起一堆全是正值的砖块一样。如果你能证明这个方程仅仅是一堆这样的砖块，你就破案了。

但问题在于：这个方程是以一种被搅乱、被混淆的方式书写的。为了还原它，你需要一根特殊的“数学魔法棒”（一个名为 SymPy 的计算机程序），它可以瞬间展开、收缩或重组方程的部分内容。问题是，这根魔法棒并不会告诉你该做什么；它只会执行你要求的任何操作。如果你要求它展开错误的部位，你可能会让局面变得更糟。你必须决定在哪一部分进行扭转，何时停止，以及如何将碎片重新组合在一起。

加州理工学院（Caltech）和 OpenAI 的研究人员想要看看是否能教会一个 AI 成为这样的侦探。他们不仅给了 AI 一根魔法棒，还建立了一个训练营。他们创建了 135 万个练习题。首先，AI 练习简单的任务，如排序字母、对相似项进行分组以及对数字进行因式分解。然后，他们教它如何在模拟环境中通过魔法棒进行操作，展示出当你要求魔法棒做某事时会发生什么。最后，他们让 AI 使用真实的魔法棒来尝试解决那些大型的“平方和”谜题。

重大发现：训练胜过工具

实验对比了四个不同版本的 AI 侦探：

1. 菜鸟（基础版/Base）： 一个从未见过训练营且没有魔法棒的 AI。
2. 学生（微调版/SFT）： 一个学习过训练营内容但在测试期间没有魔法棒的 AI。
3. 工具使用者（基础+工具/Base+Tools）： 一个突然拿到魔法棒但并未经过学习的“菜鸟”。
4. 大师（全能版/Full）： 一个既学习过训练营又拥有魔法棒的“学生”。

实验结果显示，“大师”版本取得了压倒性胜利。在面对复杂谜题时：

• 带着魔法棒的菜鸟仅解决了约 44.73% 的问题。
• 大师（既懂数学又拥有魔法棒）解决了 78.96% 的问题。

这证明了一个至关重要的观点：仅仅把强大的工具交给聪明的 AI 是不够的。AI 需要理解工具背后的逻辑。这就像给一位顶级大厨配上一台高科技烤箱；如果他们不懂烹饪，烤箱也帮不上忙。但如果他们掌握了食谱，烤箱会让他们变得无懈可击。

研究还检查了这种高强度的数学训练是否会让 AI 在其他方面（如通用数学问题）表现变差。事实并非如此。经过训练的“大师”在通用数学测试中的表现甚至略有提升，得分高达 96.29%，这表明学习如何协调工具并没有破坏它的其他技能。

AI 学到了什么（以及没学到什么）

论文对自己的主张非常谨慎。它并没有声称 AI 现在已经成为了可以解决世界上任何数学问题的天才。所使用的谜题是合成的（由计算机生成）且规模相对较小，仅涉及一个到三个变量。AI 并没有“发现”新的数学知识；它学会了如何协调现有工具来寻找特定类型的证明。

然而，这项研究驳斥了一个常见的假设，即你可以直接给模型套上一个工具接口并期望它奏效。那个“工具使用者”版本（Base+Tools）的表现甚至比没有工具但学习过数学的“学生”版本（SFT）还要差。这表明，如果没有深厚的代数理解，工具反而会干扰 AI，导致它做出错误的决策。

研究人员还指出，AI 有时会在三个特定方面失败：过早放弃、构建了一个看起来正确但在结构上错误的方案，或者构建了一个结构正确但与原方程不匹配的方案。他们系统中的“精确验证器”（exact verifier）捕捉到了所有这些错误，确保只有完美的解法才会被计入。

总结

这篇论文为构建更聪明的 AI 智能体提供了蓝图。它表明，AI 在数学和科学领域的未来不仅仅在于更大的模型或更华丽的工具，而在于协调能力。通过在 AI 的基础技能（如代数）上进行训练，并教它如何使用工具来验证自己的工作，我们可以创造出更加可靠的智能体。“大师”级 AI 不仅仅是在猜测；它在计划、执行、检查并纠正，就像人类专家一样。虽然这项研究局限于受控的数学环境，但它为我们未来如何教导 AI 去应对更难的现实世界问题指明了道路。