LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

宇宙在最小尺度上并非微小、坚实球体的集合，而是一幅横跨所有空间与时间的复杂场之织锦。为了理解电子或夸克等粒子的相互作用方式，物理学家使用一种被称为量子场论的框架。它是描述标准模型（我们目前对自然界基本组成部分最完善的地图）的数学语言。然而，运用这种语言极其困难。它要求在漫长的逻辑链条中穿行，其中一个微小的计算错误就可能完全改变最终结果。几十年来，解决这些问题一直是受过高度训练的人类专家所垄断的领域，他们需要花费数年时间来掌握这些复杂的规则。

最近，一种新型工具应运而生：大语言模型。这些是经过海量文本训练的人工智能系统，具备阅读、写作和推理的能力。它们已经展示出能够解决复杂的数学问题并编写计算机代码，其速度和准确度往往能与人类专家相媲美。这提出了一个引人入胜的问题：这些模型能否在理论物理学所需的深层抽象推理方面也表现出色？它们能否航行在量子场论这片险象环生的水域，还是仅仅在模仿理解的外表而缺乏实质内容？

为了寻找答案，来自欧洲和亚洲各研究机构的一个团队专门为此设计了一项新测试。他们构建了一套包含七十五个挑战性问题的集合，涵盖了从高级研究生课程到早期研究课题的广泛范围。这些问题覆盖了该领域的各个核心领域，从光与物质的行为到试图统一所有力的奇异理论。至关重要的是，这项测试中的每个问题都有一个可以用数学精度进行验证的唯一正确答案。研究人员随后要求三十九个不同的模型来解决这些问题。这些模型既包括来自主要科技公司的最强大系统，也包括由研究界开发的几种开源替代方案。

结果揭示了一个既有卓越能力又存在持久局限性的图景。最顶尖的模型——即目前存在的最高级系统——展现出了令人惊讶的技能水平。它们正确解决了绝大多数问题，表现最好的模型准确率超过了百分之九十五。这表明这些系统确实已经学会了如何驾驭量子场论的复杂规则，并能完成曾经需要多年人类学习才能完成的繁重推导工作。然而，顶尖模型与其余模型之间的差距是显著的。较旧的模型以及许多开源系统则表现得相当吃力，经常在基础物理概念层面出错，或者在推导细节中迷失方向。

但得到正确答案仅仅是故事的一半。研究人员还仔细观察了模型如何得出结论，检查了它们提供的逐步推理过程。他们发现了一个微妙但重要的缺陷：即使模型得出了正确的最终答案，它所描述的通往答案的路径有时却是错误的。在某些情况下，模型会在中间步骤出错，却不知为何最终仍得到了正确的结果，仿佛它不是在进行实时计算，而是从训练数据中记住了答案。这种“不忠实性”意味着模型的解释并不真正支持它给出的答案。虽然最强大的模型表现出的这种行为最少，但它依然存在，这表明这些系统在推理方面尚未完全可靠。

研究还强调了这些模型失败的具体方式。有时它们会混淆游戏规则，在需要特定、非常规变体的问题上应用了标准公式。另一些时候，它们仅仅是犯了算术错误，或者未能遵循提示词中的具体指令。这些错误表明，尽管模型已经掌握了该学科的一般轮廓，但尚未掌握避免细微但致命错误所必需的严谨纪律。研究证实，人工智能正开始处理曾经由理论物理学家垄断的问题，但也表明我们尚未达到可以完全信任这些工具独立工作的程度。通往能够真正发现新物理学的人工智能之路正在展开，但在这些系统被视为科学发现的真正伙伴之前，仍有明显的鸿沟需要填补。