FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

本文介绍了 FEM-Bench，这是一个基于计算力学任务的结构化基准测试，旨在严格评估大语言模型生成科学有效的有限元方法代码的能力，并揭示了即使是目前最先进的模型也难以一致地解决这些非平凡问题。

要点

想象一下，你正试图教一个才华横溢、博学多才的机器人如何成为一名结构工程师。你不仅希望它能写出看起来能运行的代码，你更希望它能真正理解物理定律，比如重力、张力和材料如何弯曲。

这篇论文介绍了一个名为 FEM-Bench 的“期末考试”，专门用于测试大语言模型（LLM）——即 ChatGPT 等工具背后的 AI 大脑——是否具备进行这种严肃科学工程的能力。

以下是使用简单类比对该论文进行的拆解：

1. 问题所在：“计算器” vs. “工程师”

把目前的 AI 模型想象成极其快速的计算器。如果你让它们写一个简单的程序来加法运算或对列表进行排序，它们表现得非常出色。但如果你让它们模拟一座桥梁在重型卡车压过时如何坍塌，它们往往会失败。

为什么？因为构建物理模拟不仅仅是编写代码，它还需要：

• 理解规则： 准确知道力是如何通过梁传递的。
• 连接点滴： 将微小的部分（结构的细小部分）完美地拼接在一起，从而构成完整的图景。
• 检查工作： 编写一个测试来证明模拟过程没有撒谎。

作者们意识到，在这一特定领域，目前还没有标准的“驾驶考试”。现有的测试检查 AI 是否能编写网站或解决数学谜题，但无法检查它是否能构建一个科学有效的物理世界模型。

2. 解决方案：FEM-Bench（“驾驶考试”）

作者创建了 FEM-Bench，这是一个基于研究生一年级计算力学课程的、包含 33 个特定挑战的集合。

• 类比： 想象一场驾驶考试。你不仅仅是要求驾驶员“开车”。你会要求他们进行侧方停车、汇入高速公路以及通过环岛。
• 任务： 在 FEM-Bench 中，“驾驶”包括诸如：
  • 计算 3D 梁在受压时的弯曲情况。
  • 将平滑的连续形状（如弯曲的桥梁）转化为数字化的微小三角形网格（称为“网格划分”）。
  • 求解复杂的方程，以观察结构在压力下是否会发生失稳（坍塌）。

3. 转折点：测试的两个部分

该基准测试不仅要求 AI 编写代码，还要求它完成两件事：

1. 代码： 实际的模拟程序。
2. 测试： 一套“检查规则”（单元测试），AI 必须通过这些规则来证明自己的代码是正确的。

隐喻： 这就像要求一名学生不仅要用冰棒棍搭建一座桥，还要写一份清单来证明这座桥不会倒塌。如果学生造了一座看起来很酷但放上重量就塌了的桥，那他不及格。如果他造了一座能承重的桥，却无法写出测试来证明其正确性，他也同样不及格。

4. 结果：AI 很聪明，但还没到那一步

作者将顶尖的 10 个 AI 模型（包括来自 Google、OpenAI 和 Anthropic 的最新模型）带入这场考试。以下是他们的发现：

• 基础部分： AI 在基础知识方面表现出色。它们可以轻松处理简单的直线问题（如单根木梁）。这就像它们可以完美地完成侧方停车。
• 困难部分： 当问题变得复杂时——例如处理扭转力、曲线形状或预测结构何时发生失稳——AI 开始踉跄。
  • “知识差距”： 有时 AI 仅仅是不知道某种复杂物理现象的具体公式。这就像一个知道如何开车但不知道如何通过环岛的司机。
  • “组装差距”： 有时 AI 知道各个组件，但无法将它们正确地组合在一起。这就像拥有所有的乐高说明书，却把错误的积木拼在了一起。
  • “测试差距”： 即使 AI 写出了完美的模拟程序，它也经常无法编写测试来验证其正确性。编写“清单”比“造桥”本身更难。

评分：

• 最好的模型（Gemini 3 Pro）大约完成了 90% 的简单任务。
• 然而，在最难的任务上（那些需要复杂物理学且没有帮助的任务），没有任何模型能够持续解决。
• 有趣的是，AI 在编写代码方面通常比编写验证代码的测试要好。

5. “小抄”实验

研究人员尝试通过给 AI 提供“小抄”（带有额外指令的系统提示词）来帮助它。

• 结果： 当他们把 AI 缺失的特定复杂公式交给它时，它解决难题的能力突然大幅提升。
• 教训： AI 并不是“笨”，它只是缺乏关于某些物理公式的特定、深度知识。它无法在没有帮助的情况下凭空“发明”一座坍塌桥梁的数学模型，但如果你把公式交给它，它就能完美地运用。

总结

FEM-Bench 是对 AI 在科学领域的一次现实检验。它表明，虽然 AI 在通用编程方面已经变得非常出色，但在处理复杂的物理问题时，要成为一名可靠、独立的工程师仍然困难重重。它可以遵循指令并构建简单的模型，但目前还无法在没有人类帮助的情况下，可靠地通过复杂的、混乱且精确的物理定律进行推理，从而模拟真实世界。

论文结论指出，我们需要这样的基准测试来追踪进展。随着 AI 变得越来越聪明，“驾驶考试”也将需要变得越来越难，以持续衡量真实的进步。

技术摘要

技术摘要：FEM-Bench：用于评估代码生成大语言模型的结构化科学推理基准

问题陈述

随着大语言模型（LLMs）在理解物理世界推理能力方面的进步，一个关键的差距仍然存在：即如何严格评估其生成科学有效物理模型的能力。现有的基准测试侧重于评估通用的编程逻辑、软件工程技能或数学推理，但没有一个专门评估 LLM 执行高级科学计算所需的物理建模、数值离散化和结构化计算推理的能力。在计算力学等领域，一个虽然可以运行但产生不收敛、不稳定或物理上不可能结果的程序是不具备科学价值的。该学科要求严格遵守控制方程、数值一致性和几何变换，然而目前的基准测试未能捕捉到这些特定领域的约束。因此，需要一个能够区分单纯的代码生成与实现基于物理且数值一致的算法的基准测试。

方法论

作者引入了 FEM-Bench，这是一个旨在评估 LLM 生成正确的有限元法（FEM）和矩阵结构分析（MSA）代码能力的诊断性基准。与大规模训练数据集不同，FEM-Bench 是一个精心策划的套件，包含 33 个具有入门级难度但非平凡的任务，这些任务与研究生阶段的计算力学课程相一致。

基准结构

• 任务设计： 每个任务都是一个自包含的 Python 模块，包含一个参考实现、一组 pytest 风格的单元测试以及已知的错误实现（“预期失败”），旨在测试判别能力。
• 领域： 该套件涵盖三个领域：
  • FEM 1D： 基础离散化与线性弹性。
  • FEM 2D： 高阶插值、多维数值积分和几何映射。
  • MSA 3D： 局部单元例程、坐标变换、全局组装以及特征值问题（失稳分析）。
• 分层难度： 任务使用 CC/H/T 标识符进行分类。CC 表示概念挑战（线性与几何非线性），H 是参考实现中辅助函数的数量，T 表示提供给模型的辅助函数层级（T0：未提供；T1：全部提供；T2/T3：部分提供或未提供）。这种设计将领域知识缺陷（无法构建缺失的组件）与组合推理缺陷（无法链接提供的组件）区分开来。
• 评估流程： 该框架评估两种能力：
  1. 函数正确性： 生成的代码在经过策划的验证输入下执行，并使用递归数值匹配与参考输出进行比较。
  2. 测试套件评估： 生成的单元测试必须在参考实现上通过，并在所有提供的“预期失败”实现上失败。主要指标是平均联合成功率。

实验设置

作者在 33 个任务中评估了十个最先进的 LLM（包括 Gemini 3 Pro, GPT-5, Claude Opus 4.5 以及 Qwen3 和 Llama 4 等开源模型）。推理过程采用低温度（0.1）以及在支持情况下的高推理设置。作者还进行了初步研究，使用 GEPA 提示词优化算法来确定性能差距是源于提示词工程还是内在的领域知识缺陷。

关键结果

• 性能天花板： 没有模型成功完成了整个 FEM-Bench 2025 套件。在函数编写方面表现最好的模型 Gemini 3 Pro 在五次尝试中至少有一次成功解决了 30/33 个任务，并能稳定解决 26/33 个任务（5/5）。在单元测试编写方面表现最好的模型 GPT-5 实现了 73.8% 的平均联合成功率。
• 任务难度梯度： 模型能够可靠地复现基础构建模块（例如 1D 线性弹性、基础网格生成），但在任务引入几何非线性或需要超越直接公式应用的推理时，表现出明显的挣扎。
  • 未解决任务： 有三个任务即使尝试一次也未能被任何模型解决：MSA_3D_assemble_global_geometric_stiffness_T3、MSA_3D_elastic_critical_load_T3 以及 MSA_3D_local_geometric_stiffness_T0。这些任务要求在没有辅助函数的情况下生成复杂的几何刚度矩阵。
• 错误分析： 失败被归类为三种缺陷：
  1. 领域知识缺陷： 无法回忆特定的力学公式（例如，几何刚度耦合项）。
  2. 组合推理缺陷： 未能正确链接提供的辅助函数。
  3. 算法保真度缺陷： 索引错误、符号约定不匹配或例程不完整。
• 提示词优化： GEPA 优化表明，通用的推理指令（如“仔细思考”）并未提高性能。只有当优化的系统提示词明确注入特定的领域知识（例如，几何刚度矩阵的具体公式）时，才观察到了显著的提升，这证实了主要的瓶型在于缺乏特定的领域知识，而非通用的推理能力。

重要性与主张

本文声称 FEM-Bench 为评估 AI 生成的科学代码建立了结构化基础，超越了简单的语法正确性，转而评估物理有效性和数值一致性。

• 诊断效用： 该基准有效地识别了科学计算中的特定失败模式，区分了能够遵循指令的模型与那些具备必要物理推理能力的模型。
• 当前局限性： 结果表明，尽管最先进的 LLM 越来越能够为结构化数值任务做出贡献，但它们尚不足以在没有外部脚手架或显式领域知识注入的情况下，自主实现或验证涉及几何非线性或复杂特征值问题的先进科学计算工作流。
• 未来方向： 作者认为，未来的 FEM-Bench 版本将纳入日益复杂的任务以追踪进展。他们建议，弥合当前的差距可能需要将 LLM 与外部工具（如符号推理、自动化代码执行和权威检索）相结合，而不是仅仅依赖预训练知识。

这项工作为社区提供了基准，强调了科学代码生成的“最后一英里”需要一种目前的模型在单次、零样本设置下难以实现的精确度和领域特定推理能力。