🤖 AI

Large Language Models and their Awareness of Mechanics and Spatial Geometry

本文介绍了 MecEng，这是一个全自动基准测试，通过测试 34 个大语言模型根据文本描述生成可用于仿真的多体系统模型的能力，来评估其机械工程意识，研究结果表明，尽管目前的模型在刚体任务上表现出快速进步和高成功率，但在处理复杂的柔性多体系统方面仍然存在困难。

原作者： Johannes Gerstmayr, Sebastian Weyrer, Tobias Möltner, Peter Manzl, Michael Pieber

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Johannes Gerstmayr, Sebastian Weyrer, Tobias Möltner, Peter Manzl, Michael Pieber

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：机器不再仅仅是由工程师利用蓝图和扳手制造，而是由能够阅读句子并理解物理世界运作方式的计算机进行设计。几十年来，计算机在处理语言、翻译文本或编写简单计算机代码方面表现出色。然而，一个新的前沿领域已经出现：人工智能系统能否真正理解物理定律？具体来说，它们能否理解力学——即研究固体物体如何运动、弯曲以及相互作用的学科——以及建造这些物体所需的复杂几何结构？这正是因斯布鲁克大学和奥格斯堡大学的研究人员试图回答的问题。他们想知道，现代人工智能是否可以根据一段关于机器（如起重机或机械臂）的文字描述，将其转化为一个遵循与现实世界物体相同的运动和力学规则的数字化仿真模型。

为了验证这一点，研究团队创建了一个名为 MecEng 的严苛测试，这是一个旨在挑战人工智能处理机械工程任务能力的完全自动化基准测试。研究人员向大语言模型（即许多现代聊天机器人背后的强大人工智能系统）输入了一系列从简单设置到复杂机械的文本描述。这些描述包含了关于质量、尺寸、关节以及不同部件应如何连接的细节。人工智能的任务是编写构建该机器数字模型的特定计算机代码。难点在于，模型必须是完美的。仅仅生成一个粗略的草图或具有视觉吸引力的图像是不够的；它必须生成一个精确的、数学上准确的仿真模型，该模型能够正常运行而不崩溃，并产生正确的物理行为。随后，研究人员将人工智能的工作成果与专家构建的“地面真值”（ground truth）模型进行了对比，检查了从零件形状到其随时间运动方式的一切细节。

结果揭示了一个进步神速但局限性依然存在的图景。当任务涉及简单的刚性机器时——即像摆动的钟摆或连接的连杆那样不会弯曲或拉伸的物体——最优秀的 AI 模型表现得非常出色。最强的商业模型 Claude-Opus-4.8 达到了 91.4% 的成功率，而最好的开源权重模型 qwen3.6:27b 则达到了 82.1%。这表明这些系统已经对基础机械概念产生了强烈的直觉。它们可以正确识别需要哪些部件、如何连接它们，以及如何分配重量和刚度等物理属性。

然而，当研究人员引入柔性概念时，难度急剧上升。在现实世界中，许多机器部件会在压力下发生弯曲、扭转和变形，例如风力涡轮机叶片或柔性机械臂。为了模拟这些部件，人工智能不仅要描述形状，还要生成详细的三维网格——即定义物体体积的微小三角形组成的数字网格——并计算该形状如何振动和运动。在此环节，性能显著下降。虽然顶尖的商业模型大约有 82% 的概率能创建正确的部件，但将这些柔性部件组装成一个完整的、可运行的机器仿真模型的成功率降至约 65%。开源权重模型的表现则更为挣扎，在处理最复杂的组装任务时，该类模型的平均成功率接近 25%，尽管像 gemma4:26b 这样的个体模型表现明显更差，仅为 5%。

研究精准地指出了人工智能容易出错的地方。这通常不是因为缺乏对宏观概念的理解；模型通常知道一台机器应该长什么样。相反，错误往往出现在细微之处。AI 可能会得到正确的部件大致形状，但遗漏了一个特定的倒角，或者分配了错误的材料密度，导致重量计算错误。在某些情况下，AI 生成的模型看起来很正确，但包含了一个细微的几何误差，导致仿真崩溃或产生不符合物理规律的结果。研究人员发现，这些错误并非随机产生的；它们通常源于 AI 未能遵循关于部件排序或定义连接方式的具体指令。

有趣的是，研究人员发现，提示词的方式对结果的影响不如模型自身能力那么重要。改变指令的措辞或要求 AI “一步步思考”问题在某些情况下确实有所帮助，但也显著增加了获取答案所需的时间和计算能力。对于最复杂的任务，这种“思考”过程有时会让 AI 变得更慢，却无法保证获得更好的结果。研究还显示了一个明显的趋势：发布于 2025 年和 2026 年的新型模型表现持续优于旧模型，这表明随着这些系统接受更多数据的训练，理解机械工程的能力正在迅速提升。

尽管取得了令人印象深刻的进展，研究人员得出结论：目前的生成式人工智能尚未准备好取代人类工程师进行复杂的工程设计工作。虽然这些系统可以高可靠性地处理简单机器，但在面对复杂几何结构和柔性系统的物理特性时，仍然容易出现难以察觉的细微错误。这项研究强调，尽管人工智能已经学会了模仿工程语言，但尚未完全内化支配现实世界的物理定律。未来的路径在于改进这些模型以减少那些微小但关键的错误，使它们从合格的助手转变为能够可靠参与设计塑造我们未来之机器的合作伙伴。

技术摘要：大语言模型及其对机械原理与空间几何的感知能力

1. 问题陈述

尽管大语言模型（LLMs）在代码生成和数学推理方面已展现出熟练程度，但其对机械工程意识（特别是对多体系统（MBS）中空间关系、精确几何、物理参数及约束条件的理解能力）仍未得到量化。现有的 3D 几何生成方法（如 NeRFs、Gaussian Splatting）优先考虑视觉美感，而非有限元法（FEM）模拟所需的确定性、水密性（watertight）和参数化约束。此外，目前的基准测试缺乏足够的严谨性，无法区分逻辑语法错误与基础机械推理失败。因此，需要一种能够评估 LLMs 创建模拟就绪型机械模型能力的基准，其范围涵盖从刚体到需要精确 3D 几何生成和模型阶次缩减（model order reduction）的柔性多体系统。

2. 方法论：MecEng 基准测试

作者引入了 MecEng，这是一个全自动化的基准测试，旨在评估 LLMs 根据参数化文本描述创建多体模拟模型的能力。该框架利用了 Exudyn 多体模拟代码和用于几何生成的 Netgen。

2.1 任务结构与难度等级

该基准测试包含 84 个通用任务，分为三个难度等级：

等级 1： 简单的机械模型，涉及质量点和通过弹簧及距离约束连接的单个刚体（例如：单质量振荡器、曲柄滑块机构）。
等级 2： 中等复杂度的刚体系统，具有经典的关节（移动副、转动副、滚动副）和接触力学（例如：牛顿摆、双摆）。
等级 3： 柔性多体系统，分为两个阶段：
- 3a（部件生成）： 生成 3D 几何体并将其转换为四面体有限元网格，包含关节界面和 Hurty–Craig–Bampton 模型阶次缩减。
- 3b（组装）： 将生成的柔性部件组装成完整的 MBS，测试接口连接的正确性。

2.2 生成流水线

该工作流将文本描述转化为功能性的 Python 模拟模型：

上下文生成： LLM 从预定义列表中选择必要的模拟组件（采用检索增强生成 RAG 方法），以确保正确的拓扑结构。
代码生成： LLM 为模拟模型（Exudyn）或部件生成（Netgen/OCCT）生成 Python 代码。
地面真值（Ground Truth）生成： 一个平行的流水线使用相同的随机参数生成专家级的“地面真值”模型。
验证： 通过多阶段评估流水线将 LLM 输出与地面真值进行对比。

2.3 评估指标

该框架采用分层验证过程：

结构验证：
- 组件选择： 检查是否选择了正确的模拟部件。
- 图同构（Graph Isomorphism）： 使用 networkx 验证系统拓扑（关节、连接）和节点注释（质量、惯性、刚度）。
数值验证：
- 求解器成功率： 确认模拟能够运行至结束，且不存在运动学或积分错误。
- 解匹配度： 使用 Frobenius 范数与地面真值比较时间序列输出（物体坐标），容差为 $10^{-5}$ 。
部件特定指标（等级 3）：
- 网格匹配度： 验证生成的网格与地面真值网格之间的逐顶点距离。
- 特征频率匹配度： 通过比较前三个特征频率来验证刚度和质量矩阵。
- 质量与材料匹配度： 验证物理属性。

3. 核心贡献

量化机械工程意识： 本文首次系统地量化了 LLM 在空间几何和多体动力学方面的能力，区分了代码可执行性与概念上的机械正确性。
全自动模拟流水线： 一种新型流水线，能从文本生成精确的 3D 实体几何和有限元网格，绕过了体素幻觉（voxel hallucinations），确保输出是水密且模拟就绪的。
全面的基准测试： 对 32 个开源 和 2 个专有 LLM（Claude-Opus-4.8, GPT-5.2）进行了超过 1,000 个测试用例的评估，包括对参数依赖性（温度、推理、模型大小、发布日期）的严格分析。
差异化错误分析： 该框架将编码错误（语法、组件选择）与机械推理错误（拓扑、物理参数）分离，提供了细粒度的失效模式洞察。

4. 结果

4.1 刚体性能（等级 1 & 2）

专有模型： 最强的专有模型（Claude-Opus-4.8）实现了 91.4% 的总体成功率，GPT-5.2 为 86.0%。
开源模型： 最好的开源模型（qwen3.6:27b）实现了 82.1% 的总体成功率，gemma4:31b 和 qwen3.5:27b 紧随其后。排名前 8 的开源模型平均总体成功率为 73.0%。
性能下降： 在“拓扑匹配”（~~88.6%）与“数值解匹配”（~~77.5%）之间观察到显著下降，这表明虽然 LLMs 捕捉到了通用的机械结构，但它们在精细参数选择（如惯性、载荷）方面经常失败。
时间趋势： 性能与发布日期强相关，2024 年年中及以后的模型表现出明显的改进。开源模型在性能上通常比专有模型滞后 6–12 个月的“延迟”。

4.2 柔性 MBS 性能（等级 3）

难度增加： 柔性任务仍然相当困难。表现最好的专有模型（Claude-Opus-4.8）在柔性 MBS 组装方面的总体成功率为 65.4%。
部件生成瓶颈： 主要的失败点在于生成正确的柔性部件（网格、接口）。对于开源模型，部件生成的平均成功率为 50.7%，而在最终组装阶段降至 24.6%。
具体失败案例： 模型在处理特定几何特征（如轴承座的倒角）以及组装时的正确参考位置偏移（例如“柔性桌子”任务）时表现挣扎。

4.3 超参数的影响

温度（Temperature）： 对于非推理模型，低温度（0.0）通常产生更好的结果。高温度会降低机械任务的性能。
推理（Thinking）： 激活“思考”模式（例如在 GPT-OSS, Gemma 4 中）可以显著减少运动学和惯性方面的错误（降低 3–5 倍），但会大幅增加 Token 数量和推理时间（高达 10 倍）。对于某些模型（如 Qwen），推理反而降低了性能。
提示词设计（Prompt Design）： 流水线对提示词变化表现出中度的不敏感性，这表明其背后的能力源于模型本身而非提示工程。

5. 意义与主张

本文声称 MecEng 代表了评估 LLM 的重要进步，它超越了简单的代码生成，迈向了工程级模型合成。

现状： 结果表明，当前的 LLMs 拥有快速提升但仍易出错的机械工程意识。虽然它们通常可以构建机械系统的“骨架”，但在实现有效模拟所需的精确“血肉”（参数、几何和约束）方面经常失败。
局限性： 作者指出，等级 3 任务的顺序性（即单个部件的错误会导致整个组装失效）既模拟了现实世界的工程约束，也加剧了任务的难度。
未来展望： 本文建议，为了克服当前的错误率，未来可能需要具备自我验证能力（基于模拟输出进行迭代模型改进）的智能体（Agentic）框架。该基准测试作为一个基础工具，用于追踪 AI “机械意识”的演进，强调虽然进展明显，但可靠的自主工程设计仍然是一个挑战。

研究结论认为，虽然 LLMs 正成为机械工程领域的强大工具，但在没有人工监督或迭代修正机制的情况下，它们尚不足以完全胜任自主、无误的模拟模型创建工作。