PhysicsBench: A Unified Leaderboard for Generative and Predictive Models in Engineering Design and Simulation
PhysicsBench 引入了一个统一的排行榜和标准化的评估框架，该框架通过使用真实的、小规模的数据集和去偏置指标，对 66 个生成式与预测式 AI 模型在七项工程设计任务中的表现进行了排名，揭示了学术性能并不能可靠地预测在实际且受限数据场景下的成功。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
几十年来，工程师们一直依赖复杂的计算机模拟来设计从喷气发动机到汽车车架的一切事物。这些程序充当虚拟风洞或压力测试器，计算一个形状在空气压力或重载等现实世界力量作用下的表现。虽然这些模拟极其精确，但速度缓慢且成本高昂，通常需要强大的超级计算机和数天的处理时间才能完成单次设计。为了提高效率，研究人员最近转向了人工智能，通过训练计算机模型来瞬间预测这些物理结果，甚至发明符合特定性能目标的全新形状。然而，该领域已变得拥挤不堪，出现了数百种不同的 AI 模型，每种模型都声称自己是最好的，却是在使用不同的规则和数据集进行孤立评估的情况下进行的。这使得工程师几乎无法知道在面对特定任务时该信任哪种工具，尤其是在他们只有有限的现实世界数据点时。
一项新研究引入了一个名为 PhysicsBench 的统一测试场，旨在通过让数十个此类人工智能模型接受相同且严格的标准试验来平息这些争论。研究人员在七项截然不同的工程任务中评估了 66 个不同的模型，范围涵盖了从预测简单梁的强度到生成复杂的 3D 汽车车身。至关重要的是，他们并没有在学术研究中常用的海量、无限的数据集上测试这些模型。相反，他们在现实条件下进行了测试，即数据稀缺的情况，模拟了实际工业界面临的有限预算。研究揭示了一个令人惊讶的事实：没有一个单一的“最佳”模型适用于所有工作。事实上，表现最好的模型会随着可用数据的变化而改变。一个在喂入数千个示例时表现卓越的模型，在仅给于少量示例时可能会彻底失败；而一个更简单、更小的模型往往在数据有限时表现出色。
研究人员构建这一评估系统是为了模仿工程设计的混乱现实，即一个模型不仅必须准确，还必须符合物理规律。计算机可能会预测出一个平均误差很低的应力场，但如果它弄错了力的方向，或者将峰值应力放置在物理上不可能的位置，那么这个设计就是毫无用处的。为了捕捉这些失效情况，该研究引入了衡量“工程有效性”的新方法，检查预测的形状是否结构稳固，以及物理场是否符合现实世界的定律。他们还开发了一种独特的排名方法，将所有这些不同因素综合权衡，而不是依赖单一评分。这种方法确保了一个模型之所以排名靠前，不是因为它速度快或仅仅擅长某种特定类型的误差，而是因为它在各个方面都能提供可靠、可用的结果。
研究结果挑战了“更大、更复杂的人工智能模型总是更优越”这一普遍假设。在许多情况下，那些在学术竞赛中脱颖而出的先进模型，在面对少量数据时会崩溃或表现不佳。相反，更简单、更紧凑的模型在这些数据匮乏的环境中往往能胜过它们庞大的对手。例如，在生成 3D 形状的任务中，一种被称为流式生成器（flow-based generator）的特定模型即使在样本极少的情况下也表现稳健，而流行的扩散模型（diffusion model）直到获得更大的数据集后才表现好转。同样，在预测物理力量时，当训练数据仅限于几十次模拟时，较小的神经网络往往能击败较大的预训练网络。研究表明，一个 AI 在学术界的声誉是其在现实世界中表现的弱预测指标，因为在现实中，数据往往难以获得。
这项研究为需要为特定项目选择合适工具的工程师和设计师提供了实践指南。研究建议，与其追求最著名或最复杂的模型，不如根据可用数据集的大小和具体任务来做出最佳选择。研究人员发现，随着数据量的增长，竞争的“赢家”也会随之改变：一个在拥有 20 个示例时领先的模型，可能会在拥有 200 个示例时被另一个模型超越。这意味着“单一、通用的最先进模型”这一概念是一个神话。研究结论指出，工程设计的未来在于将合适的模型与合适的“数据预算”相匹配，并使用标准化的透明系统来验证性能。通过从自我宣称转向开放、可重复的测试，PhysicsBench 为选择那些不仅在数学上令人印象深刻，而且对于建造未来的机器和结构真正有用的 AI 工具奠定了基础。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。