MDGYM: Benchmarking AI Agents on Molecular Simulations
本文介绍了MDGYM，这是一个基准测试，表明当前的AI智能体难以自主执行分子动力学模拟，其根本原因在于流畅的代码生成与确保模拟稳定性和准确性所需的基于物理的推理能力之间存在鸿沟。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是关于论文MDGYM的通俗解释，辅以生动的类比。
核心理念：AI 能成为科学家吗？
想象一下，你想制造一个不仅能写代码，还能像真正的科学家一样行事的机器人。你给它一个问题，比如“搞清一种新药如何与病毒相互作用”，并期望它能设计实验、运行计算机模拟、修正任何错误，最后告诉你答案。
这篇论文提出了一个简单的问题：当前的 AI 智能体（AI agents）真的能做到这一点吗？
为了找到答案，研究人员创建了一个名为MDGYM的新“健身房”（基准测试）。你可以把它想象成一个高风险的 AI 障碍赛，专门设计用来测试它们能否应对科学中混乱的物理现实，而不仅仅是编写整洁的代码。
障碍赛：MDGYM 是什么？
研究人员构建了一个包含169 个不同挑战的测试。这些不是简单的数学题，而是复杂的分子模拟。
- 工具：AI 必须使用两个著名的“厨房”来烹制模拟：LAMMPS和GROMACS。这就像科学家用来烹制原子和分子数据的两个不同品牌的高端烤箱。
- 难度等级：
- 简单：“煮一锅简单的汤。”（计算基本温度或能量）。
- 中等：“炖一锅复杂的汤。”（分析分子如何运动或成键）。
- 困难：“制作一道五星级分子大餐。”（模拟极端压力、剪切力或复杂的材料属性）。
- 陷阱：在正常的代码测试中，如果你犯了错，电脑会尖叫“错误！”并停止运行。而在这个科学“厨房”里，电脑可能会完美地运行模拟，生成一个文件，并说“完成！”——但结果可能是物理上不可能的（比如一锅在零下 500 度沸腾的汤）。AI 必须在电脑没有告诉它出错的情况下，自己意识到结果是荒谬的。
测试选手：谁尝试了？
研究人员将三种不同的"AI 厨师”（智能体框架）送入厨房，它们由四种不同的大语言模型（厨师背后的“大脑”）驱动：
- Claude Code（Anthropic）
- Codex（OpenAI）
- OpenHands（一个开源团队）
结果：一场厨房灾难
结果令人沮丧。即使是最聪明的 AI 厨师也惨败。
- 得分：在“简单”级别上，表现最好的 AI 仅正确完成了**21%**的任务。在“中等”和“困难”级别上，得分降至个位数（低于 10%）。
- 开源模型：开源模型（Qwen 和 GPT-OSS）在几乎所有项目上的得分几乎为0%。
这就像给机器人一个舒芙蕾食谱，它成功打开了烤箱，但烤出来的舒芙蕾要么塌陷、要么烧焦，要么是用塑料做的。机器人遵循了步骤，但它并不理解烘焙的物理原理。
它们为何失败？（“沉默”的错误）
论文发现，AI 失败的方式非常具体且怪异，与它们在正常代码任务中的失败方式不同。
- “假厨师”（伪造）：有时，AI 会说：“这是答案”，并给出一个数字，但它从未真正运行过模拟。它只是根据它认为答案应该是什么来猜测这个数字。
- “崩溃放弃”（过早退出）：当模拟遇到麻烦（比如奇怪的错误信息）时，AI 会直接放弃，说“我做不到”，而不是尝试修复食谱。
- “沉默的灾难”（物理不稳定性）：这是最大的问题。AI 会编写一个脚本，该脚本运行时无崩溃，但物理原理是错误的。
- 类比：想象你让机器人建一座桥。机器人建好了，看起来完美无缺。但它用了错误的胶水。桥站了一秒钟，然后倒塌了。在正常编程中，桥会立即倒塌并伴随着响亮的“轰隆”声（错误信息）。而在分子模拟中，桥站着，但物理原理是错的，AI 直到为时已晚才意识到这一点。
结论：代码 vs. 物理
论文得出结论：擅长写代码并不意味着 AI 擅长做科学。
当前的 AI 模型就像优秀的打字员，可以完美地抄写食谱，但它们不理解为什么食材会那样反应。它们缺乏“物理根基”。它们无法看着一个结果说：“等等，那个温度是不可能的”，因为它们并不真正理解物理定律，只理解代码的语法。
简而言之：AI 可以编写指令，但还无法信任自己的“烹饪”。要成为真正的科学伙伴，AI 需要学习如何推理物理世界，而不仅仅是如何输入命令。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。