AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials

本文介绍了 AtomWorld，这是一个用于评估大语言模型在晶体材料结构修改方面能力的基准测试，该测试揭示出尽管像 Claude Opus 4.6 这样的模型在基础任务上表现良好，但其在复杂空间推理任务中的成功率显著下降，表明它们更适合作为科学副驾驶而非自主智能体。

要点

想象你拥有一本巨大的、神奇的说明书，用于用微小且看不见的乐高积木搭建各种事物。这些积木就是原子，而说明书则用一种名为"CIF 文件”的特殊代码编写。科学家们利用这些文件来设计新材料，例如更强大的电池或更高效的太阳能电池板。

最近，我们赋予了计算机一项新的超能力：大型语言模型（LLMs）。可以将它们想象成极其聪明的机器人，能够阅读和书写人类语言。它们非常擅长回答诸如“食盐的化学式是什么？”或“讲一个关于晶体的故事”之类的问题。

但本文提出了一个关键问题：这些聪明的机器人在被要求时，是否真的能够构建和修改这些原子乐高结构？

问题：阅读与执行

作者们意识到，虽然这些机器人在谈论科学方面表现出色，但尚未在执行原子重排的实际工作方面接受过测试。这就像拥有一位能完美描述食谱的厨师，但当被要求实际切洋葱或翻煎饼时却失败了。

在现实世界中，科学家经常需要对结构进行微小而精确的修改：“将原子移到这里”、“旋转这组原子”或“交换这两个元素”。完成这些操作需要强烈的三维空间和几何感，这与仅仅撰写文本截然不同。

解决方案：AtomWorld（训练场）

为了测试这一点，研究人员构建了一个名为AtomWorld的游乐场。

可以将 AtomWorld 想象成专为这些 AI 机器人设计的游戏关卡。

• 设置：游戏向机器人提供一个起始乐高结构和一个简单指令，例如“将红色积木向右旋转 90 度”。
• 目标：机器人必须以正确的代码格式输出新的、修改后的乐高结构。
• 规则：游戏会用一把严格的尺子检查机器人的答案。它是否移动了正确的积木？角度是否正确？新结构是否稳定？

他们创建了2,500 个不同的关卡（称为 AtomMotor-2K），涵盖十种基本操作类型，从简单的（如“添加一个积木”）到非常困难的（如“围绕特定点旋转整个积木集群”）。

发现：“运动技能”差距

当他们让最佳 AI 模型通过这项测试时，结果喜忧参半：

1. “简单”操作：对于添加或移除新原子等简单任务，机器人的表现令人惊讶地好。它们大多数时候都能做对。
2. “困难”操作：当任务需要复杂的空间推理时——例如旋转一组原子或将一个原子移近另一个原子——机器人的表现严重挣扎。在旋转任务中，它们的成功率降至12% 以下。
   • 类比：这就像要求机器人“在桌子上旋转陀螺”。它可能知道陀螺是什么，但当它尝试实际旋转时，往往会把桌子弄翻，或者朝错误的方向旋转。
3. 规模很重要（但并非全部）：更大、更强大的 AI 模型通常表现更好，但即使是最大的模型在最困难的空间任务上仍然失败。这表明仅仅让机器人变得更“聪明”（增加更多数据）是不够的；它需要一个不同类型的“大脑”来处理三维几何。

结论：副驾驶，而非机长

该论文得出结论，目前这些 AI 模型尚未准备好成为科学发现的主要机长。由于它们不断犯下几何错误，因此不能信任它们自主设计复杂的新型材料。

然而，它们是优秀的副驾驶。它们可以帮助科学家起草想法、检查简单错误，或处理工作中枯燥的部分，但人类专家需要对最终的三维结构进行复核。

为何这很重要

作者构建 AtomWorld 不仅是为了给机器人评分，更是为了给它们提供一个练习的场所。正如人类通过在停车场练习驾驶来学习开车，然后才驶上高速公路一样，这些 AI 模型需要一个像 AtomWorld 这样的地方来学习如何正确地“移动”原子。

该论文指出，未来的 AI 可能会通过向工具学习（例如使用计算器而不是心算数学）或通过观察三维图像而不仅仅是阅读文本描述来在这方面变得更好。但目前，这些数字科学家的“运动技能”仍处于完善过程中。

技术摘要

技术摘要：AtomWorld：评估大语言模型在材料结构上空间推理能力的基准

1. 问题陈述

尽管大语言模型（LLMs）在知识检索和属性预测等科学研究领域已展现出潜力，但现有的基准测试主要集中于感知或基于知识的任务。它们在很大程度上忽视了建模任务，而这类任务对于现实世界的科学研究至关重要。在材料科学中，构建和操作原子结构是一个极具创造性但自动化程度极低的步骤。

当前晶体学中的 LLM 应用（例如 CrystaLLM、MatterGPT）主要集中在单步生成完整的晶体结构上。然而，现实的建模通常需要通过一系列结构修改（例如创建缺陷晶体、界面或堆叠异质结构）进行增量构建。这需要模型具备在连续三维空间中对结构化操作进行推理并执行的能力。本研究解决的核心问题是：大语言模型在连续空间中执行修改原子结构的操作序列的能力究竟如何？

2. 方法论

2.1. AtomWorld 基准

作者引入了AtomWorld，这是一个旨在评估 LLM 在结构修改方面能力的基准。工作流程包含两个阶段：

1. 推理：模型接收输入晶体结构（晶体学信息文件，CIF 格式）和自然语言操作提示。它必须生成预测的结构表示。
2. 评估：验证流程处理输出：
   • 格式验证：确保输出是有效的 CIF 块。
   • 成分验证：检查元素和原子数量是否正确。
   • 结构匹配：使用基于对称性的对齐（通过 pymatgen 中的 StructureMatcher）将生成的结构与真实值进行比较。仅当所有检查均通过时，预测才被视为正确。

指标：

• 成功率：通过所有验证步骤的测试用例百分比。
• 平均最大距离（Max Dist）：对于结构有效的输出，该指标衡量在最佳对齐后原子对的最大位移。这比均方根偏差（RMSD）更受青睐，因为它能更好地捕捉原本正确的结构中的单原子误差。

2.2. 数据集生成（AtomMotor-2K）

该基准利用生成器从结构池（采样自 Materials Project）中创建“操作前 - 操作 - 操作后”三元组。

• 范围：主要测试集 AtomMotor-2K 包含 2,500 个问题。
• 操作：涵盖四个建模类别中的 10 种基本操作：
  • 点缺陷与掺杂：change（改变）、remove（移除）、add（添加）、insert between（插入之间）、swap（交换）。
  • 表面生成：delete below（删除下方）。
  • 结构扰动：move（移动）、move towards（移向）、rotate around（绕...旋转）。
  • 超胞创建：super cell（超胞）。
• 辅助测试：为了隔离特定能力，作者设计了：
  • 纯坐标测试：使用原始坐标的简化任务，以衡量固有的几何难度。
  • CIF 读写能力测试：CIF-Repair（修复损坏的文件）和 CIF-Gen（生成标准原型）。
  • 化学能力评分（CCS）：通过区分准确与不准确的结构描述来衡量潜在的化学知识。
  • StructProp：需要修改结构以实现特定属性变化（例如带隙）的任务。

2.3. 实验设置

本研究评估了多种模型，包括前沿闭源模型（Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro）和开源基线模型（Qwen-3 系列、Llama-3 70B、Deepseek-V3.2）。

• 工具增强代理：测试了一个初步框架，其中 LLM（Deepseek）通过代码生成和 RAG 使用 pymatgen 来执行操作，而不是直接生成文本。
• 无微调：所有评估均在零样本模型上使用默认 API 参数进行。

3. 关键结果

3.1. AtomMotor-2K 上的表现

• 整体表现：Claude Opus 4.6 总体表现最佳。
• 难度分层：操作按成功率分类：
  • 简单：change、remove、swap、add（高成功率）。
  • 中等：move、move towards、insert between。
  • 困难：delete below、rotate around（旋转的成功率低于 12%）。
• 复杂性影响：随着建模复杂度的增加，成功率显著下降。涉及复杂空间关系（如旋转）的操作显示出特别低的成功率。
• 超胞异常：“超胞”任务显示出高方差（成功率从 4% 到 98% 不等），因为它同时具有“简单”（大规模重复）和“困难”（需要长上下文输出）的特性。
• 扩展性：较大的模型通常实现了更高的成功率和更小的位移。然而，架构设计和训练策略（例如 Qwen3-32B 优于 Llama3-70B）被发现与参数量同样重要。

3.2. 诊断洞察

• 空间推理：LLMs 主要通过显式的线性代数和逐步算术而非直观的空间可视化来处理结构任务。它们在非线性依赖和坐标操纵方面存在困难。
• 纯坐标测试：模型在简单的加法操作（move、move towards）上表现良好，但在 rotate around 上严重失败，通常试图不一致地计算旋转矩阵。
• CIF 读写能力：大多数模型在 CIF 格式方面表现出强大的基础能力（修复任务成功率超过 90%），这表明修改任务的失败并非源于格式无知，而是空间推理能力的局限。
• 工具增强代理：引入工具（使用 pymatgen 的代码生成）提高了性能（例如，Deepseek 的旋转成功率从 6.8% 上升到 18%），但对于复杂操作，提升有限。

3.3. 面向属性的任务（StructProp）

大多数 LLM 在需要修改结构以改变特定属性（带隙、体积模量）的任务中未能达到 50% 以上的成功率。虽然模型能够基于化学定义提出合理的策略，但它们缺乏保证结果所需的底层电子结构的深刻理解。

4. 主要贡献

1. AtomWorld 基准：首个具有可验证定量指标的基准，专门用于评估 LLM 在原子结构建模中的“运动技能”。
2. AtomMotor-2K 数据集：一个包含 2,500 个任务的标准测试集，涵盖基本结构操作，通过灵活流程生成。
3. 诊断框架：一套辅助测试（纯坐标、CIF 读写能力、CCS），用于分解和分析 LLM 的具体推理瓶颈。
4. 实证证据：系统性评估表明，当代 LLM 目前更适合作为材料结构建模的副驾驶，而非复杂空间操纵的完全自主代理。

5. 意义与主张

作者将 AtomWorld 定位为开发未来结构感知模型的基础平台，包括那些利用强化学习（RL）和代理方法（agentic approaches）的模型。

• 当前局限性：结果表明，LLMs 缺乏对原子结构的直观感知，并且在空间依赖关系方面存在困难。纯文本表示虽然信息完整，但作为结构建模的接口，与感知模态相比可能效率低下。
• 未来方向：该基准作为以下方面的测试平台：
  • 强化学习：利用评估指标作为训练代理的奖励。
  • 工具增强设计：改进计算化学工具的集成。
  • 多模态方法：探索视觉输入（结构可视化）是否能克服仅基于文本推理的局限性。
  • 扩散模型：研究基于扩散的 LLM（理解噪声反转）是否天生更擅长区分有效与无效的结构修改。

该论文得出结论：在 LLM 能够作为自主科学代理部署以进行复杂、动态的建模之前，社区必须首先攻克这些可验证的结构建模任务，并开发更契合 LLM 能力的工具和模态。