AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials

本論文は、結晶性材料構造の修正を評価するベンチマーク「AtomWorld」を導入し、Claude Opus 4.6 のようなモデルは基本的なタスクでは良好に機能するものの、複雑な空間推論においてはその成功率が著しく低下することを明らかにし、これらは自律エージェントよりも科学的コパイロットとして適していることを示唆している。

要約

何かを小さな、目に見えないレゴブロックで組み立てるための、巨大で魔法のような取扱説明書を思い浮かべてください。これらのブロックは原子であり、指示は「CIF ファイル」と呼ばれる特別なコードで書かれています。科学者たちは、より強力なバッテリーやより優れた太陽光パネルなどの新しい材料を設計するために、これらのファイルを使用しています。

最近、私たちはコンピュータに新しい超能力を与えました：大規模言語モデル（LLM）です。これらを、人間の言語を読み書きできる非常に賢いロボットだと考えてください。彼らは、「食塩の化学式は何ですか？」や「結晶についての物語を教えてください」といった質問に答えるのが得意です。

しかし、この論文が問う大きな疑問はここにあります：これらの賢いロボットは、実際に頼まれたときに、これらの原子レゴ構造を「構築」し、「修正」できるのでしょうか？

問題：読むことと行うこと

著者たちは、これらのロボットが科学について「語る」ことは得意ですが、原子を物理的に再配置する「行う」仕事についてはテストされていなかったことに気づきました。これは、レシピを完璧に説明できる料理人でも、実際に玉ねぎを刻んだりパンケーキをひっくり返したりするように頼まれると失敗してしまうようなものです。

現実の世界では、科学者たちはしばしば構造に小さく精密な変更を加える必要があります。「この原子をここへ移動させろ」、「この原子のグループを回転させろ」、「これら二つの元素を入れ替えろ」などです。これを行うには、単にテキストを書くこととは非常に異なる、強い三次元空間と幾何学の感覚が必要です。

解決策：AtomWorld（訓練場）

これをテストするために、研究者たちはAtomWorldと呼ばれる遊び場を構築しました。

AtomWorld を、これらの AI ロボットのために特別に設計されたビデオゲームのレベルと考えてください。

• 設定: ゲームはロボットに、出発点となるレゴ構造と、「赤いブロックを右に 90 度回転させよ」といった単純な命令を与えます。
• 目標: ロボットは、修正された新しいレゴ構造を、正しいコード形式で出力しなければなりません。
• ルール: ゲームは厳格な定規でロボットの答えをチェックします。正しいブロックを動かしましたか？角度は正しいですか？新しい構造は安定していますか？

彼らは、「ブロックを追加する」といった単純なものから、「特定の点を中心にブロックのクラスター全体を回転させる」といった非常に難しいものまで、10 種類の基本的な動きを網羅した2,500 の異なるレベル（AtomMotor-2K と呼ばれる）を作成しました。

発見されたこと：「運動機能」のギャップ

彼らが最良の AI モデルでこのテストを実行したところ、結果は良いニュースと悪いニュースの混ざり合いでした：

1. 「簡単な」動き: 新しい原子を追加したり取り除いたりするといった単純なタスクでは、ロボットは驚くほど上手でした。ほとんどの場合、正解していました。
2. 「難しい」動き: 原子のグループを回転させたり、ある原子を別の原子に近づけたりするなど、複雑な空間推論を必要とするタスクでは、ロボットはひどく苦労しました。回転タスクにおける成功率は12% 未満にまで低下しました。
   • 比喩: これは、ロボットに「卓上でこまを回せ」と頼むようなものです。こまが何であるかは知っているかもしれませんが、実際に回そうとすると、テーブルを倒したり、間違った方向に回したりすることがよくあります。
3. サイズは重要だが、すべてではない: より大きく強力な AI モデルは一般的により良い結果を出しましたが、最大のモデルでさえ最も難しい空間タスクでは失敗しました。これは、ロボットを単に「賢くする」（より多くのデータを追加する）だけでは不十分であり、三次元幾何学のための異なる種類の「脳」が必要であることを示唆しています。

結論：パイロットではなく、副操縦士

この論文は、現在、これらの AI モデルは科学発見の主要なパイロットとして準備ができていないと結論付けています。幾何学的な間違いを繰り返し犯すため、複雑な新しい材料を自律的に設計することを信頼することはできません。

しかし、彼らは優れた副操縦士です。彼らは科学者のアイデアの草案作成、単純な誤りのチェック、または作業の退屈な部分の処理を助けることができますが、最終的な 3D 構造は人間の専門家が二重チェックする必要があります。

なぜこれが重要なのか

著者たちは、ロボットを評価するためだけでなく、彼らに練習する場所を与えるために AtomWorld を構築しました。人間が高速道路に出る前に駐車場で運転を練習するように、これらの AI モデルも原子を正しく「動かす」方法を学ぶために、AtomWorld のような場所が必要です。

この論文は、将来の AI が、道具（心算ではなく電卓を使うなど）から学ぶことや、テキストの説明だけでなく 3D 画像を見ることにより、これにおいてより良くなる可能性があると示唆しています。しかし、現時点では、これらのデジタル科学者の「運動機能」はまだ発展途上です。

技術概要

技術概要：AtomWorld 材料構造における大規模言語モデルの空間推論能力を評価するためのベンチマーク

1. 問題提起

大規模言語モデル（LLM）は、知識検索や物性予測における科学研究の可能性を実証してきたが、既存のベンチマークは主に知覚的または知識ベースのタスクに焦点を当てている。これらは、現実世界の科学研究の基盤であるモデリングタスクを大きく無視している。材料科学において、原子構造の構築と操作は、極めて創造的でありながら自動化が不十分なステップである。

結晶学における現在の LLM 応用（例：CrystaLLM、MatterGPT）は、主に単一ステップで完全な結晶構造を生成することに焦点を当てている。しかし、現実的なモデリングは、構造欠陥、界面、または積層ヘテロ構造の作成など、構造変更の連続体を通じての漸進的構築を必要とする。これには、連続的な 3 次元空間において構造化された操作を推論し実行する能力が求められる。本研究が扱う核心的な問いは以下の通りである：LLM は、連続空間において原子構造を変更する操作の系列をどの程度実行できるか？

2. 手法

2.1. AtomWorld ベンチマーク

著者らは、構造変更における LLM の能力を評価するために設計されたベンチマークAtomWorldを導入した。ワークフローは 2 つの段階で構成される：

1. 推論: モデルは、結晶学情報ファイル（CIF）形式の入力結晶構造と自然言語の動作プロンプトを受け取る。モデルは予測された構造表現を生成しなければならない。
2. 評価: 検証パイプラインが出力を処理する：
   • 形式検証: 出力が有効な CIF ブロックであることを確認する。
   • 組成検証: 正しい元素と原子数をチェックする。
   • 構造マッチング: pymatgen の StructureMatcher を通じた対称性を考慮したアライメントを用いて、生成された構造を正解と比較する。すべてのチェックに合格した場合のみ、予測は正しいとみなされる。

指標:

• 成功率: すべての検証ステップを合格したテストケースの割合。
• 平均最大距離（Max Dist）: 構造的に有効な出力に対して、最適アライメント後の最大ペアワイズ原子変位を測定する。これは、それ以外は正しい構造における単一原子の誤差をよりよく捉えるため、RMSD よりも好まれる。

2.2. データセット生成（AtomMotor-2K）

このベンチマークは、Materials Project からサンプリングされた構造のプールから「前 - 動作 - 後」のトリプレットを作成するジェネレーターを利用する。

• 範囲: 主要なテストセットであるAtomMotor-2Kは、2,500 の質問を含む。
• 動作: 4 つのモデリングカテゴリにわたる10 の基本動作を網羅する：
  • 点欠陥とドーピング: 変更、削除、追加、間に挿入、交換。
  • 表面生成: 以下を削除。
  • 構造摂動: 移動、方向へ移動、回転。
  • 超格子作成: 超格子。
• 補助テスト: 特定の能力を分離するために、著者らは以下を設計した：
  • 純粋座標テスト: 生座標を使用した簡略化されたタスクで、本質的な幾何学的難易度を測定する。
  • CIF リテラシーテスト: CIF-Repair（破損ファイルの修復）と CIF-Gen（標準プロトタイプの生成）。
  • 化学能力スコア（CCS）: 正確な構造記述と不正確な構造記述を区別することで、潜在的な化学知識を測定する。
  • StructProp: 特定の物性変化（例：バンドギャップ）を達成するために構造変更を必要とするタスク。

2.3. 実験設定

本研究は、最先端のクローズドモデル（Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro）とオープンソースのベースライン（Qwen-3 シリーズ、Llama-3 70B、Deepseek-V3.2）を含む多様なモデルを評価した。

• ツール拡張エージェント: LLM（Deepseek）がコード生成と RAG を通じて pymatgen を使用し、直接テキストを生成するのではなく動作を実行する予備的なフレームワークがテストされた。
• ファインチューニングなし: すべての評価は、デフォルトの API パラメータを使用したゼロショットモデルで行われた。

3. 主要な結果

3.1. AtomMotor-2K におけるパフォーマンス

• 全体的なパフォーマンス: Claude Opus 4.6 が一般的に最も良好なパフォーマンスを発揮した。
• 難易度層別化: 動作は成功率によって分類された：
  • 易: 変更、削除、交換、追加（高い成功率）。
  • 中: 移動、方向へ移動、間に挿入。
  • 難: 以下を削除、回転（回転の成功率は 12% 未満）。
• 複雑性の影響: 成功率は、モデリングの複雑さが増すにつれて顕著に低下する。複雑な空間関係（回転など）を伴う操作は、特に低い成功率を示す。
• 超格子の異常: 「超格子」タスクは高い変動（4% から 98% の成功率）を示した。これは、同時に「易しい」（大規模な反復）でありながら「困難」（長いコンテキスト出力を必要とする）であるためである。
• スケーリング: より大きなモデルは一般的に高い成功率と小さな変位を達成した。しかし、アーキテクチャ設計やトレーニング戦略（例：Qwen3-32B が Llama3-70B を上回る）は、パラメータ数と同様に重要であることが判明した。

3.2. 診断的洞察

• 空間推論: LLM は、直感的な空間視覚化ではなく、明示的な線形代数と段階的な算術を通じて構造タスクにアプローチする傾向がある。非線形な依存関係や座標操作に苦労する。
• 純粋座標テスト: モデルは単純な追加（移動、方向へ移動）では良好なパフォーマンスを示したが、回転では大幅に失敗し、一貫性のない回転行列の計算を試みることが多かった。
• CIF リテラシー: ほとんどのモデルは CIF 形式において強力な基礎的能力を示した（修復タスクで 90% 以上の成功率）。これは、変更タスクでの失敗が形式の無知によるものではなく、空間推論の限界によるものであることを示唆している。
• ツール拡張エージェント: ツールの導入（pymatgen を用いたコード生成）はパフォーマンスを向上させた（例：Deepseek の回転成功率は 6.8% から 18% に上昇）が、複雑な動作における gains は限定的であった。

3.3. 物性指向タスク（StructProp）

ほとんどの LLM は、特定の物性（バンドギャップ、体積弾性率）を変更するために構造変更を必要とするタスクで 50% 以上の成功率を達成できなかった。モデルは化学的定義に基づいて妥当な戦略を提案できたが、結果を保証するために必要な電子構造の深い理解が欠如していた。

4. 主要な貢献

1. AtomWorld ベンチマーク: 原子構造モデリングにおける LLM の「運動機能」を評価するために特別に設計された、検証可能で定量的な指標を備えた最初のベンチマーク。
2. AtomMotor-2K データセット: 柔軟なパイプラインを通じて生成された、基本的な構造操作を網羅する 2,500 タスクの標準化されたテストセット。
3. 診断フレームワーク: LLM の特定の推論ボトルネックを分解・分析するための補助テスト（純粋座標、CIF リテラシー、CCS）のスイート。
4. 実証的証拠: 現代の LLM は、複雑な空間操作のための完全自律エージェントではなく、材料構造モデリングのためのコパイロットとして現在より適していることを示す体系的な評価。

5. 意義と主張

著者らは、AtomWorld を、強化学習（RL）やエージェント的アプローチを利用する将来の構造認識モデルの開発のための基盤となるプレイグラウンドとして位置づけている。

• 現在の限界: 結果は、LLM が原子構造の直感的な知覚を欠き、空間的依存関係に苦労していることを示唆している。情報としては完全な純粋テキスト表現は、構造モデリングにおいては知覚モダリティと比較して非効率的なインターフェースである可能性がある。
• 将来の方向性: このベンチマークは、以下のためのテストベッドとして機能する：
  • 強化学習: 評価指標をエージェントのトレーニングのための報酬として使用すること。
  • ツール拡張設計: 計算化学ツールの統合を改善すること。
  • マルチモーダルアプローチ: 視覚入力（構造の可視化）がテキストのみの推論の限界を克服できるかを探ること。
  • 拡散モデル: ノイズの逆転を理解する拡散ベースの LLM が、有効な構造変更と無効な構造変更を区別する際に本質的に優れているかどうかを調査すること。

この論文は、LLM が複雑で動的なモデリングのための自律的な科学エージェントとして展開される前に、コミュニティはまずこれらの検証可能な構造モデリングタスクを征服し、LLM の能力とより整合性の取れたツールとモダリティを開発しなければならないと結論づけている。