技術概要：MDGYM：分子シミュレーションにおける AI エージェントのベンチマーク評価

問題提起

自律的な科学発見のビジョンは、AI エージェントが仮説を独立して立案し、実験を設計し、計算ワークフローを実行できるとするものである。しかし、現在のソフトウェア工学におけるベンチマーク（例：SWE-bench）は、主に構文の正しさやスタックトレース、テストスイートを通じた動作検証をテストする。これらのベンチマークは、科学計算における固有の課題を捉えていない。「正しさ」が既知の出力によって定義されるのではなく、物理的な妥当性によって定義される点である。

分子動力学（MD）シミュレーションにおいて、タスクが成功したとみなされるのは、生成された軌道が物理的に整合性のあるシステムを表現している場合に限られる。ソフトウェア工学とは異なり、MD シミュレーションは、力場、アンサンブル、または時間刻みが誤って設定されていても、ランタイムエラーなしに完了することが多い。生成された出力は数値的には生成されるが、物理的には無意味である。この「サイレントフェイル（失敗の沈黙）」モードに加え、多段階の推論（セットアップ、最小化、平衡化、生成、ポスト処理）の必要性と、実行中のグラウンドトゥルース（正解）フィードバックの欠如は、AI エージェントにとって極めて困難なテストベッドを構成する。ここで扱われる中心的な問いは、現在の AI エージェントが、物理的に裏付けられた科学ワークフローを自律的に設計・実行できるかどうかである。

手法

MDGYM ベンチマーク

著者らは、広く使用されている 2 つの MD エンジン（LAMMPS および GROMACS）にまたがる 169 の独立した分子シミュレーションタスクから構成される、専門家によってキュレーションされたベンチマーク「MDGYM」を導入した。データセットは、3 つの難易度レベルに構造化されている。

• レベル 1（易）： ネイティブなシミュレーション出力（温度、圧力、全エネルギーなど）の最小限のポスト処理を必要とする。
• レベル 2（中）： エンジン内での相当量のポスト処理または中間ロジックを必要とする（協調数、回転半径、水素結合の追跡など）。
• レベル 3（難）： 複雑な非平衡セットアップ、多段階実行、または専門的なポスト処理を含む（拡散係数、ヤング率、せん断粘度の曲線フィッティングなど）。

タスクは、生体分子、金属、ポリマー、炭素ナノ材料など、多様な材料と物理状態を網羅している。すべてのタスクはドメイン専門家によって開発・検証され、参照シミュレーションを実行することでグラウンドトゥルース値が得られた。曖昧さの検出に LLM を用い、軌道の物理的リアリズムを VMD/OVITO を使用して人間が視覚的に検査するという厳格な品質管理プロセスが実施された。

評価フレームワーク

ベンチマークは、3 つの拡張可能なレイヤーを持つモジュール型アーキテクチャを採用している。

1. エージェント層： CLI アクセス可能なコーディングエージェントとインターフェースする。
2. オーケストレーション層： タスクプロンプトと実行を管理する。
3. バリデーター層： エージェントの出力をグラウンドトゥルースと比較し、5% の相対許容誤差内で評価する。

評価対象エージェント：

• フレームワーク： OpenHands（オープンソース）、Codex、Claude Code。
• LLM： 4 つのバックボーンがテストされた。これには、プロプライエタリモデル（OpenAI Codex gpt-5.2-codex、Anthropic Claude Code claude-4.6-sonnet）とオープンソースモデル（Qwen3-Coder、GPT-OSS）が含まれる。

指標：

• 完全成功率： 必要なすべての指標が 5% の許容誤差内に収まるタスクの割合。
• 部分評価スコア： 個別の指標が正しく計算された割合。
• 失敗分析： 軌道ログから導き出された失敗モードの分類。構文エラー、捏造された回答、早期終了、物理的に整合性のない設定などが含まれる。

主要な結果

パフォーマンス概要

評価により、テストされたすべてのエージェント間で顕著なパフォーマンスの格差が明らかになった。

• 易タスク： 最も強力なエージェント（Claude Code および Codex）でさえ、完全成功率はわずか 21% にとどまる。OpenHands 経由のオープンソースモデルは著しく劣る（Qwen は 2%、GPT-OSS は 0%）。
• 中/難タスク： パフォーマンスは急激に低下する。Claude Code は中級で 7%、上級で 4% に低下し、Codex は両方で 4% に落ち込む。オープンソースモデルはほぼゼロの成功率に収束する。
• 部分評価： エージェントが個別の指標を正しく計算することはあるが、集計された部分評価スコアは低いままであり、ワークフローの一部が成功しても、エンドツーエンドのパイプラインは失敗していることを示している。

失敗モード分析

軌道分析により、一般的なソフトウェア工学ベンチマークとは異なる明確な失敗パターンが特定された。

1. 3 段階の低下： エージェントは頻繁にシミュレーションを開始する（シミュレーション実行済み）が、有効な回答を生成する（回答生成済み）か、正しい回答を生成する（正解）ことは失敗する。例えば、易タスクにおいて、84〜98% の軌道がシミュレーションを実行したが、回答を生成したのは 33〜37% であり、正解したのは 21% だけだった。
2. 物理的不整合対構文エラー：
   • プロプライエタリエージェント（Claude/Codex）： 失敗は、単純な構文エラーではなく、物理的に整合性のない設定（誤った力場、互換性のないサーモスタットなど）に起因することが多い。シミュレーション機構を正常に呼び出すが、不安定な軌道を生成する。
   • オープンソースエージェント： 捏造された回答（シミュレーションを実行せずに値を報告する）や早期終了（エラーに遭遇するとタスクを放棄する）の割合が高い。
3. パイプラインの脆弱性： エラーはシミュレーションパイプラインを通じて増幅される。エージェントは初期化では成功することが多いが、平衡化や生成段階で失敗する。この段階では、時間刻みや結合定数などの物理パラメータの選択が安定性を決定する。単一の物理的エラーが、その後のすべての結果を無効にする。
4. ポスト処理エラー： シミュレーションが正常に実行された場合でも、エージェントは頻繁に誤った分析手順（拡散係数のための誤った時間ウィンドウなど）を適用し、数値的には妥当だが物理的に誤った結果を導き出す。

意義と主張

本論文は、MDGYM が現在の AI エージェントにおける根本的な欠陥、すなわち流暢なコード生成から物理的に裏付けられた推論への転移の欠如を明らかにする重要な診断ツールとして機能すると主張している。

• ドメイン固有の課題： MDGYM で観察された失敗モードは、ソフトウェア工学におけるものとは質的に異なる。物理的な無効性に対する即時的で解釈可能なエラー信号（スタックトレースなど）の欠如は、エージェントが標準的なデバッグヒューリスティックに依存できないことを意味する。
• 現在のベンチマークの限界： 結果は、一般的なコーディングベンチマーク（SWE-bench、HumanEval）での進歩が、科学計算能力に転換しないことを示唆している。科学シミュレーションの「サイレントフェイル」の性質は、グラウンドトゥルースフィードバックなしにエラーを認識し回復するために、エージェントがドメイン知識を保有することを要求する。
• 将来のエージェントへのロードマップ： 著者らは、エージェントを信頼できる科学パートナーとするために解決されなければならない 3 つの能力ギャップを特定している。
  1. 物理的グラウンディング： 実行前に設定の物理的整合性について推論すること。
  2. ドメインを考慮したエラー回復： シミュレーション固有のエラーメッセージを解釈し、物理的に意味のある修正を立案すること。
  3. 方法論的精度： 特定の物理量に対する正しい分析手順を理解すること。

本論文は、現在のエージェントが構文生成においては有望な兆候を示しているものの、分子動力学におけるエンドツーエンドの科学ワークフローを自律的に実行する能力はまだ欠いていると結論づけている。MDGYM は、この目標に向けた進捗を追跡し、信頼性の高い AI 駆動の科学発見に必要な固有の能力を浮き彫りにするために公開される。