FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

本論文は、大規模言語モデルが科学的に妥当な有限要素法コードを生成する能力を厳密に評価するために設計された、計算力学のタスクに基づく構造化ベンチマークであるFEM-Benchを紹介し、最先端のモデルであっても、これらの非自明な問題を一貫して解決することに苦慮していることを明らかにしている。

要約

あなたは、優秀で博識なロボットに構造エンジニアとしての術を教えようとしていると想像してください。単に「動いているように見える」コードを書かせたいのではなく、重力、張力、材料のたわみといった物理法則を真に理解したコードを書かせたいのです。

この論文は、大規模言語モデル（LLM）——ChatGPTのようなツールの背後にあるAIの脳——が、こうした本格的な科学的エンジニアリングを行えるかどうかをテストするために特別に設計された「最終試験」であるFEM-Benchを紹介しています。

以下に、簡単な比喩を用いてこの論文の内容を解説します。

1. 問題点：「計算機」か、それとも「エンジニア」か

現在のAIモデルを、非常に高速な計算機だと考えてください。数字を足したりリストを並べ替えたりする単純なプログラムを書くよう頼めば、彼らは非常に優秀です。しかし、重いトラックが通った時に橋がどのように崩落するかをシミュレーションするように頼むと、彼らは失敗することがよくあります。

なぜでしょうか？ それは、物理シミュレーションを構築することは、単にコードを書くことではないからです。それは以下の理解を必要とします：

• ルールを理解すること： 力が梁（はり）を通じてどのように移動するかを正確に知ること。
• 点をつなぐこと： 構造物の小さなパーツ（パズルのピース）を完璧に組み合わせ、一つの全体像を作り上げること。
• 検証すること： シミュレーションが嘘をついていないことを証明するためのテストを書くこと。

著者たちは、この特定の分野において、AIのための標準的な「運転免許試験」が存在しないことに気づきました。既存のテストは、AIがウェブサイトを作れるか、あるいは数学の謎解きができるかをチェックしますが、物理的な世界の科学的に妥当なモデルを構築できるかどうかはチェックしません。

2. 解決策：FEM-Bench（「運転免許試験」）

著者たちは、計算力学の大学院初年度のコースに基づいた、33個の具体的なチャレンジを集めたFEM-Benchを作成しました。

• 比喩： 運転免許試験を想像してください。単に「運転してください」とは言いませんよね。「縦列駐車をし、高速道路に合流し、ラウンドアバウトを通過してください」と指示します。
• タスク： FEM-Benchにおける「運転」には、以下のようなものが含まれます：
  • 押し込まれた時の3D梁のたわみの計算。
  • 滑らかな連続体（曲がった橋など）を、小さな三角形のデジタル格子（「メッシュ」と呼ばれます）に変換すること。
  • 構造物が圧力によって座屈（崩壊）するかどうかを判断するための複雑な方程式の解決。

3. ひねり：二部構成のテスト

このベンチマークは、AIに単にコードを書かせるだけではありません。AIに二つのすることを求めます。

1. コード： 実際のシミュレーションプログラム。
2. テスト： 自身のコードが正しく動作することを証明するための「チェックアップ」ルール（ユニットテスト）。

メタファー： これは、学生に割り箸で作った橋を作るだけでなく、その橋が崩れないことを証明するためのチェックリストも書かせるようなものです。もし学生が、見た目は立派だが重みを置くと崩れてしまう橋を作ったなら、不合格です。もし橋は完成したが、それが正しいことを証明するためのテストを書けなかったとしても、不合格となります。

4. 結果：AIは賢いが、まだそこまで到達していない

著者たちは、トップ10のAIモデル（Google、OpenAI、Anthropicによる最新のものを含む）をこの試験にかけました。判明したことは以下の通りです：

• 簡単なこと： AIは基礎については非常に優れています。単純な直線的な問題（一本の木の梁など）は簡単に扱えます。これは、彼らが完璧に縦列駐車ができるようなものです。
• 難しいこと： 問題が複雑になると（ねじれる力、曲がった形状、あるいは構造物がいつ座屈するかを予測するなど）、AIはつまずき始めます。
  • 「知識のギャップ」： 時には、AIが複雑な物理現象に関する特定の公式を知らないことがあります。それは、車の運転方法は知っているが、ラウンドアバウトのルールを知らないドライバーのようなものです。
  • 「組み立てのギャップ」： 時には、パーツは知っているものの、それらを正しく組み合わせられないことがあります。それは、レゴの組み立て説明書はすべて持っているのに、ブロックを間違った方向にカチッとはめてしまうようなものです。
  • 「テストのギャップ」： たとえAIが完璧なシミュレーションを書いても、それが正しいことを証明するためのテストを書くことに失敗することがよくありました。「チェックリスト」を書くことは、「橋」を作るよりも困難でした。

スコア：

• 最良のモデル（Gemini 1.5 Pro）は、単純なタスクの約**90%**を正解しました。
• しかし、最も難しいタスク（助けなしで複雑な物理学を扱うもの）においては、どのモデルも一貫して解くことはできませんでした。
• 興味深いことに、AIはコードを書くことよりも、そのコードを検証するためのテストを書くことの方が苦手である傾向がありました。

5. 「カンニングペーパー」実験

研究者たちは、特定の「カンニングペーパー」（追加の指示を含むシステムプロンプト）を与えることで、AIを助けられるかどうかを試しました。

• 結果： AIに不足していた特定の複雑な公式を与えると、AIは突然、難しい問題を解く能力が大幅に向上しました。
• 教訓： AIは「愚か」なのではありません。ただ、特定の深い知識が欠けているだけなのです。AIは、崩落する橋の数学をその場で「発明」することはできませんが、公式を手渡されれば、それを完璧に使いこなすことができます。

まとめ

FEM-Benchは、科学におけるAIへの「現実認識」です。これは、AIが一般的なコーディングには非常に長けてきている一方で、複雑な物理的問題に対して、人間の助けなしに自律的かつ信頼できるエンジニアとして機能するには、まだ苦戦していることを示しています。AIは指示に従い、単純なモデルを構築することはできますが、現実世界をシミュレートするために必要な、深く、混沌としており、かつ精密な物理法則を論理的に思考することは、まだ十分にできていないのです。

論文は、このようなベンチマークが進化の軌跡を追うために必要であると結論づけています。AIが賢くなるにつれ、真の進歩を測定するための「運転免許試験」もまた、より難しくなっていく必要があるのです。

技術概要

技術要約: FEM-Bench: コード生成LLMを評価するための構造化された科学的推論ベンチマーク

問題提起

大規模言語モデル（LLM）が物理世界に関する推論能力を進展させるにつれ、物理的に妥当な物理モデルを生成する能力を厳密に評価するための決定的なギャップが残されている。既存のベンチマークは、一般的なプログラミング論理、ソフトウェアエンジニアリングのスキル、または数学的推論を評価しているが、高度な科学計算に必要とされる物理モデリング、数値離散化、および構造化された計算推論を行うLLMの能力を具体的に評価するものは存在しない。計算力学の分野において、プログラムが実行可能であっても、収束しない、不安定な、あるいは物理的に不可能な結果を生むプログラムには科学的価値はない。この分野には、支配方程式、数値的一貫性、および幾何学的変換への厳格な遵守が求められるが、現在のベンチマークはこれらのドメイン固有の制約を捉えることができていない。単なるコード生成と、物理に基づいた数値的一貫性のあるアルゴリズムの実装とを区別できるベンチマークが必要である。

手法

著者らは、FEM（有限要素法）およびMSA（行列構造解析）のコードを生成する能力を評価するために設計された診断用ベンチマークであるFEM-Benchを導入する。大規模な学習データセットとは異なり、FEM-Benchは、計算力学の初級大学院課程に沿った、導入的ではあるが非自明な33のタスクで構成された精選されたスイートである。

ベンチマークの構造

• タスク設計: 各タスクは、リファレンス実装、一連のpytest形式のユニットテスト、および識別能力をテストするために設計された既知の誤った実装（「期待される失敗」）を備えた、自己完結型のPythonモジュールである。
• ドメイン: スイートは以下の3つのドメインにわたる：
  • FEM 1D: 基本的な離散化と線形弾性。
  2. FEM 2D: 高次補間、多次元求積、および幾何学的マッピング。
  3. MSA 3D: ローカル要素ルーチン、座標変換、グローバルアセンブリ、および固有値問題（座屈解析）。
• 階層化された難易度: タスクはCC/H/T識別子を用いて分類される。CCは概念的挑戦（線形対幾何学的非線形）、Hはリファレンス内のヘルパー関数の数、Tはモデルに提供されるヘルパー関数のティアを示す（T0：提供なし、T1：すべて提供、T2/T3：部分的またはなし）。この設計により、ドメイン知識の欠如（欠落したコンポーネントを構築できないこと）と、構成的推論の欠如（提供されたコンポーネントを連鎖できないこと）を分離して抽出する。
• 評価パイプライン: 本フレームワークは、以下の2つの能力を評価する：
  1. 関数の正当性: 生成されたコードは、精選された検証入力に対して実行され、再帰的な数値マッチングを用いてリファレンスの出力と比較される。
  2. テストスイート評価: 生成されたユニットテストは、リファレンスの実装上でパスし、かつ提供されたすべての「期待される失敗」の実装上で失敗しなければならない。主要な指標は**平均結合成功率（Average Joint Success Rate）**である。

実験設定

著者らは、10種類の最先端LLM（Gemini 3 Pro、GPT-5、Claude Opus 4.5、およびQwen3やLlama 4のようなオープンウェイトモデルを含む）を、33のタスクにわたって評価した。推論は低温度（0.1）および、サポートされている場合は高推論設定で行われた。また、性能の差がプロンプトエンジニアリングによるものか、それとも固有のドメイン知識の欠如によるものかを判断するために、GEPAプロンプト最適化アルゴリズムを用いた予備研究を行った。

主要な結果

• パフォーマンスの天井: いかなるモデルも、FEM-Bench 2025スイート全体を完全に完了することはできなかった。関数作成において最も優れたモデルであるGemini 3 Proは、5回の試行のうち30/33のタスクを少なくとも一度は解決し、26/33のタスクを一貫して（5/5回）解決した。ユニットテスト作成において最も優れたモデルであるGPT-5は、**73.8%**の平均結合成功率を達成した。
• タスクの難易度勾配: モデルは基礎的な構成要素（例：1D線形弾性、基本的なメッシュ生成）を確実に再現したが、タスクが幾何学的非線形性を導入したり、直接的な公式の適用を超えた推論を必要としたりすると、著しく苦戦した。
  • 未解決タスク: どのモデルによっても一度も解決されなかったタスクが3つ存在する：MSA_3D_assemble_global_geometric_stiffness_T3、MSA_3D_elastic_critical_load_T3、およびMSA_3D_local_geometric_stiffness_T0。これらのタスクは、ヘルパー関数なしで複雑な幾何学的剛性行列を生成することを要求する。
• エラー分析: 失敗は以下の3つの欠陥に分類された：
  1. ドメイン知識の欠如: 特定の力学公式（例：幾何学的剛性の結合項）を想起できないこと。
  2. 構成的推論の欠如: 提供されたヘルパー関数を正しく連鎖できないこと。
  3. アルゴリズムの忠実度の欠如: インデックスのエラー、符号の定義の不一致、または不完全なルーチン。
• プロンプト最適化: GEPA最適化により、一般的な推論指示（例：「注意深く考える」）は性能を向上させないことが明らかになった。大幅な改善は、最適化されたシステムプロンプトが特定のドメイン知識（例：幾何学的剛性行列の正確な定式化）を明示的に注入した場合にのみ観察された。これは、主要なボトルネックが一般的な推論能力ではなく、特定のドメイン知識の欠如であることを裏付けている。

意義と主張

本論文は、FEM-Benchが、単なる構文の正しさの評価を超えて、物理的妥当性と数値的一貫性を評価する、構造化された基盤を確立したと主張している。

• 診断的有用性: このベンチマークは、科学計算における特定の失敗モードを効果的に特定し、指示に従うことができるモデルと、必要な物理的推論能力を持つモデルを区別する。
• 現在の限界: 結果は、最先端のLLMが構造化された数値タスクに貢献できるようになりつつある一方で、外部のスキャフォールディング（足場）や明示的なドメイン知識の注入なしには、幾何学的非線形性や複雑な固有値問題を含む高度な科学計算ワークフローを自律的に実装または検証する準備がまだ整っていないことを示している。
• 今後の方向性: 著者らは、将来のFEM-Benchの反復において、進捗を追跡するためにますます洗練されたタスクを取り入れることを想定している。彼らは、このギャップを埋めるには、事前学習された知識のみに頼るのではなく、記号的推論、自動コード実行、および権威ある検索のための外部ツールとLLMを統合する必要があると考えている。

本研究は、コミュニティに対するベースラインとして機能し、「ラストワンマイル」の科学コード生成には、現在のモデルがシングルパスのゼロショット設定で達成することが困難な、レベルの高い精度とドメイン固有の推論が必要であることを浮き彫りにしている。