📊 statistics

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

本論文は、非標準的な物理法則を備えた 22 の模擬世界を特徴とするインタラクティブなベンチマーク「DiscoverPhysics」を導入し、実験の設計と背後にある法則の推論を通じて最先端の LLM の長期的な科学的推論能力を評価するものであり、最上位のモデルには有望な兆候が見られるものの、潜在的な構造の解明には依然として課題があり、予測精度の高さが概念的な理解を保証するものではないことを明らかにしている。

原著者： Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「DiscoverPhysics」について、平易な言葉、比喩、メタファーを用いて解説したものです。

大きなアイデア：AI は真の科学者になれるか？

想像してみてください。あるスマートな AI を、物理法則が完全に作り上げられたビデオゲームの宇宙に放り込んだとします。重力は遠くに行くほど弱くなるかもしれませんし、目に見えない「ゴースト」粒子が何かを引っ張っているのかもしれません。

この論文の研究者たちは、こう問いかけました：AI は、その架空の宇宙と関わるだけで、その宇宙の法則を解き明かすことができるのでしょうか？

彼らはDiscoverPhysicsというベンチマークを作成しました。これは AI に対する「最終試験」のようなものですが、AI に教科書からの事実を暗唱させる（「ニュートンの第二法則とは何か？」など）のではなく、ゼロから法則を発明させるという点で異なります。

テストの仕組み：「ブラックボックス」ゲーム

AI を探偵、宇宙を謎めいた施錠された部屋だと考えてみてください。

セットアップ: AI はシミュレーションされた世界に放り込まれます。AI は「ソースコード（実際の数学的規則）」を見ることはできません。見えるのは、動き回る粒子だけです。
ツール: AI は「魔法の杖」（N 体シミュレーター）を持っています。「ここからこの速度で粒子を打ち出したい」と言うと、シミュレーターが粒子がどこに着地するかを教えてくれます。
プロセス:
- AI はいくつかの粒子を打ち出し、それらを観察します。
- 仮説を立てます。「もしかして重力は $1/r^2$ のように働くのではないか？」
- その仮説を検証します。粒子が仮説通りに動かない場合、AI は考えを変えなければなりません。
- AI はこれを何回も繰り返し、AI を油断させるようなより賢い実験を設計します。
最終試験: AI は以下の 2 つを提出しなければなりません。
- 物語: その世界がどのように機能しているかを平易な英語で説明したもの。
- コード: 任意の粒子がどこへ行くかを正確に予測できる Python プログラム。

AI の評価方法の 2 つ

研究者たちは、数学的に正解するだけでは不十分だと気づきました。実際の科学では、物事が「どうなるか」を予測するだけでなく、「なぜそうなるか」を理解する必要があるからです。そのため、彼らは AI を以下の 2 つの観点で評価しました。

「水晶玉」スコア（予測精度）: AI のコードは粒子がどこに着地するかを予測できるでしょうか？AI が「ボールはここに来る」と言い、実際にそこに着地すれば、ポイントが与えられます。
「教師」スコア（概念的理解）: 専門家である人間と、教師役の別の AI が、AI が書いた物語を読みます。AI は隠された規則を本当に理解できたでしょうか？
- 例: もしその世界に目に見えない「ダークマター」が何かを引っ張っているのに、AI が単に「重力は通常より強い」と言うだけなら、低いスコアになります。偶然として数学は正解したかもしれませんが、概念を見逃しているからです。

彼らが発見したこと

彼らは、利用可能な最も賢い AI モデル 11 種（OpenAI、Anthropic、オープンソースコミュニティのトップモデルを含む）をテストしました。その結果は以下の通りです。

1. 「最も賢い」AI であっても依然として苦戦している
最高の AI でも、約50%の宇宙をクリアするだけでした。彼らは事実を暗記するのは得意ですが、新しい規則を発見しなければならないとすると、行き詰まってしまいます。

2. 「隠された罠」の問題
AI が最も失敗したのは、宇宙に隠された構造があった場合でした。

比喩: 車がなぜ減速しているのかを解き明かそうとしていると想像してください。エンジンだけを見ていれば、ブレーキが悪いと推測するかもしれません。しかし、道路の下に巨大な磁石（隠されたダークマター）があり、車を引き戻している場合、磁石を探さない限り答えは見つかりません。
AI は、通常の重力のような標準的な規則で動きを説明しようと頑張り続け、「ゴースト粒子」や余剰次元が関与しているとは信じようとしませんでした。

3. 優れた数学＝優れた理解ではない
あるモデル（GPT-5.5）は、粒子がどこに着地するかを予測する能力（誤差が低い）に驚くほど優れていましたが、「なぜか」についての説明はしばしば誤っていました。まるで、答えを丸暗記した生徒が、授業の内容を理解していないようなものです。
別のモデル（Claude Opus）は、数学的な予測が少し完璧さを欠いていても、「時間によって規則が変わっている」などの概念を解き明かす方が得意でした。

4. 「推測」と「実験」のギャップ
研究者たちは、AI が実際に良い実験を設計しているのか、それともただ的を狙ってダーツを投げているだけなのかをテストしました。

誘導モード: AI が粒子をどこに打ち出すかを選択します。
ランダムモード: コンピュータが粒子をランダムに打ち出し、AI はただ観察します。
結果: トップクラスの AI は、自分で実験を選択できた場合、はるかに良い成績を収めました。彼らは適切な質問をすることを学びました。しかし、多くのオープンソースモデルは、どちらのモードでも同様に低い成績でした。これは、彼らが実験について本当に「考えて」いるのではなく、単に推測しているだけであることを示唆しています。

結論

この論文は、AI が物理の問題を解決することに非常に優れてきている一方で、物理を行う方法をまだ学んでいると結論付けています。

現在の AI: 公式を与えられれば数学の問題を解ける天才的な生徒のようですが、いくつかの散らかった観察結果に基づいて公式を考案するよう求められれば、苦労します。
未来: 真の科学パートナーとなるためには、AI は「長期的な推論」の能力を向上させる必要があります。「現在の理論は間違っている。隠された真実を見つけるために、全く異なる種類の実験を試す必要がある」と言えるようになることです。

要するに、AI は未来を予測することはできますが、その謎の背後にある「なぜ」を理解するには、まだ助けが必要です。

技術的概要：DiscoverPhysics

問題提起

最先端の大規模言語モデル（LLM）は、科学的知識の静的ベンチマーク（例：GPQA）や推論タスクにおいて強力な性能を発揮していますが、真の科学的発見を行う能力は未証明のままです。既存の評価は、記憶された事実に依存したり、固定データセット上の記号回帰を行ったり、基礎物理法則が標準的でありパラメータのみがシフトしたインタラクティブタスクに依存する傾向があります。これらのアプローチは、科学的発見の核心である、新たな仮説を生成し、競合する理論を区別するための有益な実験を設計し、ノイズの多い観測に基づいて概念的モデルを修正する能力を十分にテストできていません。具体的には、現在のベンチマークは、エージェントが隠れた構造（隠れた粒子種や余剰次元など）を解明できるか、あるいは非標準的な物理環境において信号とノイズを区別できるかを十分に探求していません。

手法

著者らは、標準的な教科書的な物理から意図的に逸脱したシミュレーション世界における物理法則の発見を評価するためのインタラクティブベンチマーク「DISCOVERPHYSICS」を導入しました。

ベンチマークの構造

シミュレーション世界: ベンチマークは、非標準的な力則によって支配される 22 の異なる世界（11 の公開、11 の非公開）で構成されています。例としては、遮蔽された（湯川）および分数べき重力、複数種の結合、隠れた暗黒物質のような粒子、非座標不変の物理、時間変化する相互作用、および余剰次元が含まれます。
エージェントの相互作用: LLM エージェントは、特定の世界の隠れた法則を発見するタスクを課されます。エージェントは実験ラウンド数（ $n$ ）という固定された予算内で動作します。
ループ:
1. 実験提案: エージェントは、初期位置、速度、電荷、測定時間で定義されたテスト粒子を提案します。
2. シミュレーション: $N$ 体シミュレーター（Yoshida4 や RK4 などの積分器を使用）は、隠れた真の法則に基づいて生軌道データを生成します。
3. 仮説の精緻化: エージェントは返された軌道データを分析し、候補となる法則を提案し、必要に応じて scipy.optimize を通じてパラメータを適合させるツールを使用します。
4. 反復: このサイクルは予算が尽きるまで繰り返されます。
最終出力: エージェントは以下の 2 つの項目を提出する必要があります。
1. 世界の物理に関する自然言語による説明。
2. 推定された法則の Python 実装（粒子を進化させる関数）。

評価指標

このベンチマークは、予測精度と概念的理解の両方を評価するための双軸評価フレームワークを採用しています。

軌道 MSE: ノイズのない保持用テスト粒子において、エージェントが予測した軌道と真の軌道の間の平均二乗ユークリッド距離。これは予測精度を測定します。
説明スコア: LLM 判定者（Claude Opus 4）が、人間が作成した評価基準（0〜10 点）に対してエージェントの自然言語による説明を評価します。これは概念的理解と、遮蔽や隠れた種などの構造的特徴を特定する能力を測定します。
合格基準: 正規化された軌道 MSE が 0.1（10% の誤差）未満であり、かつ説明スコアが $\ge 0.9$ である場合、その世界は「合格」とみなされます。

実験設定

著者らは、Claude Opus 4.7 や GPT-5.5 などのプロプライエタリモデル、および Qwen3.5 や Llama-3.3 などのオープンモデルを含む 11 の最先端およびオープンソース LLM を評価しました。実験は、モデルおよび世界ごとに 5 つのランダムシードで実行されました。また、エージェント主導の実験とランダム化された実験を比較し、観測ノイズのレベルを変化させるアブレーション研究も含まれていました。

主要な結果

全体的な性能: 最も強力な最先端エージェント（Claude Opus 4.7 および GPT-5.5）でさえ、5 回の実行で約 50% の世界を合格させるに過ぎません。隠れた構造（隠れた暗黒物質や余剰次元など）の特定を必要とする世界では、性能は著しく低下します。
予測精度対概念的理解: 指標は分離しています。GPT-5.5 は最低の軌道 MSE（最高の予測精度）を達成しますが、Claude Opus 4.7 に比べて説明の質に関するスコアはしばしば低くなります。これは、GPT-5.5 が柔軟な方程式を早期に採用することでデータにうまく適合する傾向があるものの、概念的な図式を修正できないことを示唆しています。一方、Claude Opus 4.7 は実験を通じた仮説の精緻化において優れています。
実験設計: トップモデルにおいて、ガイドされた実験とランダム化された実験の間には大きな隔たりがあります。Claude Opus 4.7 は、実験ラウンド数の増加に伴い、合格率と説明スコアが単調に向上し、新しいデータから学び、有益な実験を設計していることを示しています。対照的に、オープンソースモデルはガイドモードとランダムモードの間でほとんど差を示さず、実験予算を効果的に活用できていないことを示唆しています。
オープン対プロプライエタリ: オープンソースモデルは、実験の設計と結論の抽出の両方において、商用モデルに大幅に遅れをとっています。最良のオープンモデル（Qwen3.5）は、5 回の実行で約 10% の世界しか解決できません。
失敗モード: 失敗モードの分析は、明確な弱点を明らかにしました。
- GPT-5.5: 失敗は「適切な種類の法則を考慮すること」（隠れた構造の欠落）と、ODE 積分器における数値的特異点の処理に集中しています。
- Claude Opus 4.7: 失敗は、実験設計（仮説間の区別失敗）、言語的推論を忠実に実装するコードの作成、信号とノイズの区別、そして実験をいつ停止すべきかの判断など、より広範に分布しています。

意義と主張

本論文は、DISCOVERPHYSICS が、自ら提案する実験に基づいた仮説の生成と精緻化という、未定義で反復的な研究プロセスを実行する LLM の能力に対する、現在最も強力なテストであると主張しています。

記憶の超越: このベンチマークは、知識ベースのベンチマークでの高い性能が、新しい物理法則を発見する能力を保証するものではないことを示しています。
実験の必要性: 結果は、物理学における科学的発見が、静的なデータ上の推論だけでなく、洞察に満ちた実験を設計する能力に決定的に依存していることを浮き彫りにしています。
双軸評価の必要性: 論文は、予測精度（MSE）のみが科学的発見の評価には不十分であると論じています。モデルは、基本原理を理解することなくデータを完全に適合させることができます。双軸評価フレームワークは、エージェントが単にデータを補間しているのか、それとも生成メカニズムを特定しているのかを捉えます。
現在の限界: 著者らは控えめに結論付けており、最先端モデルは大幅な改善を表しているものの、隠れた自由度の推論を必要とする非標準的な物理に直面した場合、完全自律的な科学的発見はまだ可能ではないとしています。このベンチマークは、この特定の難易度の高い領域における進歩を測定するためのツールとして機能します。