技術概要：大学レベルの物理学問題解決のための PHYSICS ベンチマーク

問題提起

近年の基盤モデルは高度な数学的推論タスクにおいて優れた性能を示しているが、複雑でドメイン固有の科学問題の解決能力については未だ十分に探求されていない。既存のベンチマークは多くの場合、多肢選択式問題に依存するか、あるいは最先端モデルが既に高い精度を達成している小学校から高校レベルの問題に焦点を当てている。これらの形式は、モデルが真の推論ではなく、答えの認識やショートカットの悪用を可能にする可能性がある。さらに、現在の科学推論データセットには、大学レベルの物理学に必要な多段階の導出、理論的統合、および精密な数学的モデリングをモデルで評価するために必要な深みが欠けている。モデルの科学推論における真の能力を評価するためには、博士課程の資格試験問題のようなオープンエンドな問題でモデルに挑戦する包括的なベンチマークが不可欠である。

手法

PHYSICS ベンチマーク

著者らは、公開されている物理学博士課程の資格試験から抽出された 1,297 件の専門家による注釈付き問題で構成される包括的なベンチマーク「PHYSICS」を導入した。このデータセットは以下の 6 つの中核分野を網羅している：

• 古典力学
• 量子力学
• 熱力学および統計力学
• 電磁気学
• 原子物理学
• 光学

主要な特徴：

• 難易度と範囲： 問題はオープンエンドであり、深い多段階の推論、理論的知識の統合、複雑な数学的モデリングを必要とする。平均的な解答には 5.38 段階の推論ステップが必要であり、24% は 10 段階を超えている。
• データ構築： 7 名の専門家アノテーター（物理学専攻の学部生）がチームを組んでデータセットをキュレーションした。彼らは著作権の厳格な遵守を確保し、LaTeX を用いて問題をフォーマットし、理論的根拠を伴う段階的な解答を提供した。
• 品質管理： 正確性と一貫性を確保するため、著者による独立した検証と 2 人目のアノテーターによる二次検証を含む多段階のレビューメカニズムを採用した。
• 分割： データセットは検証用セット（297 問）とテストセット（1,000 問）に分割されており、厳格な評価のためにアノテーターによって特定された 523 問の「HARD」サブセットが含まれている。

自動評価システム

正確で信頼性の高い検証を確保するため、著者らは堅牢な自動評価パイプラインを開発した：

1. 抽出： 正規表現を用いて、モデルの応答から最終回答を抽出する（特に \boxed{} 形式を探す）。
2. 前処理： 数学的表現を標準化（例：分数形式の正規化）し、ばらつきを低減する。
3. 検証：
   • 記号的チェック： 主要な手法として、オープンソースの記号数学ライブラリである SymPy を用いて LaTeX 形式の回答を解析し、sympy.is_equiv を使用して数学的同等性をチェックする。これにより、異なる代数形式で表現された同等の式を認識できる。
   • フォールバック機構： 記号的検証が失敗するか、適用不可能な場合（例：自然言語の説明の場合）、GPT-4o ベースの評価を用いて、正しさ、関連性、論理的整合性を評価する。

実験設定

本研究では、5 つの独自モデル（o3-mini、GPT-4o、Gemini-1.5-Pro、Claude-3.5-Sonnet など）と 28 のオープンソースモデル（DeepSeek-R1、Llama 3.3、Qwen2.5 シリーズなど）を含む 33 の最先端モデルを評価した。

• プロンプト： モデルには、Chain-of-Thought (CoT) 推論を使用し、最終回答をボックス付き LaTeX 形式で出力するよう指示した。
• 変種： 本研究ではまた、モデルの知識を補強するために Google 検索を用いた自己反省（Self-Reflection）プロンプトと、検索拡張生成（RAG）も検討した。

主要な貢献

1. 挑戦的なベンチマーク： 6 つの分野にまたがる 1,297 件の専門家による注釈付きのオープンエンドな大学レベルの物理学問題からなるデータセット「PHYSICS」の導入。深い多段階の推論と理論的統合をテストするように設計されている。
2. 堅牢な評価フレームワーク： 記号的同等性チェックのために SymPy を、フォールバック評価のために GPT-4o を活用する自動評価システムの開発。標準化された信頼性の高い性能測定を確保する。
3. 包括的なモデル評価： 33 の独自およびオープンソースモデルの体系的な評価。高レベルの科学推論における現在の AI 能力の大きな性能ギャップと限界を明らかにした。
4. 詳細な分析： 特定の失敗パターン（専門知識の統合 inability、計算ミス、画像の誤解釈など）を特定する詳細なエラー分析と、RAG や自己反省などの軽減戦略の検討。

結果

モデルの性能

最も高度なモデルでさえ、PHYSICS ベンチマークでは著しく苦戦している：

• 最高性能モデル： 独自モデルの o3-mini が 59.9% の最高精度を達成した。
• その他の独自モデル： GPT-4o や Gemini-1.5-Pro などの主要なモデルは、約 37% の精度を達成した。
• オープンソースモデル： 最高のオープンソースモデルである DeepSeek-R1 は 44.3% に達した。他の強力なオープンソースモデル（Llama-3.3-70B、Qwen2.5-Math-72B など）は 30% 前後で推移し、大多数のオープンソースモデルは 20% 未満のスコアであった。
• 人間ベースライン： 十分な時間が与えられれば、人間の専門家は同様のタスクで通常 70% から 80% のスコアを達成するため、現在の AI と人間の推論の間には大きなギャップがあることが浮き彫りになった。

失敗分析

最高性能モデルの定性的分析により、5 つの主要な失敗パターンが明らかになった：

1. 専門知識の統合 inability： モデルは問題に明示されていない基本的な物理原理を適用できず、誤った仮定に至ることが多い。
2. 誤った仮定への依存： モデルは存在しない条件を導入したり、制約を誤解したりすることが多い（例：光子ロケットの問題で回転力学を無視するなど）。
3. マルチモーダル理解エラー： モデルは回路や力学の問題における図や空間的関係を正確に解釈できず、誤ったパラメータ抽出につながる。
4. 計算ミス： 強力な推論チェーンにもかかわらず、複雑な多段階の計算において、代数または記号的操作の誤りを頻繁に犯す。
5. 問題の誤解： 小規模なモデルは、重要な変数を誤特定したり、重要な制約を見落としたりして、根本的に欠陥のある推論経路に至ることが多い。

プロンプトと拡張の影響

• 自己反省： 自己反省を促すプロンプトは、標準的な CoT に比べて推論の一貫性と精度を向上させた。
• RAG： 検索拡張生成（Google 検索を使用）は、テストされたすべてのモデルの性能を向上させ、ドメイン固有の理解におけるギャップを外部知識の統合によって部分的に埋められる可能性を示唆した。
• 長い CoT： 長い CoT 能力を持つモデル（o3-mini、DeepSeek-R1 など）はより良い性能を示したが、トークン制限を超えてしまう過度に長い推論チェーンを生成し、不完全な回答につながる場合があった。

意義と主張

本論文は、PHYSICS が科学推論における進歩を測定するための必要な基盤を確立すると主張している。結果は、博士課程レベルの問題に直面した際、現在の基盤モデル（最も高度なものでさえも）が科学推論、概念的理解、数学的精度において根本的な弱点を有していることを浮き彫りにしている。

著者らは、自己反省や RAG などの手法は改善の可能性を提供するものの、専門家レベルの問題解決へのギャップを完全に埋めるものではないと強調している。このベンチマークは、以下のために重要なツールとして機能する：

• 現在の AI アーキテクチャにおける特定の限界の特定。
• 強化された推論フレームワークとドメイン固有の知識のより良い統合に向けた将来のモデル開発の誘導。
• 専門分野における AI の進歩を追跡するための科学コミュニティ向けの標準化された評価指標の提供。

本研究は、物理学における現在の AI 能力と人間の専門家性能の間のギャップを埋めるためには、推論フレームワーク、数学的精度、および物理学知識源の効果的な統合における大幅な進展が必要であると結論付けている。