技術要約: PHYSELITE

問題提起

物理学の推論における（マルチモーダル）大規模言語モデル（MLLM）を評価するための現在のベンチマークは、最先端モデルの真の能力を覆い隠してしまう2つの決定的な限界を抱えています。

1. 不十分な難易度と規模: 既存のデータセットは、初等教育やK-12レベルの問題に支配されていることが多く、複雑で多段階的な推論をストレス・テストすることができていません。一部のオリンピックレベルのデータセット（IPhO、APhOなど）は存在しますが、規模が限定的で更新頻度が低いため、モデルの性能が真の天井に達する前にプラトー（停滞）に達してしまうという飽和現象を招いています。
2. プロセスレベルのアノテーションの欠如: ほとんどのベンチマークは最終回答のみを提供しています。物理学においては、導出プロセスは結果と同じくらい重要です。視覚的な手がかりと物理法則を結びつけるステップ・バイ・ステップのアノテーションの欠如は、特定の推論失敗の診断を妨げ、思考の連鎖（Chain-of-Thought）による監督やプロセスレベルの強化学習を通じたこれらのデータセットの有用性を制限しています。

その結果、現在のベンチマークにおける高スコアは、真正かつ複雑なオリンピックレベルの物理問題を解決するモデルの能力を必ずしも表していない可能性があります。

メソドロジー

これらのギャップに対処するため、著者らは、オリンピックレベルの物理推論に特化して設計された、大規模でバイリンガル（中国語–英語）のマルチモーダル・ベンチマークであるPHYSELITEを導入します。

データセット構築

• ソース資料: 本データセットは、地元の二次学校の物理部門で一等賞を受賞した15名の生徒による、日々のトレーニングおよび練習教材から抽出された11,586個のオープンエンドな問題で構成されています。このソーシング戦略は、公開されている競技アーカイブとの事前学習の重複を最小限に抑えつつ、現実的なオリンピックレベルの難易度を提供することを目的としています。
• アノテーション・パイプライン:
  • マルチモーダル入力: 各問題には、元のテキストと1つまたは複数の図解が含まれています。
  • バイリンガル導出: 問題には、中国語と英語の両方で人間によって検証された、ステップ・バイ・ステップの解法導出がペアリングされています。数学的表現は精度を維持するためにLaTeXに変換されています。
  • メタデータ: 各問題には、主題タグ（力学、電磁気学、熱力学、光学、現代物理学）と1〜7段階の難易度評価が付与されています。
  • 品質管理: 手動検証、OCR補正、および重複排除のためのファジーマッチングを含むヒューマン・イン・ザ・ループのプロセスにより、データの完全性が保証されています。
• 評価プロトコル: 著者らは、標準的な「System-1」および拡張された思考/推論を行う「System-2」アーキテクチャの両方を含む、18のモデル（オープンソース8、クローズドソース10）をベンチマークしました。
  • 指標:
    • 回答スコア (Answer Score): リファレンスに対する最終結果の二値的な正誤。
    • プロセススコア (Process Score): モデルの応答を主要な導出ステップに分解するステップレベルの評価。各ステップは、完全に正しい（1.0）、部分的に正しい（0.5）、または誤っている（0.0）として採点されます。この指標により、最終回答が間違っている場合でも部分点を与えることが可能になります。
  • 判定: スコアは、人間の専門家によるグレーディングとの平均絶対誤差0.09で検証された、3つのLLMジャッジ（GPT-5.2、Claude-Opus-4.6、Gemini-3-Pro）のアンサンブルによって決定されます。
  • ヒューマン・ベースライン: 15名の受賞学生のグループが問題を解き、人間のパフォーマンス・ベースラインを確立しました。

主な貢献

1. 規模と難易度: PHYSELITEは、現在存在する中で最大のオリンピックレベルの物理ベンチマークであり、PHYBenchやHiPhOのような同等の高難易度データセットよりも桁違いに大きい11,586個の問題を含みつつ、一貫したエリートレベルの難易度を維持しています。
2. マルチモーダル・プロセス・アノテーション: テキストまたは最終回答のみを提供する従来のデータセットとは異なり、PHYSELITEはペアとなる視覚的図解と、人間によって検証されたステップ・バイ・ステップの導出を提供します。これは、厳格な評価とプロセス監督による学習の両方をサポートします。
3. 包括的な診断分析: 本論文は、18のモデルの広範な評価を提供し、人間による専門家との性能差を定量化し、異なるサブディシプリンおよび難易度レベルにおける6つの繰り返される失敗モードを特徴付けています。

実験結果

• 性能差: 評価された中で最も強力なモデルであるGrok-4.2でさえ、回答精度はわずか**33.7%でした。これは、人間のベースラインである48.5%**よりも大幅に低く、現在の最先端モデルとエキスパートレベルの推論との間に実質的なギャップがあることを示しています。
• オープン vs クローズドソース: プロプライエタリなシステムとオープンウェイト・システムの間に大きな性能差が存在します。最強のオープンソースモデル（Qwen3-VL-235B-A22B）は、わずか20.0%の精度に留まりました。
• 推論モデル: 拡張された思考（System-2）モデルは一般に標準的なモデルよりも優れた性能を示しましたが、その優位性は一様ではありませんでした。一部の強力な標準モデル（例：Claude-Opus-4.6）は、いくつかの推論モデルよりも優れた性能を示しており、これは基礎的な能力が効果的な拡張推論の前提条件であることを示唆しています。
• プロセス vs 回答: モデルは一貫して回答スコアよりもプロセススコアで高いスコアを獲得しており、これはモデルが最終ステップで失敗する前に、部分的に妥当な導出を生成していることが多いことを示しています。
• サブディシプリンの弱点: 光学がすべてのモデルにおいて普遍的な弱点として浮上し、熱力学と比較して著しく高いエラー率を示しました。これは、現在のMLLMが幾何学的および位相ベースの推論に苦戦していることを示唆しています。
• 難易度の傾向: 多くのモデルは「U字型」の性能曲線を示し、「中」程度の難易度の問題では「難」レベルの問題よりも低いスコアを記録しました。著者らは、これを特定の競技形式の「難」問題に対するポストトレーニングの結果であり、「中」レベルの日常的な練習問題がこれらのモデルにとって分布外（out-of-distribution）となっているためであると考えています。

意義と主張

本論文は、PHYSELITEが、物理学におけるMLLMの真の推論能力を評価するための、より厳格で代表的なベンチマークとして機能することを主張しています。単純な回答の一致を超えてプロセスレベルの評価へと移行することで、著者らは、現在のモデルがエキスパートレベルの性能に到達するには程遠いことを示しています。

著者らは、このデータセットが単なるテストスイートではなく、プロセス監督による学習のためのリソースであることを強調しています。詳細なステップ・バイ・ステップのアノテーションは、モデルが最終的な結果だけでなく、中間的な推論ステップから学習できるようにすることで、より強力な科学的推論器の開発を促進することを目的としています。この研究は、モデルが進歩している一方で、特に光学のような領域や、標準的なアーキテクチャと推論強化されたアーキテクチャの間の架け橋において、複雑でマルチモーダルかつ多段階的な物理推論を扱う上で、依然として大きな課題が残っていることを浮き彫りにしています。