MaD Physics: Evaluating information seeking under constraints in physical environments

技術的サマリー：MaD Physics – 物理環境における制約下での情報探索の評価

問題定義
科学的発見は本質的にリソース制約を伴うプロセスであり、物理的、時間的、財政的な制限により、エージェントは測定品質と量の間のトレードオフを navigated する必要があります。既存の科学的発見のベンチマークは、記憶された事実に基づく質問応答などの静的な知識推論、あるいは制約のない実験設計に焦点を当てていますが、厳格な制約下で戦略的な測定を行い、計画を立てるエージェントの能力を評価できていません。さらに、標準的なベンチマークは既知の物理法則に依存することが多く、エージェントは経験的な発見ではなく知識の検索によって成功することができます。支配法則が未知であったり改変されていたりする環境において、能動的に情報を収集し、有限の予算を管理し、ノイズの多い疎なデータから基礎的なダイナミクスを推論するエージェントを評価する上で、決定的なギャップが存在します。

手法：MaD Physics ベンチマーク
このギャップを埋めるため、著者は MaD Physics（Measuring and Discovering Physics）を提案します。これは、測定の品質と量に対する制約の下で、エージェントが有益な測定を行い、結論を導き出す能力を評価するために設計されたベンチマークです。

• 環境設計: 本ベンチマークは、古典力学、流体力学、量子力学に基づいた 3 つの異なるパラメトリック環境で構成されています。エージェントが標準的な物理の事前学習知識に依存するのを防ぐため、各環境には「改変された」物理法則が含まれています（例：異方性慣性質量、$1/R$ やリップル効果などの修正重力法則、非線形なもつれ初期化、$L_p$-ノルムを伴う一般化されたボルン則）。
• 評価プロトコル: 評価は 2 つのフェーズで行われます。
  1. 測定フェーズ: エージェントは固定予算 $B$ の下で動作します。何を測定するか（特定の粒子や座標など）、いつ測定するか（時間ステップ）、どの忠実度（ノイズレベル）で測定するかを順次選択する必要があります。各観測にはコスト $C(o_k, \sigma_k)$ が発生し、これは忠実度が高い（ノイズが低い）ほど増加します。エージェントは予算内で情報利得を最大化する必要があります。
  2. 予測フェーズ: 予算が尽きたか、最大時間 $T_{max}$ に達すると、エージェントは基礎となる物理法則を推論し、将来の問い合わせ時刻 $T_{query} > T_{max}$ におけるシステムの状態を予測しなければなりません。
• エージェント実装: 著者は、コード実行機能を備えた最小限のエージェントスケフォールドを使用して、4 つの Gemini モデル（2.5 Flash Lite、2.5 Flash、2.5 Pro、3 Flash）を評価しました。2 つのプロンプト戦略がテストされました。一般的なコンテキストを提供する「Base」プロンプトと、ベイズ実験設計に着想を得た「Strategy」プロンプトです。後者は、エージェントに単位コストあたりの期待情報利得（EIG）を最大化するよう指示します。

主な貢献

1. 新規ベンチマーク手法: 本論文は、実験設計におけるコストと忠実度のトレードオフを明示的に強調し、静的な推論タスクを超えて、物理ドメインにおける情報探索型エージェントを評価するフレームワークを導入します。
2. 改変法則を伴うパラメトリック環境: 古典、流体、量子の 3 つの環境スイートには、標準的な物理法則に対する具体的かつ文書化された改変が含まれています。これにより、エージェントは記憶された知識の検索ではなく、能動的な発見に従事することが保証されます。
3. 最先端モデルの包括的ベンチマーク: 著者は MaD Physics 上で複数の Gemini モデルをベンチマークし、法則改変の度合いによるパフォーマンスの違いを分析し、戦略的プロンプティングが科学的な不確実性のナビゲーションに与える影響を実証しました。

実証結果

• モデルパフォーマンス: 一般的に、パフォーマンスはモデルの能力（Flash Lite から Pro、3 Flash へ）とともに向上します。しかし、最も能力の高いモデルでさえ、改変された構成では苦労します。
• 予測精度: エージェントは、通常の物理構成であっても、範囲外または不正確な予測を頻繁に生成します。「Strategy」プロンプトは体系的なデータ収集を強制することで一般的にパフォーマンスを向上させますが、重大な誤差は残存します。
• 記号的精度と予測精度の乖離: 重要な発見として、予測精度と記号的回復の間に乖離があることが挙げられます。エージェントは、妥当な予測を行える場合でも、基礎となる物理法則の正しい記号形式を特定することに頻繁に失敗します（例：$1/r^2$ と $1/r$ の重力を区別できない）。
• マルチモーダリティとコンテキスト内学習:
  • 視覚的観測: エージェントに数値データではなく視覚的レンダリングが提供された場合、予測誤差は大幅に増加しますが、モデル能力に関する傾向は一貫しています。
  • コンテキスト内学習: 複数の試行を通じて、Gemini 3 Flash は予測誤差を低減する能力を示す一方、Gemini 2.5 Pro は改変された構成において学習に失敗しました。
• パラメータ推論: 構造形式が既知で、単一のパラメータ（$\kappa$）を推論することを目的とした変種において、エージェントはパラメータを過小評価する傾向があり、標準的な物理へのバイアスを示しました。

意義と主張
本論文は、MaD Physics を、科学的発見の探求的かつ非構造化された性質を捉えるベンチマークへの足がかりとして位置付けています。著者は、MaD Physics が動的な情報探索タスクにおける最先端レベルモデルの欠陥を効果的に特定すると主張しています。具体的には、本ベンチマークは以下の点を浮き彫りにします。

• エージェントが記憶された法則に依存できない場合の不良な下游予測パフォーマンス。
• データが利用可能な場合でも、物理法則の正確な記号表現を回復することの困難さ。
• 制約下での戦略的計画の必要性であり、現在のモデルはこの能力において大幅な改善の余地があります。

著者は、現在のモデルは推論において有望な兆候を示しているものの、科学的探究の実践的な現実、すなわち情報利得を最大化するために限られたリソースを配分し、制約されたノイズの多いデータから新たなダイナミクスを推論することには苦労していると結論付けています。今後の研究としては、より洗練されたエージェントスケフォールド、最適化されたプロンプティング、より複雑な物理システムへの拡張の探求が提案されています。