技術的サマリー：Physics-R1 視覚的物理推論のための監査済みオリンピックコーパスとレシピ

問題提起

マルチモーダル物理推論の分野は、モデル能力を評価するために視覚言語ベンチマークに大きく依存しています。しかし、これらのベンチマークの構築はめったに監査されず、モデル間比較を歪め、最先端のランキングを過大評価させる 3 つの重要な方法論的ギャップを生んでいます：

1. 学習・評価汚染： 公開学習プール（SciInstruct、UGPhysics-Train など）には、評価セットに対してパラフレーズされたものやほぼ重複する問題が含まれることがよくあります。従来の単一ステージの $n$-gram 監査では、これらの「再表現ダークマター」インスタンスを検出できません。
2. 翻訳ドリフト： 多言語ベンチマークは、元々他の言語で構成された問題の英語翻訳に依存することが多いです。これらの翻訳は、情報内容（語彙、文法的格、範囲）を劣化させ、元の言語版と比較して翻訳版におけるモデル能力の体系的な過小評価につながります。
3. 形式と新規性の飽和： 現在のベンチマークは、しばしば多肢選択問題（MCQ）で飽和しているか、新規性に欠けており、真の推論ではなく形式やタスクの慣れがスコアを決定する「閉じたフロンティアの天井」で性能が頭打ちになります。

手法

本論文は、評価パイプラインのエンドツーエンド監査を提案し、これらのギャップに対処するための対応するトレーニングレシピとコーパスを導入します。

1. 3 ステージ監査パイプライン

標準的な $n$-gram チェックを回避する汚染を検出するため、著者は学習プールと評価セットの間でペアワイズに適用される 3 ステージ監査プロトコルを実装します：

• ステージ 1（N-gram）： 5-gram ジャッカード類似度（$J \ge 0.4$）を計算し、逐語的またはほぼ逐語的な重複を捕捉します。
• ステージ 2（埋め込み）： mxbai-embed-large を使用してコサイン類似度（$\cos \ge 0.85$）を計算し、ステージ 1 が見逃すパラフレーズされた重複を捕捉します。
• ステージ 3（LLM-Judge）： Haiku-4.5 LLM 判定者がステージ 2 の候補を、近接重複（同じ問題のパラフレーズ/数値的変種）または同一トピックの近隣（関連する物理だが異なる設定）に分類します。近接重複のみが除去されます。

2. データ構築

• PHYSCORP-A： 14,294 レコードの事前監査プールに 3 ステージ監査を適用して構築された 6,432 レコードのマルチモーダルコーパスです。エストニア物理オリンピック（ネイティブの難易度ラベル付き）、ケビン・ Zhou のハンドアウト、7 つの国際オリンピックなどのソースを含みます。
• PHYSR1CORP： PHYSCORP-A から派生した 2,268 レコードの閉形式 RL 学習プール（MCQ と数値のみ）で、6 つの公開物理評価に対して厳密に監査されています。
• PHYSOLYM-A： 500 問題のホールドアウトオリンピック評価セットです。99.8% が新規ソース（OlympiadBench-Physics との 1 件の重複は除外されず開示されました）であり、クロスリンガル分析用の英語/エストニア語バイリンガルサブセットを含みます。

3. Physics-R1 レシピ

Physics-R1 は、GSPO（Group Sequence Policy Optimization）とDAPO（Decoupled Clipping and Dynamic Sampling）を使用し、Qwen3-VL-8B-Thinkingからコールドスタートする参照強化学習（RL）レシピです。

• 報酬関数： 著者は、抽出されたボックス付き回答をゴールドソリューションと一致させるに基づく二項正解報酬（$r \in \{0, 1\}$）を推奨します。これは、グループ正規化されたアドバンテージを伴う GSPO 下で分散最適であり、モデルが物理的正しさではなくフォーマットのプロキシ（例：LaTeX 構造）を最適化する「グートハート」チャネルに対して堅牢であると主張されます。単位、保存則、記号形式を含む 5 成分の密報酬は、アブレーションとして報告されています。
• カリキュラム： MM-Eureka 風の難易度カリキュラムを使用し、ベースモデルが 0/N または N/N のロールアウトを達成するプロンプトを除外します。

主要な発見

監査と実験は、3 つの主要な発見を明らかにしました：

1. 隠れた汚染： 公開学習プールは単一ステージの $n$-gram 監査（ヒット数 0）を通過しますが、3 ステージ監査は顕著な汚染を明らかにしました。例えば、SciInstruct では、監査により 4,846 のパラフレーズ候補が表面化し、そのうち 134 が LLM 判定者によって近接重複として確認されました。
2. 翻訳デルタ： 59 組のエストニア語/英語オリンピック問題において、Claude Sonnet 4.5は元のエストニア語テキストで**30.5%の厳密な精度を達成しましたが、英語翻訳では13.6%**のみでした。この 17 ポイントのデルタは、強力なクロスリンガル転移を持つモデルにとって、英語翻訳がモデル能力を体系的に過小評価することを示唆しています。
3. 形式と新規性の勾配： 同一の Sonnet 4.5 ウェイトにおいて、ベンチマーク間で性能が46 ポイント低下します：PhyX（MCQ）で 79.7% $\to$ OlympiadBench-Physics（オープンエンド）で 50.4% $\to$ 監査済み PHYSOLYM-A（オープンエンド、新規ソース）で 33.4%。この勾配は、現在のベンチマークが推論の深さではなく形式と慣れによって飽和していることを示しています。

結果

二項報酬で監査済み PHYSR1CORP 上でトレーニングされた Physics-R1 は、クリーン化されたコーパスの学習可能性を実証します：

• PHYSOLYM-A： 8B ベースモデルを8.0%から26.3%（3 シード平均）に引き上げ、+18.3 ポイントの改善を実現しました。Sonnet 4.5 より 7.1 ポイント遅れていますが、すべてのオープンソースベースライン（Qwen3-VL-32B など）および非 Sonnet のクローズド API を上回ります。
• PhysReason： 23.9% から 39.6% に改善し、Qwen3-VL-32B および Gemini 2.5 Pro を上回ります。
• OlympiadBench-Physics： 46.2% から 46.2% に改善（注：アブストラクトは +6.9 pp の引き上げを述べており、特定の分割では約 39.3% から 46.2% への移動を意味しますが、表には 3 シード平均として 46.2±1.5 が示されています）。
• PhyX（MCQ）： 77.8% から 77.8% に改善（MCQ はしばしば飽和しているため安定）。

本論文は、密報酬が飽和した MCQ では同程度のパフォーマンスを示す一方で、オープンエンドタスクでは二項報酬が密報酬を上回る（PhysReason で +8.9 pp、PHYSOLYM-A で +6.4 pp）と指摘しています。

意義と主張

本論文は、純粋なアルゴリズム的ブレイクスルーではなく、方法論的介入として位置づけられています。主な貢献は以下の通りです：

• 学習可能性の証拠： 厳密に監査されたコーパスでトレーニングされたモデルが、汚染のないホールドアウト評価（PHYSOLYM-A）で大幅に改善することを示すことで、著者らは物理推論ベンチマークにおける以前の停滞が、モデルの限界だけでなく、データ汚染と飽和に部分的に起因することを検証しました。
• 測定プロトコル： 本論文は、防御可能な物理-VL 測定には、3 ステージ監査、原言語のゴールドスタンダード、オープンエンドの新規ソース評価という 3 つの特性が必要であると主張します。
• アーティファクトの公開： PHYSCORP-A、PHYSR1CORP、PHYSOLYM-A、およびPhysics-R1レシピの公開により、コミュニティはこれらの発見を再現し、クリーンなデータ上で将来のモデルを構築するためのツールを提供します。

著者は、Physics-R1 は「参照レシピ」であり、二項報酬は「展開可能なデフォルト」であると控えめに主張しつつ、密報酬や特定のシード感度についてはさらなるアブレーションが必要であることを認めています。この研究は、すべての物理推論課題（例：大学院レベルの摂動論は依然として困難）を解決すると主張するものではありませんが、進捗を測定するためのよりクリーンなベースラインを確立します。