🤖 AI

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

本論文は、現在のマルチモーダルモデルがテキストから画像へのモダリティ転移に苦戦していることを明らかにするベンチマーク「SeePhys Pro」を導入し、マルチモーダル RLVR 学習による一見した性能向上は、真の視覚推論ではなく残存するテキストの手がかりに起因するものであることを実証する。

原著者： Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhe

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

物理の問題を解く方法を学生に教える場面を想像してください。情報を伝えるには 2 つの方法があります。

教科書方式: 問題文を言葉で書き出し、設定、数値、ルールを記述する。
図解方式: 設定の絵を描き、各部にラベルを付け、数値を直接図に書き込む。

直感的には、情報が同じであれば、言葉であれ図であれ、賢い学生であればどちらを与えられても同様に問題を解けるはずです。しかし、この論文「SEEPHYS PRO」は、現在の AI モデルについてはこれが真実ではないことを発見しました。実際、言葉から図に切り替えると、その性能は著しく低下します。

以下に、研究者たちが発見したことを、簡単なアナロジーを用いて解説します。

1. 「同じ物語、異なる形式」テスト

研究者たちは「SEEPHYS PRO」という特別なテストを作成しました。これは AI 向けの「翻訳チャレンジ」のようなものです。

すべての物理問題について、完全同一の物語を伝えつつ、情報の提示方法を変えた 4 つのバージョンを作成しました。

レベル 1（テキストのみ）: 「質量 5kg のブロックが斜面にある。」（すべての情報が言葉で記述されている）。
レベル 2（構造を画像化）: 斜面とブロックを描くが、テキストにはまだ「5kg」と書かれている。（形状は画像、数値は言葉）。
レベル 3（変数を画像化）: 斜面とブロックを描き、画像内のブロックの上に直接「5kg」と書き込む。（形状と数値の両方が画像内にある）。
レベル 4（完全な画像）: 指示と数値を含む問題全体を紙に手書きし、1 枚の画像としてスキャンした。

発見:
AI モデルがこのテストに挑戦した際、情報がテキストから画像へ移行するにつれて、その性能は石のように急落しました。

「ラベルを読む」ボトルネック: 性能の最も大きな低下はレベル 3で発生しました。これは AI が画像を見て変数を「グラウンディング」（具体化）しなければならない段階です（例：「あのジグザグの線は導線であり、その横の数字'12'は 12 ボルトを意味する」）。
アナロジー: 書かれたレシピを完璧に追える料理人（レベル 1）を想像してください。もし、ラベル付きの食材の写真（レベル 3）を渡されると、彼らは突然料理の仕方を忘れてしまいます。彼らは写真を見ることができますが、写真内の実際の小麦粉の袋と「小麦粉 2 カップ」というラベルを結びつけることができません。彼らは視覚的な結合に混乱を覚えるのです。

2. 「目隠しトレーニング」実験

研究者たちは次に、2 番目の問いを投げかけました：もし、数千の物理問題（画像付き）を用いて強化学習（RL）でこれらの AI を訓練すれば、画像を読む能力は向上するでしょうか？

これを検証するため、「目隠しトレーニング」実験を設計しました。

通常トレーニング: AI は問題文と画像の両方を見る。
目隠しトレーニング: AI は問題文を見るが、画像は完全に黒塗り（マスク）されている。まるで、教師が同じ「正解」の報酬を与え続けながら、目隠しをした学生に物理問題を解かせるようなものです。

衝撃的な結果:
AI が画像を一切見ることなく（黒い画面のみで）訓練されたにもかかわらず、画像が現れた「マスク解除」テストでは、問題解決能力が向上していました。

アナロジー: 窓が黒く塗られた車の中で運転試験の練習をする学生を想像してください。彼らは道路を一度も見たことがありません。それにもかかわらず、いざ窓を開けた本番の試験を受けると、より上手に運転します。
なぜか？: 研究者たちは、AI が「道路を見る」ことを学んだわけではないと発見しました。代わりに、それはショートカットを学んでいたのです。AI はテキストのパターン、問題のスタイル、あるいは典型的な答えを記憶していました。それは実際の視覚図を分析するのではなく、テキストの「雰囲気」に基づいて正解を推測することを学んでいたのです。

3. 精度の「マジックトリック」

この論文は結論として、AI のスコアが向上したからといって、ただ単に喜ぶべきではないと述べています。私たちは自問する必要があります：彼らは実際に「見る」ことを学んだのか、それともテキストの手がかりに基づいて推測する能力が向上しただけなのか？

「目隠しによる向上」: 訓練画像が無駄（黒）であっても、AI はスコアを向上させました。これは、向上が視覚的理解からではなく、テキストとデータセットのパターンから来ていることを証明します。
格差は残る: 訓練後も、AI はテキストのみのバージョンよりも、画像が多用されたバージョン（レベル 3 と 4）で依然としてより苦しみました。「モダリティの格差」（テキストの性能と画像の性能の差）は縮まりませんでした。

まとめ

問題: 現在の AI モデルは「テキスト偏重」です。物理問題を読むのは得意ですが、「見る」ことは不得意です。特に、図から直接数値やラベルを読み取る必要がある場合、その傾向は顕著です。
罠: 標準的な訓練方法（強化学習）は、AI が実際には視覚的証拠を解釈することを学んでいなくても、テキストベースの推測スキルを向上させることで、AI をより賢く見せることができます。
教訓: AI を真に「見る」ようにするためには、正解を得たかどうかを測るだけでは不十分です。AI が正解を得たのが、単にテキストのパターンを認識したからではなく、具体的に画像を見たからなのかをテストする必要があります。

この論文は本質的にこう述べています：高いスコアに騙されてはいけません。もし AI が画像を見ずに問題を解けるなら、それは真に「見る」ことを学んだわけではありません。

技術的サマリー：SEEPHYS PRO

問題定義

マルチモーダル AI システムは、同等の情報が異なる形式（例えば、テキスト対図）で提示された際に、同一の推論行動を維持する「モダリティ一貫性」において重大な課題に直面している。現在のベンチマークは、単一の入力形式でモデルを評価することが多く、最終的な回答精度の向上が、表現に依存しない真の推論に由来するのか、それとも特定のモダリティに特化したショートカットに由来するのかを不明瞭にしている。このギャップは物理学において特に顕著であり、図は単にテキストを補足するだけでなく、物理システムの構造や変数の束縛を定義することが多い。既存の評価手法は、図の知覚、変数の読み取り、物理的抽象化、そして下流の記号推論のいずれにおける失敗かを区別することに苦慮している。

手法

1. SEEPHYS PRO ベンチマーク

著者らは、「同じ物理、異なる表現」という原則に基づいた、微細なモダリティ転移ベンチマークであるSEEPHYS PROを導入する。

設計: 各シード物理問題は、タスクに不可欠な情報を言語から視覚へと段階的に移行させる 4 つの意味的に整合したバリエーションに変換される。
- レベル 1 (L1): テキストのみ（すべての構造、変数、量を言語で記述）。
- レベル 2 (L2): 構造が画像内（物理的なトポロジー/関係が画像にあり、変数はテキストのまま）。
- レベル 3 (L3): 構造＋変数が画像内（図にラベルと数値が含まれる）。
- レベル 4 (L4): 完全にレンダリングされた画像（問題文、数式、図が単一の視覚入力に変換され、手書きテキストも含む）。
データ構築: 公開データセット、教科書、オリンピック、試験にまたがる 5,000 ページ以上の PDF から派生。データセットには、6 つの物理学分野（力学、電磁気学、光学、熱力学、波動、現代物理学）を網羅する 1,000 のシード質問（合計 4,000 のバリエーション）が含まれる。
指標: ベンチマークは、パフォーマンスを分解するための特定の指標を定義する。
- 転移ギャップ: $\Delta S$ （L1→L2 構造転移）、 $\Delta V$ （L2→L3 変数グラウンディング）、 $\Delta R$ （L3→L4 レンダリング）、および $\Delta T$ （総ギャップ）。
- 一貫性: 4 つのレベルすべてで同時に正解した問題の割合。

2. 学習時診断（ブラインド学習）

検証可能な報酬を用いた強化学習（RLVR）が、真に視覚的グラウンディングを改善するのか、それとも単に統計的ショートカットを利用するだけなのかを調査するため、著者らは 2 つの大規模な物理 RL コーパス（PhysRL-40KおよびPhysRL-8K）を開発した。

ブラインド学習制御: 学習画像をすべてマスク（黒い画像に置換）し、学習インスタンスを視覚的に解けない状態にするネガティブコントロール設定。
比較: 標準 RL（画像あり）とブラインド RL（画像なし）でモデルを学習させ、マスクされていない検証セットで評価する。
メカニズム分析: 学習時のパフォーマンス向上の源泉を特定するため、テキスト削除、ターゲットテキスト削除、画像マスク率アブレーション、フォーマット飽和制御を採用する。

主要な結果

推論時の脆弱性

15 のクローズドおよびオープンウェイトのマルチモーダル大規模言語モデル（MLLM）に対する評価は、モダリティ転移下での顕著な脆弱性を明らかにした。

パフォーマンス低下: 平均精度は49.2% (L1)から35.8% (L4)に低下し、平均総転移ギャップは13.4 パーセントポイントとなった。
変数グラウンディングのボトルネック: 最大の性能低下は、モデルが画像から変数やラベルをグラウンディングする必要があるレベル 2→レベル 3（ $\Delta V = 7.4$ ）で発生する。これは、図の構造を認識することよりも、特定の物理量を読み取り、物理的実体と結びつけることの方が問題であることを示している。
不整合: 最先端モデル（例：GPT-5.4、Claude-4.7-Opus）でさえ、4 方向一貫性が低い（例：GPT-5.4 で 32.6%）ことを示しており、テキストベースの問題を解くモデルが、同じ問題が視覚的に提示された場合に失敗することが多い。
人間ベースライン: 高校生（L1 で 54.0%）はより堅牢であり、テキストから構造へ移行する際（L1→L2）、パフォーマンスがわずかに向上するのに対し、モデルは劣化する。

学習時診断

ブラインド学習による向上: 驚くべきことに、ブラインド RL（マスクされた画像で学習）は、マスクされていない検証セットの精度を向上させる。Qwen3-VL-4B の場合、ブラインド RL はレベル 1 の精度を 9.9% から 20.9% に、レベル 4 の精度を 6.4% から 13.0% に引き上げた。
ギャップの解消の欠如: 精度向上にもかかわらず、ブラインド RL はモダリティ転移ギャップを解消できない。総ギャップ（ $\Delta T$ ）と変数グラウンディングギャップ（ $\Delta V$ ）は、学習後も大きく残るか、むしろ拡大する。
向上のメカニズム: メカニズム分析により、ブラインド学習による向上は、有効な視覚的証拠ではなく、残存するテキストの手がかり（問題テンプレート、回答選択肢、数値範囲など）およびデータセットレベルの統計的規則性に駆動されていることが明らかになった。
- 学習データからテキストを削除すると、ブラインド学習による向上は消滅する。
- フォーマット報酬が飽和してもブラインド学習による向上は持続するため、単純なフォーマット準拠が唯一の原因ではないことが示唆される。
クロスベンチマーク検証: これらの知見は、外部の数学および物理ベンチマーク（MathVerse、PhyX など）にも拡張され、結果のみの RL は、真の視覚的グラウンディングを育成するのではなく、非視覚的ショートカットを増幅させる傾向があることを示唆している。

意義と主張

本論文は、最終的な回答精度のみに依存する現在のマルチモーダル推論の評価は不十分であると主張する。著者らは以下を主張する。

表現不変性の欠如: 最先端の MLLM はまだ表現不変な推論者ではなく、情報のエンコード方法に極めて敏感であり、変数グラウンディングは主要な失敗モードである。
RLVR の限界: 結果のみの報酬を用いた強化学習は、モデルの視覚的証拠の利用能力を実際には向上させずにベンチマーク性能を向上させる可能性がある。標準 RL で観察される「向上」は、画像に基づく推論をグラウンディングすることを学ぶのではなく、テキストおよび分布のショートカットを利用することをモデルが学習することに起因する可能性が高い。
診断の必要性: 将来の研究は、真の視覚的学習とショートカットに基づくパフォーマンス向上を区別するために、モダリティ転移の堅牢性と学習時グラウンディング診断（ブラインド学習制御など）を通じてマルチモーダル推論を評価しなければならない。

この研究は、モデルが単に代替の非視覚的経路を通じて正解に到達できるかどうかだけでなく、改善がタスクに不可欠な視覚的証拠に依存しているかどうかを明示的にテストするベンチマークと学習プロトコルの必要性を浮き彫りにしている。