How Well Do AI Systems Solve AP Physics? A Comparative Evaluation of Large Language Models on Algebra-Based Free Response Questions

この論文は、AP 物理の自由回答問題における最新 AI モデルの性能を評価し、構造化された代数問題では高い得点を示す一方で、図表の解釈や空間的推論、概念的統合を要する課題には依然として限界があることを明らかにしています。

要約

この論文は、**「最新の AI（人工知能）が、高校の物理の難しいテストにどれくらい合格できるのか？」**という実験結果を報告したものです。

まるで、**「4 人の天才的な AI 学生」**が、10 年間にわたって行われた「AP 物理（アメリカの大学入学資格試験レベルの物理）」の試験を受け、その成績を専門の先生たちが厳しく採点したという物語だと考えてみてください。

以下に、専門用語を排して、わかりやすい比喩を使って解説します。

---

1. 実験の舞台：4 人の AI 学生と 10 年間のテスト

研究者たちは、以下の 4 つの有名な AI（ChatGPT, Gemini, Claude, DeepSeek）を「学生」に見立てました。

• 試験内容: 2015 年から 2025 年までの「物理 1（力学など）」と「物理 2（電気・光など）」の自由記述問題。
• 採点方法: 3 人の物理の専門家が、実際の試験の採点基準（ルビリック）を使って、AI の答案を厳しくチェックしました。

2. 結果の総評：「計算は得意、でも絵は苦手」

【全体の成績】
4 人の AI 学生は、平均して**82%〜92%**という非常に高い点数を取りました。これは、人間の優秀な学生に匹敵するレベルです。

• 得意分野: 数式を並べて計算する問題や、決まった手順で解ける問題は、AI が完璧にこなします。まるで**「計算機が人間に化けた」**ような感じです。
• 苦手分野: しかし、年によって点数が激しく変動しました。特に「物理 1（力学）」では、どの AI が一番か毎年入れ替わり、一貫した「優等生」はいませんでした。

【物理 2 の結果】
「物理 2」では、Gemini と DeepSeekが他を抜いて安定した高得点でした。一方、ChatGPT は点数のブレが大きく、たまに満点を取ることもあれば、大幅に落ち込むこともありました。

3. AI が犯した「致命的なミス」6 選

AI がなぜ満点を取れなかったのか？彼らが犯したミスを分析すると、**「絵や図を見るのが苦手」**という共通点が見つかりました。

1. 図の読み間違い（「絵が見えていない」）

   • 例: 斜面を滑るブロックの図を見て、「高さが同じだから同時に着地する」と勘違いしました。実際は斜面の角度でスピードが変わるのに、AI は**「図の形」を無視して、数字だけを見て判断**してしまいました。
   • 比喩: 料理のレシピ（数式）は完璧に読めるのに、「材料の盛り付け（図）」を見て、何が入っているか見抜けない状態です。

2. グラフの読み取り・作成ミス

   • 例: グラフから「圧力」や「体積」の正確な数値を読み取れず、適当な数字を当てはめて計算しました。また、「グラフを描け」と言われても、軸のラベルや形を正しく説明できませんでした。
   • 比喩: 地図は読めるのに、道案内の図を描くのが下手で、「ここが曲がり角」と言っても、実際には直進しているような説明をしてしまいます。

3. 矢印の方向ミス（「右と左がわからない」）

   • 例: 力が「右向き」なのに「左向き」と答えるなど、ベクトル（矢印）の方向を間違えました。
   • 比喩: 「北は上」というルールは知っているのに、地図を見ながら「東は右」と言えないような状態です。

4. 説明と計算の矛盾

   • 例: 計算式は正しいのに、その理由の説明が物理の法則と矛盾していました。
   • 比喩: 「答えは 10 です」と言いつつ、「なぜ 10 になるのか？」という理由を、全く別の話で説明してしまうような状態です。

5. 回路図の誤解

   • 例: 電気回路の図を見て、「直列」か「並列」かを間違え、抵抗の値を間違った計算をしました。
   • 比喩: 配線図を見て、どこに電気が流れているかイメージできない状態です。

6. 右の法則（3 次元の方向）の失敗

   • 例: 磁石や電流の方向を指で示す「右の法則」を使う際、3 次元の空間を頭の中で回転させることができませんでした。
   • 比喩: 2 次元の紙の上では上手に描けるのに、3 次元の立体を頭の中で回転させて方向を判断するのが苦手です。

4. 結論と教訓：AI は「優秀な助手」だが「完全な先生」にはなれない

この研究からわかることは、**「AI は計算や公式の適用は天才的だが、図や絵から物理的なイメージを掴むのが苦手」**ということです。

• 先生たちへのアドバイス:
  AI は宿題の計算チェックや、公式の復習には役立ちます。しかし、**「図を描いて考えさせる問題」や「実験の設計」**などは、AI に任せず、人間がしっかり教える必要があります。AI の間違いを「なぜ間違えたのか？」を学ぶ教材として使うのも良いアイデアです。

• AI 開発者へのアドバイス:
  次世代の AI には、**「図を見て理解する力」と「3 次元の空間をイメージする力」**を強化してほしいと伝えています。

まとめ

この論文は、**「AI は物理のテストで素晴らしい成績を残したが、まだ『絵から考える』という人間の直感的な部分では、完璧ではない」**と教えてくれました。

AI は**「計算機の達人」ですが、「物理のイメージを掴む芸術家」**にはまだなれていないのです。教育現場では、この AI の「得意」と「苦手」を理解した上で、上手に付き合っていくことが大切だと結論づけています。

技術概要

論文要約：「AI システムは AP 物理学をどの程度解くことができるか？代数的自由記述問題に対する大規模言語モデルの比較評価」

本論文は、SUNY ファーミングデール州立大学およびヴァルダスタ州立大学などの研究者によって執筆され、2015 年から 2025 年にかけて実施された College Board による「AP 物理学 1（代数的）」および「AP 物理学 2（代数的）」の自由記述問題（FRQs）を用いて、4 つの主要な大規模言語モデル（LLM）の性能を体系的に評価した研究です。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定 (Problem)

大規模言語モデル（LLM）の急速な進歩により、STEM 教育におけるその役割への関心が高まっていますが、多面的で自由記述形式の物理学問題に対する性能評価は十分に研究されていません。

• 課題: 従来の研究では、構造化された計算問題での LLM の性能は高いものの、開かれた問題や概念的な理解、視覚的解釈（図表の読み取り）、空間推論を必要とする問題では性能が低下する傾向が指摘されています。
• ギャップ: AP 物理学試験のような、定量的計算だけでなく、実験設計、グラフ作成、図解の解釈、概念的説明を統合的に要求する複雑な FRQs に対する、複数の最新モデルの体系的な比較評価が不足していました。

2. 手法 (Methodology)

本研究は、厳格な実験デザインと統計的評価手法を採用しています。

• データセット: 2015 年から 2025 年（2020 年除く）の AP 物理学 1 および 2 の自由記述問題（FRQs）。対象は代数的なアプローチが求められる問題群です。
• 評価対象モデル:
  1. ChatGPT 4.1 mini (OpenAI)
  2. Gemini 2.5 Flash (Google DeepMind)
  3. Claude 4.0 Sonnet (Anthropic)
  4. DeepSeek R1 (DeepSeek AI)
• プロンプト設計: 各モデルに対して、標準化された指示プロンプトを使用しました。AI を「試験を受ける高校生」として振る舞わせ、図表の明示的な参照、段階的な論理展開、単位付きの計算、AI としての言及の禁止などを厳格に定めました。追加の推論支援（Chain-of-Thought など）は使用せず、モデルの基礎性能を評価しました。
• 評価プロセス:
  • 3 名の物理学の専門家（大学教授）が、College Board の公式採点基準（ルーブリック）に基づいて独立して採点しました。
  • 採点者の信頼性は、クラス内相関係数（ICC）とクロンバックのアルファを用いて検証されました。
• 統計分析:
  • 性能の安定性：変動係数（CV）の計算。
  • モデル間の比較：Friedman 検定（非パラメトリック反復測定）、事後比較には Bonferroni 補正を施した Wilcoxon 符号付き順位和検定を使用。
  • 効果量：Cohen's d および Kendall の W（合意係数）の算出。

3. 主要な貢献 (Key Contributions)

1. 長期にわたる体系的評価: 10 年間の試験データを用い、複数の最新 LLM を AP 物理学 FRQs で比較した初の詳細な研究の一つです。
2. 定量的・定性的な統合分析: 単なる平均スコアだけでなく、年ごとの変動性、統計的有意差、およびエラーパターンの体系的な分類（図解解釈、グラフ作成、ベクトル方向など）を提供しました。
3. モデルアーキテクチャの特性解明: 代数的計算には優れているが、視覚的・空間的推論においてモデル間で明確な性能差（および限界）が現れることを実証しました。

4. 結果 (Results)

4.1 全体的な性能

• 高得点: 全モデルが平均 82%〜92% の高いスコアを達成し、構造化された代数的問題解決においては強力な能力を示しました。
• 変動性: 年ごとのスコア変動が大きく、特に AP 物理学 1 ではモデル間の性能順位が安定していませんでした。

4.2 科目別・モデル別比較

• AP 物理学 1:
  • 4 モデル間の統計的有意差は認められませんでした（Friedman 検定 $p=0.141$）。
  • 性能順位は年によって頻繁に入れ替わり、Kendall の W（合意係数）は 0.182 と低く、問題の特性によって異なるモデルが有利になることを示唆しています。
• AP 物理学 2:
  • モデル間に統計的有意差が認められました（$p=0.0012$）。
  • GeminiとDeepSeekが最も一貫して高い性能（平均 91.2%、92.0%）と低変動性（CV 4.7%〜6.3%）を示しました。
  • Claudeは有意に低い性能（平均 84.1%）を示し、ChatGPTも数値的には低く（平均 82.5%）、変動が激しい（CV 12.6%）傾向がありました。

4.3 定性的なエラー分析（共通する失敗パターン）

全モデルで以下のような構造的な弱点が確認されました：

1. 図解の誤解釈: 図中の位置関係、運動状態、幾何学的関係の読み取りミス（例：斜面の傾きによる加速度の違いの無視）。
2. グラフの読み取り・作成ミス: 数値の抽出失敗、グラフの形状やスケーリングの欠落、物理的意味（平衡位置など）の無視。
3. 方向性の誤り: ベクトル（力、電場、運動）の方向の誤判定。
4. 定性的・定量的な矛盾: 数式は正しいが物理的な制約（重力ポテンシャル項の欠落など）を無視した説明。
5. 回路図の誤分析: 直列・並列関係の誤認、等価抵抗の誤計算。
6. 右ねじの法則の誤用: 3 次元空間における磁場や電流の方向判断の失敗。

これらのエラーは、視覚情報の定量化、3 次元空間推論、および複数の物理原理の統合が必要な問題で顕著に発生しました。

5. 意義と示唆 (Significance)

• 教育への示唆:
  • LLM は代数的な問題解決や公式の適用には有効ですが、図表の解釈、グラフ作成、3 次元空間推論が必要な問題では、誤った前提に基づいた一貫性のある誤答を生成するリスクがあります。
  • 教育現場では、AI を「答えの生成者」としてではなく、これらの特定の誤りパターンを教えるための「誤答例」として活用することが推奨されます。
• 開発への示唆:
  • 今後の AI 開発においては、マルチモーダル・グラウンディング（図表からの数値抽出精度の向上）、空間推論能力、および自己一貫性の検証メカニズムの強化が不可欠です。
• 評価手法の確立:
  • 本論文で用いられた「多人数採点＋非パラメトリック統計＋定性的エラー分類」という手法は、STEM 教育における AI 評価の標準的なテンプレートとなり得ます。

結論:
現在の AI システムは、定義された方程式による代数的操作においては高い能力を発揮しますが、視覚的解釈や空間的推論、概念的統合を必要とする物理学の深い推論においては依然として限界があります。教育ツールとして活用するには、これらの限界を理解し、人間の専門知識と組み合わせた慎重な導入が必要です。