How Well Do AI Systems Solve AP Physics? A Comparative Evaluation of Large Language Models on Algebra-Based Free Response Questions

该研究评估了四种主流大语言模型在 2015 至 2025 年 AP 物理自由响应题上的表现，发现尽管它们在结构化代数解题方面得分较高，但在空间推理、图表解读及概念整合等任务上仍存在显著局限和系统性错误。

要点

这篇论文就像是一场**“超级 AI 学生”的期末考试大比拼**。

研究人员找了四位目前最厉害的 AI 模型（ChatGPT 4.1 mini、Gemini 2.5 Flash、Claude 4.0 Sonnet 和 DeepSeek R1），让它们像高中生一样，去解答美国大学先修课程（AP）物理考试的**“自由问答题”**。这些题目不是简单的选择题，而是需要画图、解释原理、做计算和画图表的复杂大题。

为了公平起见，研究人员给它们设定了严格的规则：

• 角色设定：它们必须假装自己是参加考试的普通高中生，不能暴露自己是 AI。
• 评分标准：由三位真正的物理专家，拿着官方的评分标准，像批改学生试卷一样给 AI 的答案打分。
• 时间跨度：题目来自 2015 年到 2025 年的十年间。

以下是这场“考试”的趣味解读：

1. 总体成绩：AI 是个“优等生”，但有点“偏科”

如果把所有题目加起来算平均分，这四名 AI 学生都考得相当不错，平均分都在 82% 到 92% 之间。

• 比喻：这就像四个学霸，只要题目是纯数学计算或者背公式，它们几乎都能拿满分。它们处理代数题的能力非常强，就像一台精密的计算器，只要给对公式，就能算出完美答案。

2. 物理 1 vs 物理 2：不同的“战场”

• AP 物理 1（主要是力学）：一场“乱战”

  • 在这门课上，四个 AI 的表现忽高忽低，谁也压不住谁。今年 A 模型第一，明年 B 模型第一，排名经常互换。
  • 比喻：这就像四个运动员在跑不同地形的障碍赛。有的模型擅长跑平路（简单题），有的擅长跑上坡（难题），但没人能稳定地拿冠军。这说明目前的 AI 在面对力学问题时，还没有形成绝对的“统治力”。

• AP 物理 2（热学、电学、光学等）：实力分出了高下

  • 在这门课上，Gemini 和 DeepSeek 表现非常稳定，就像两个状态极佳的运动员，每次都能稳定发挥在 90 分以上。
  • 而 Claude 和 ChatGPT 则表现得稍微逊色一些，且波动较大。
  • 比喻：物理 2 的题目更像是一场“综合格斗”，需要把图形、电路图和抽象概念结合起来。Gemini 和 DeepSeek 就像是有“超级大脑”的选手，能更好地把这些零散的信息拼凑起来；而另外两个选手则容易在复杂的战术中迷路。

3. AI 的“致命弱点”：它们不是真的“懂”物理

虽然分数很高，但研究人员仔细检查了 AI 的“错题本”，发现它们犯了一些非常典型的、人类学生不会犯的**“低级错误”**。这揭示了 AI 目前的局限性：

• 看图像“瞎子”：
  • 比喻：如果题目给了一张图，画着两个小球在斜坡上滚，AI 经常看错图。比如，它可能没看出斜坡的坡度不同，就以为两个球会同时落地。它像是在“猜”图里有什么，而不是真的“看”懂了图。
• 画图表像“涂鸦”：
  • 比喻：当题目要求画一个波形图或电路图时，AI 经常画得张冠李戴。它知道要画个波浪，但波峰波谷的位置、坐标轴的刻度全是乱的。它知道“大概长什么样”，但不知道“具体怎么画”。
• 方向感“迷路”：
  • 比喻：物理里有很多方向（比如力的方向、电流方向、磁场方向）。AI 经常搞反方向，就像一个人拿着指南针，把“北”当成了“南”。一旦方向错了，后面算得再对，结果也是错的。
• 电路分析“短路”：
  • 比喻：在分析复杂的电路（谁和谁串联、谁和谁并联）时，AI 经常把线路接错，就像把家里的电线乱接一通，导致整个逻辑崩塌。
• 三维空间“晕头转向”：
  • 比喻：物理里有个“右手定则”（用来判断磁场方向），需要在脑子里把三维空间转来转去。AI 在这方面特别弱，经常把三维空间想成二维平面，导致判断完全错误。

4. 总结与启示：AI 是“好助手”，但不是“好老师”

这篇论文告诉我们一个重要的道理：

• AI 擅长什么？
  它擅长**“做算术题”和“套公式”**。如果你需要它帮你快速算出结果，或者解释一个定义明确的物理概念，它非常棒，像个不知疲倦的超级助教。

• AI 不擅长什么？
  它不擅长**“看图说话”、“空间想象”和“逻辑推理的连贯性”**。它容易在第一步看图时就理解错了，然后基于这个错误的理解，自信满满地算出一堆看似正确但完全错误的答案（就像一个人戴着墨镜开车，开得再快也到不了目的地）。

给老师和学生的建议：

• 可以用 AI：用来练习计算、检查公式、复习基础概念。
• 不能全信 AI：特别是遇到需要看图、画图、分析复杂电路或三维空间的题目时，一定要自己动脑筋。
• 教学新招：老师可以把 AI 犯的这些“看图错误”和“方向错误”拿出来，当作**“找茬游戏”**教给学生。让学生看看 AI 哪里想错了，反而能帮学生更好地理解物理原理。

一句话总结：
现在的 AI 物理模型就像是一个**“记忆力超群但视力有点近视的学霸”**。它背公式很溜，算数极快，但一旦题目需要它“看清图画”或“在脑子里转三维空间”，它就会犯迷糊。在完全解决这些问题之前，人类老师的指导依然是不可或缺的。

技术摘要

这是一份关于论文《AI 系统解决 AP 物理题的能力如何？基于代数基础自由回答问题的大型语言模型比较评估》（How Well Do AI Systems Solve AP Physics? A Comparative Evaluation of Large Language Models on Algebra-Based Free Response Questions）的详细技术总结。

1. 研究背景与问题 (Problem)

随着大型语言模型（LLM）在 STEM 教育领域的快速发展，评估其在复杂、多面性物理问题上的表现变得至关重要。尽管已有研究关注 LLM 在标准化测试中的表现，但针对**代数基础 AP 物理（AP Physics 1 & 2）自由回答题（FRQs）**的深入、系统性评估仍然不足。

• 核心挑战：AP 物理 FRQs 不仅要求定量计算，还涉及定性解释、实验设计、图表/图像解读以及多模态信息的转换。
• 研究缺口：缺乏对当前主流 AI 模型在处理此类开放性问题时的能力边界、错误模式及年际稳定性的细致分析。

2. 方法论 (Methodology)

本研究采用了一种严格控制的实验设计，旨在模拟真实的学生考试环境并评估模型表现。

• 数据集：
  • 选取了 2015 年至 2025 年间（排除 2020 年疫情期间非标准化考试）的 AP Physics 1 和 AP Physics 2 自由回答题。
  • 涵盖运动学、动力学、能量、动量、旋转运动、电学电路、波和现代物理等广泛主题。
• 评估对象：
  • 四个广泛可及的 LLM：ChatGPT 4.1 mini (OpenAI), Gemini 2.5 Flash (Google), Claude 4.0 Sonnet (Anthropic), DeepSeek R1 (DeepSeek)。
• 实验设置：
  • 标准化提示（Prompt）：设计了一个模拟高中学生身份的标准化指令，要求模型像学生一样逐步解题，明确禁止提及 AI 身份，并强制要求展示推理过程、公式和带单位的最终答案。对于绘图题，要求用文字详细描述。
  • 无优化策略：未使用思维链（Chain-of-Thought）脚手架、少样本示例或迭代优化，以评估模型的“基线”能力。
  • 评分机制：
    • 由三位拥有物理学高级学位的独立专家，依据官方 College Board 评分标准（Rubrics）进行独立评分。
    • 使用组内相关系数（ICC）和 Cronbach's alpha 评估评分者间信度。
    • 最终得分为三位评分者的平均分。
• 统计分析：
  • 使用 Friedman 检验（非参数重复测量分析）比较模型间的性能差异。
  • 使用 Wilcoxon 符号秩检验进行事后成对比较（Bonferroni 校正）。
  • 计算变异系数（CV）以衡量年际稳定性。

3. 关键贡献 (Key Contributions)

1. 首个长期纵向评估：提供了跨越 10 年（2015-2025）的 AP 物理 FRQs 评估数据，揭示了 AI 性能随时间变化的动态特征。
2. 细粒度的错误分类学：不仅关注分数，还建立了一套系统的错误分类体系，识别出 AI 在物理推理中的特定失败模式（如空间推理、图表解读等）。
3. 区分了代数题与多模态题的难点：明确了 AI 在纯代数计算上的优势与在视觉/空间推理上的劣势。
4. 方法论模板：提出了一套结合多评分者信度检验、非参数统计和定性错误分析的综合评估框架，适用于其他 STEM 领域的 AI 评估。

4. 主要结果 (Results)

A. 总体表现

• 所有模型在两个科目上均取得了较高的平均分（82% - 92%），显示出强大的结构化代数问题解决能力。
• AP Physics 1：四个模型表现非常接近，未发现统计学上的显著差异（Friedman 检验 $p=0.141$）。模型排名在不同年份间频繁波动，表明没有单一模型在所有年份都占优。
• AP Physics 2：模型间存在显著差异（Friedman 检验 $p=0.0012$）。
  • Gemini 和 DeepSeek 表现最佳且最稳定（DeepSeek 变异系数 CV 仅为 4.7%）。
  • Claude 表现显著低于 Gemini 和 DeepSeek。
  • ChatGPT 虽然数值上低于 Gemini 和 DeepSeek，但差异未达统计显著性，且其年际波动最大（CV = 12.6%）。

B. 稳定性分析

• Physics 1：排名极不稳定（Kendall's W = 0.182），不同模型在不同年份交替领先，说明考试的具体特征（如图表复杂度）对不同模型架构的影响差异巨大。
• Physics 2：排名相对稳定（Kendall's W = 0.532），Gemini 和 DeepSeek 长期占据前两名。

C. 常见错误模式 (Qualitative Analysis)

定性分析揭示了所有模型共存的系统性缺陷，主要集中在非代数推理领域：

1. 图表解读错误：无法准确从图中提取位置、运动状态或几何关系（如误判斜坡形状对时间的影响）。
2. 图表构建与数据提取错误：无法从 PV 图等中提取精确数值，或无法正确绘制具有物理特征（如振幅、平衡位置）的图表。
3. 方向性错误：向量方向判断失误（如力的方向、电场方向），导致后续计算虽逻辑自洽但结果错误。
4. 定性与定量推理不一致：定性解释与定量计算脱节（如忽略重力势能项）。
5. 电路拓扑错误：难以正确识别串联/并联关系，导致等效电阻计算错误。
6. 右手定则错误：在处理三维磁场、感应电流方向时频繁出错，显示出三维空间推理能力的不足。

5. 意义与启示 (Significance)

• 教育应用：
  • 潜力：AI 可作为代数计算、公式应用和概念复习的有效辅助工具。
  • 局限：教师应警惕学生对 AI 在涉及图表解读、空间推理和三维几何问题上的过度依赖。
  • 教学策略：利用 AI 生成的典型错误作为“反例”进行教学，帮助学生识别常见误区。
• 技术开发：
  • 当前 LLM 的主要瓶颈在于多模态对齐（Multimodal Grounding）和空间推理能力。
  • 未来的改进方向应集中在增强从视觉输入中提取定量信息的能力、三维空间推理以及自我一致性验证机制。
• 评估价值：
  • 标准化考试（如 AP）是追踪 AI 物理推理能力演进的严格基准。
  • 单纯的高分并不等同于真正的物理理解，必须结合错误模式分析来评估 AI 的“认知”深度。

总结：该研究表明，虽然当代 AI 系统在代数物理问题上已表现出类人的高水平，但在涉及视觉解释、空间推理和复杂概念整合的任务中仍存在明显短板。未来的 AI 教育工具发展必须跨越单纯的“文本生成”，向真正的“物理推理”迈进。