Testing the capability and performance of Claude Sonnet 4 on the GRE physics test

技术摘要：Claude Sonnet 4 在 GRE 物理考试中的基准测试

问题陈述
随着人工智能（AI）日益融入 K–12 及高等教育，迫切需要对大语言模型（LLM）在解决复杂科学问题和展示批判性思维方面的能力进行基准测试。虽然此前的研究表明，通用型 AI 在处理光学和热力学等领域的大学高年级物理问题时往往表现挣扎（准确率仅为 35–39%），但通过先进处理能力增强的新型专用模型显示出了更强的潜力。本研究旨在评估 Anthropic 开发的 LLM——Claude Sonnet 4，在应对标准化研究生水平物理评估时的表现，以确定其是否能在复杂的解题任务中超过 90% 的准确率。

方法论
研究人员使用了由教育考试服务中心（ETS）提供的公开可用 70 道题目的 GRE 物理练习题（形式 GR1775）。研究采用了以下方案：

• 模型： Claude Sonnet 4，当时被确定为 Anthropic 最先进的免费模型。
• 输入： 每道题目均以截图形式单独提交给模型，不提供任何额外的文本或上下文。
• 评分协议： 将回答与 ETS 官方答案对照。由于消息限制，研究启动了多个对话会话以处理所有题目。如果模型在第一次尝试时回答错误但在第二次尝试时回答正确，则给予部分分数；否则，该题被标记为完全错误。
• 分析： 统计正确回答的总数，并使用官方 GRE 转换表将其转换为标量分数。研究还分析了不同内容领域（经典力学、电磁学、量子力学、原子物理学等）的表现，并将模型的表现与人类考生针对特定问题的平均准确率进行了比较。
• 内容领域分解： 研究分析了模型在特定内容领域（经典力学、电磁学、量子力学、原子物理学等）的表现，并将其与人类考生的平均准确率进行了对比。

关键结果
研究得出了以下定量和定性发现：

• 整体表现： Claude Sonnet 4 正确回答了 70 道题中的 65 道，准确率约为 93%。这对应于 990 分的标量分数，即 GRE 物理考试的最高可能得分。
• 内容领域分解：
  • 量子力学与原子物理学： 模型实现了 100% 的准确率（16/16 题）。
  • 电磁学： 模型得分为 12.5/13 正确。
  • 经典力学： 这是模型最薄弱的领域，得分为 12.5/14 正确（89% 准确率）。
• 与人类表现的相关性： 未发现模型表现与人类考生平均准确率之间存在相关性。对于人类准确率在 20–30% 之间的 17 道题目，模型仅在单个问题上损失了 0.5 分。
• 误差分析： 当出现错误时，这些错误归因于错误的综合处理，例如计算比例错误或对题目描述中的特定细节分析有误，而非缺乏概念理解。模型始终为其选择的答案提供深入的解释，这有助于识别具体的推理错误。

意义与主张
论文声称，结果支持了以下假设：消费级 LLM 能够高效地解决并解释高级科学领域的题目。作者得出结论：

1. 高水平能力： LLM 能够通过研究生水平的物理考试并获得最高分，这表明其在科学研究和教育方面具有变革性的潜力。
2. 教育效用： 这些模型是处理复杂问题的强大工具，可以避免人为错误，前提是必须承认它们在处理哲学概念或未解决的宇宙学问题方面的推理局限性。
3. 未来轨迹： 作者认为，通过持续的学习和用户训练，模型最终可能达到 100% 的准确率。他们还指出，性能可能会根据模型版本（如 Opus 与 Sonnet）而有所不同，且付费订阅在用量分配和模型质量方面可能提供进一步优势。

研究强调，尽管 AI 展示了巨大的潜力，但它仍受限于细节导向的综合处理能力，并且尚未具备像 ChatGPT 等竞争对手模型那样完整的生成能力（如图像或视频生成）。