📊 statistics

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

本文介绍了 DiscoverPhysics，这是一个包含 22 个具有非标准物理规律的模拟世界的交互式基准，旨在通过设计实验和推断底层规律来评估前沿大语言模型进行长程科学推理的能力，研究结果表明，尽管顶级模型展现出潜力，但它们在揭示潜在结构方面仍面临困难，且预测准确性并不能保证概念性理解。

原作者： Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言、类比和隐喻对论文《DiscoverPhysics》的解释。

核心理念：AI 能成为真正的科学家吗？

想象一下，你把一个智能 AI 扔进一个物理规则完全虚构的视频游戏宇宙中。也许重力会随着距离增加而减弱，或者可能存在看不见的“幽灵”粒子在暗中牵引物体。

这篇论文的研究人员想知道：AI 能否仅通过在这个虚构宇宙中“玩耍”，就找出其中的规则？

他们创建了一个名为DiscoverPhysics的基准测试。这就像给 AI 的一场“期末考试”，但与其让 AI 背诵教科书中的事实（例如“牛顿第二定律是什么？”），不如让它从零开始发明定律。

测试如何运作：“黑盒”游戏

把 AI 想象成一名侦探，而宇宙则是一个充满谜团的密室。

设置： AI 被投入一个模拟世界。它无法看到“源代码”（实际的数学规则），只能看到粒子在移动。
工具： AI 拥有一根“魔法棒”（一个 N 体模拟器）。它可以说：“我想从这里以这个速度发射一个粒子”，模拟器会告诉它粒子最终会落在哪里。
过程：
- AI 发射几个粒子并观察它们的运动。
- 它提出一个假设：“也许重力遵循 $1/r^2$ 的规律？”
- 它测试这个假设。如果粒子的运动不符合预测，AI 就必须改变想法。
- 它重复这个过程多轮，设计更聪明的实验来识破宇宙的伪装。
期末考试： AI 必须提交两样东西：
- 故事： 用通俗英语解释这个世界是如何运作的。
- 代码： 一个能精确预测任何粒子去向的 Python 程序。

评分 AI 的两种方式

研究人员意识到，仅仅数学正确是不够的。在真正的科学中，你需要理解事物为何发生，而不仅仅是预测它们。因此，他们从两个方面对 AI 进行评分：

“水晶球”得分（预测准确性）： AI 的代码能否预测粒子会落在哪里？如果 AI 说“球会落在这里”，而它确实落在那里，它就得分。
“教师”得分（概念理解）： 一位人类专家（以及充当教师的第二个人工智能）阅读 AI 的故事。AI 是否真正理解了隐藏的规则？
- 例子： 如果这个世界有看不见的“暗物质”在牵引物体，但 AI 只是说“重力比平时强”，它的得分就会很低。它碰巧算对了数学，但错过了概念。

他们的发现

他们测试了 11 个最先进的人工智能模型（包括来自 OpenAI、Anthropic 和开源社区的顶级模型）。以下是发生的情况：

1. 最“聪明”的 AI 依然挣扎
即使是最好的 AI，也仅通过了约**50%*的宇宙测试。它们擅长记忆事实，但当需要发现*新规则时，它们就会陷入困境。

2. “隐藏陷阱”问题
当宇宙存在隐藏结构时，AI 最容易失败。

类比： 想象你试图弄清楚为什么一辆车在减速。如果你只看引擎，你可能会猜测刹车坏了。但如果路下有一个巨大的磁铁（隐藏的暗物质）在把车往后拉，除非你寻找磁铁，否则你找不到答案。
AI 不断试图用标准规则（如正常重力）来解释运动，并拒绝相信涉及“幽灵粒子”或额外维度。

3. 数学好 $\neq$ 理解好
一个模型（GPT-5.5）在预测粒子落点方面表现出色（误差低），但它对原因的解释往往是错误的。这就像一个背下了答案键但没理解课程的学生。
另一个模型（Claude Opus）在理解概念方面做得更好（例如意识到时间在改变规则），即使它的数学预测稍欠完美。

4. “猜测”与“实验”之间的差距
研究人员测试了 AI 是否真的在设计好的实验，还是仅仅在对着靶板乱投飞镖。

引导模式： AI 选择在哪里发射粒子。
随机模式： 计算机随机发射粒子，AI 只是观看。
结果： 顶级 AI 在能够自主选择实验时表现要好得多。它们学会了提出正确的问题。然而，许多开源模型在两种模式下的表现同样糟糕，这表明它们并没有真正在“思考”实验；它们只是在猜测。

结论

该论文得出结论：虽然 AI 在解决物理问题方面变得越来越出色，但它仍在学习如何做物理。

当前 AI： 就像一个才华横溢的学生，如果你给它公式，它能解出数学题；但如果你让它基于一些混乱的观察来发明公式，它就束手无策。
未来： 要成为真正的科学伙伴，AI 需要在“长程推理”方面做得更好——即具备这样的能力：“我目前的理论是错的，我需要尝试一种完全不同的实验来发现隐藏真相。”

简而言之：AI 可以预测未来，但它仍需帮助来理解谜团背后的原因。

技术摘要：DiscoverPhysics

问题陈述

尽管前沿大语言模型（LLM）在科学知识静态基准（如 GPQA）和推理任务上表现出强劲性能，但其进行真正科学发现的能力仍未得到证实。现有评估往往依赖于记忆事实、在固定数据集上进行符号回归，或在底层物理定律为标准形式仅参数发生偏移的交互任务中进行。这些方法未能检验科学发现的核心：即生成新颖假设、设计具有信息量的实验以区分竞争理论，以及基于含噪观测修订概念模型的能力。具体而言，当前的基准测试未能充分探测智能体是否能够揭示潜在结构（如隐藏粒子种类或额外维度），或在非标准物理环境中区分信号与噪声。

方法论

作者引入了DISCOVERPHYSICS，这是一个交互式基准测试，旨在评估 LLM 智能体在模拟世界中发现物理定律的能力，这些模拟世界被刻意设计为偏离标准教科书物理。

基准测试结构

模拟世界：该基准测试包含 22 个不同的世界（11 个公开，11 个私有），由非标准力定律支配。示例包括屏蔽（汤川）和分数幂引力、多物种耦合、隐藏类暗物质粒子、非坐标无关物理、随时间变化的相互作用以及额外维度。
智能体交互：LLM 智能体被赋予发现特定世界隐藏定律的任务。智能体在固定的实验轮次预算（ $n$ ）内进行操作。
循环过程：
1. 实验提案：智能体提出测试粒子，定义其初始位置、速度、电荷和测量时间。
2. 模拟：一个 $N$ 体模拟器（使用 Yoshida4 或 RK4 等积分器）基于隐藏的 ground-truth 定律生成原始轨迹数据。
3. 假设修正：智能体分析返回的轨迹数据，提出候选定律，并可选地使用工具通过 scipy.optimize 拟合参数。
4. 迭代：此循环重复进行，直到预算耗尽。
最终输出：智能体必须提交两项内容：
1. 关于该世界物理学的自然语言解释。
2. 推断定律的 Python 实现（一个演化粒子的函数）。

评估指标

该基准测试采用双轴评估框架，以评估预测准确性和概念理解能力：

轨迹均方误差（MSE）：智能体预测轨迹与保留测试粒子（无噪声）上的 ground-truth 轨迹之间的欧几里得距离均方值。这衡量了预测准确性。
解释得分：一个 LLM 评判器（Claude Opus 4）根据人类编写的评分标准（0–10 分）评估智能体的自然语言解释。这衡量了概念理解能力和识别结构特征（如屏蔽、隐藏物种）的能力。
通过标准：如果归一化轨迹 MSE 低于 0.1（10% 误差）且解释得分 $\ge 0.9$ ，则一个世界被视为“通过”。

实验设置

作者评估了 11 个前沿和开源 LLM（包括专有模型如 Claude Opus 4.7、GPT-5.5，以及开源模型如 Qwen3.5 和 Llama-3.3）。实验在每个模型每个世界的 5 个随机种子下运行。该研究还包括消融研究，比较了智能体引导的实验与随机实验，以及不同水平的观测噪声。

关键结果

整体表现：即使是最强的前沿智能体（Claude Opus 4.7 和 GPT-5.5）在五次尝试中也仅能通过约 50% 的世界。在需要识别潜在结构（如隐藏暗物质、额外维度）的世界中，性能显著下降。
预测准确性与概念理解：指标出现解耦。GPT-5.5 实现了最低的轨迹 MSE（最高的预测准确性），但在解释质量上往往得分低于 Claude Opus 4.7。这表明 GPT-5.5 倾向于通过早期采用灵活方程来很好地拟合数据，但未能修正其概念图景，而 Claude Opus 4.7 则通过实验展示了更好的假设修正能力。
实验设计：顶级模型在引导式实验和随机实验之间存在显著差距。随着实验轮次数量的增加，Claude Opus 4.7 的通过率和解释得分呈现单调提升，表明它能从新数据中学习并设计具有信息量的实验。相比之下，开源模型在引导模式和随机模式之间几乎没有差异，表明它们未能有效利用其实验预算。
开源与专有模型：在设计和提取结论方面，开源模型在实验设计方面大幅落后于商业模型。表现最好的开源模型（Qwen3.5）在五次尝试中仅解决了约 10% 的世界。
失败模式：对失败模式的分析揭示了明显的弱点：
- GPT-5.5：失败集中在“考虑正确类型的定律”（遗漏潜在结构）和处理 ODE 积分器中的数值奇点。
- Claude Opus 4.7：失败更广泛地分布在实验设计（未能区分假设）、编写忠实实现语言推理的代码、区分信号与噪声，以及知道何时停止实验等方面。

意义与主张

该论文声称，DISCOVERPHYSICS代表了目前对 LLM 基于自提议实验进行假设生成和修正这一定义模糊、迭代研究过程能力的最强测试。

超越记忆：该基准测试表明，在基于知识的基准测试中表现优异并不能保证具备发现新物理定律的能力。
实验的必要性：结果强调，物理科学中的科学发现 critically 依赖于设计有洞察力的实验的能力，而不仅仅是对静态数据的推理。
双重评估的必要性：论文认为，仅凭预测准确性（MSE）不足以评估科学发现；模型可以在不理解底层原理的情况下完美拟合数据。双重评估框架捕捉了智能体是仅仅插值数据，还是识别了生成机制。
当前局限性：作者谦逊地总结道，虽然前沿模型代表了显著的进步，但它们尚未具备完全自主科学发现的能力，特别是在面对需要推断隐藏自由度的非标准物理时。该基准测试是衡量这一特定高难度领域进展的工具。