💬 NLP

Physics-R1: An Audited Olympiad Corpus and Recipe for Visual Physics Reasoning

论文"Physics-R1"指出了现有多模态物理评估流程中的关键缺陷——具体包括数据污染、翻译漂移和多项选择题饱和——并通过发布经过严格审计的语料库以及一种在新型开放式奥林匹克基准测试上实现显著性能提升的新推理模型来解决这些问题。

原作者： Shan Yang

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Shan Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能（AI）的世界就像一场规模宏大、 stakes 极高的烹饪比赛。目标是看哪些 AI“厨师”能解决复杂的物理问题（比如推算火箭如何飞行，或电流如何移动）。为了评判它们，比赛组织者给它们一套测试题。

你正在阅读的这篇论文，"Physics-R1"，本质上是一份举报报告和一本新食谱。作者杨山（Shan Yang）认为，当前的烹饪比赛存在舞弊，因为测试题被污染了，而且评委存在偏见。以下是用通俗语言进行的拆解：

1. 问题所在：测试题被“泄露”了

想象一个学生正在准备数学考试。如果他不慎背下了老师用于期末考试的那本练习册里的确切答案，他就能拿到满分，但这并不意味着他真正理解了数学。

论文发现，许多 AI 模型正在做完全相同的事情。

“泄露”： 作者审计了用于训练这些 AI 的公开“训练池”（即练习册）。他们发现，许多用来给 AI 评分的测试题，实际上就隐藏在这些 AI 学习过的练习册中。
“改写”诡计： 这不仅仅是完全复制。有时，AI 看到的问题是“一个球从 10 米高处落下”，而测试题问的是“如果一个球体从 10 米高度掉落……"。旧有的计算机程序（用于检测作弊，寻找完全相同的词汇）错过了这些情况。
新的审计： 作者构建了一个三阶段安全卫士：
1. 词汇计数器： 检查确切的词汇匹配。
2. 含义扫描仪： 检查句子含义是否相同，即使词汇不同。
3. 类人法官： 一个超级智能的 AI，它阅读练习题和测试题，并判断：“是的，这是同一个问题，只是换了个伪装。”
利用这种方法，他们发现了数千个该领域此前遗漏的“作弊”配对。他们清洗了数据，创建了一个清洁训练集（称为PHYSCORP-A），迫使 AI 真正去学习，而不仅仅是死记硬背。

2. 翻译陷阱：语言很重要

想象你在参加驾驶考试。当指令使用你的母语时，你轻松通过；但当同样的测试被翻译成外语时，你却失败了，因为语法令人困惑，或者路标的描述方式不同。

作者用爱沙尼亚语（原始语言）和英语（翻译语言）的物理问题测试了这一点。

结果： 一款顶级 AI（Sonnet 4.5）在原始爱沙尼亚语问题上得分为30.5%，而在英语翻译版本上仅为13.6%。
教训： 翻译复杂的科学问题往往会丢失细微的细节。如果我们只用英语测试 AI，我们可能会认为它们的物理能力比实际更差，或者我们实际上是在测试它们的翻译能力，而非物理能力。

3. 格式陷阱：多项选择 vs. 真实思考

想象一个学生非常擅长在多项选择题（A、B、C 或 D）中猜题，但当被要求在空白纸上写出解题过程时却僵住了。

论文发现，AI 的表现根据测试格式的不同存在巨大差距：

多项选择（简单模式）： 该 AI 在多项选择题测试中得分为79.7%。
开放式（困难模式）： 同一款 AI 在必须从头写出答案的测试中，得分仅为33.4%。
差距： 这是一个46 分的差距。论文认为，该领域一直高估了 AI 的智能，因为它主要是在测试“简单模式”（多项选择），在那里 AI 可以猜测或识别模式，而不是测试“困难模式”（从头求解）。

4. 解决方案：新食谱（Physics-R1）

为了解决这些问题，作者没有仅仅指责他人，而是建立了一个新厨房。

清洁的食材： 他们发布了一个经过审计的新数据集（PHYSCORP-A，保证不含“泄露”的试题）。
新测试： 他们创建了一个更难的考试，名为PHYSOLYM-A。它使用 AI 从未见过的原始问题（主要来自爱沙尼亚和国际奥林匹克竞赛）。
烹饪方法（Physics-R1）： 他们使用一种特定的“食谱”（称为GSPO+DAPO的方法）训练了一个新的 AI 模型。
- 他们没有给 AI 每一个微小步骤提供复杂、详细的分数（这可能会诱骗 AI 写出看起来华丽但错误的答案），而是使用了二元奖励。
- 类比： 这就像比赛中的裁判。裁判不再因为“姿势优美”或“字迹漂亮”而给分，裁判只说：“你得到正确答案了吗？是 = 1 分。否 = 0 分。”
- 这个简单的规则迫使 AI 停止试图用华丽的格式来“钻系统空子”，而是真正专注于正确解决物理问题。

结果

当他们在新的、清洁的、高难度的考试中测试他们的新 AI（Physics-R1）时：

与基础模型相比，它有了显著进步（分数从 8% 提升到 26%）。
它击败了其他开源模型。
它仍然落后于最好的闭源“超级 AI"（Sonnet 4.5），但它证明了通过清洁数据和正确的训练方法，开源模型可以学习真正的物理推理。

总结

这篇论文是对 AI 社区的行动呼吁：

停止作弊： 清洗你的训练数据，确保模型不是在死记硬背测试答案。
留意语言： 不要假设翻译是完美的；要用原始语言进行测试。
停止猜测： 在开放式问题上测试模型，而不仅仅是多项选择题。
保持简单： 有时，简单的“对/错”奖励比复杂的评分系统更能教会 AI 思考。

作者已发布了所有的“食材”（数据）、“食谱”（代码）和“考题”（基准测试），供任何人使用和验证。

技术摘要：Physics-R1：一个经过审计的奥林匹克竞赛语料库与视觉物理推理方案

问题陈述

多模态物理推理领域严重依赖视觉 - 语言基准来评估模型能力。然而，这些基准的构建很少经过审计，导致三个关键的方法论缺口，扭曲了跨模型比较并虚高了前沿排名：

训练 - 评估污染：公共训练池（如 SciInstruct、UGPhysics-Train）通常包含相对于评估集的改写或近重复问题。传统的单阶段 $n$ -gram 审计无法检测这些“改写暗物质”实例。
翻译漂移：多语言基准通常依赖将原本用其他语言编写的问题翻译成英语。这些翻译可能会降低信息含量（词汇、语法格、范围），导致与原版相比，模型在翻译版本上的能力被系统性低估。
格式与新颖性饱和：当前的基准往往被多项选择题（MCQ）所饱和，或缺乏新颖性，导致性能在“封闭前沿天花板”处停滞，此时驱动分数的往往是格式和任务熟悉度，而非真正的推理能力。

方法论

本文提出了对评估流程的端到端审计，并引入了相应的训练方案和语料库以解决这些缺口。

1. 三阶段审计流程

为了检测逃避标准 $n$ -gram 检查的污染，作者在训练池和评估集之间成对实施了三阶段审计协议：

阶段 1（N-gram）：计算 5-gram Jaccard 相似度（ $J \ge 0.4$ ）以捕捉逐字或近乎逐字的重复项。
阶段 2（嵌入）：使用 mxbai-embed-large 计算余弦相似度（ $\cos \ge 0.85$ ）以捕捉阶段 1 遗漏的改写重复项。
阶段 3（LLM 裁判）：Haiku-4.5 LLM 裁判将阶段 2 的候选项分类为紧密重复项（同一问题的改写/数值变体）或同题邻居（相关物理内容但设置不同）。仅移除紧密重复项。

2. 数据构建

PHYSCORP-A：一个包含 6,432 条记录的多模态语料库，通过对 14,294 条记录的预审计池应用三阶段审计构建而成。其来源包括爱沙尼亚物理奥林匹克竞赛（带有原生难度标签）、Kevin Zhou 的手册以及七项国际奥林匹克竞赛。
PHYSR1CORP：一个包含 2,268 条记录的封闭式强化学习（RL）训练池（仅限多项选择和数值题），源自 PHYSCORP-A，并针对六项公共物理评估进行了严格审计。
PHYSOLYM-A：一个包含 500 道题的留用奥林匹克竞赛评估集。其 99.8% 为新颖来源（仅披露与 OlympiadBench-Physics 的一处重叠而未剔除），并包含用于跨语言分析的双语（英语/爱沙尼亚语）子集。

3. Physics-R1 方案

Physics-R1 是一个参考强化学习（RL）方案，使用 GSPO（组序列策略优化）和 DAPO（解耦截断与动态采样），从 Qwen3-VL-8B-Thinking 冷启动。

奖励函数：作者推荐基于匹配提取的框选答案与黄金解的二元正确性奖励（ $r \in \{0, 1\}$ ）。他们论证，在具有组归一化优势的 GSPO 下，这是方差最优的，并且对“古德哈特”渠道具有鲁棒性，在这些渠道中，模型会优化格式代理（如 LaTeX 结构）而非物理正确性。文中报告了一个包含单位、守恒定律和符号形式的五分量密集奖励作为消融实验。
课程：采用 MM-Eureka 风格的难度课程，丢弃基础模型实现 0/N 或 N/N 滚动的提示。

主要发现

审计和实验揭示了三个主要发现：

隐藏污染：虽然公共训练池通过了单阶段 $n$ -gram 审计（0 次命中），但三阶段审计揭示了显著的污染。例如，在 SciInstruct 中，审计发现了 4,846 个改写候选项，其中 134 个经 LLM 裁判确认为紧密重复项。
翻译差异：在 59 对爱沙尼亚语/英语奥林匹克竞赛问题上，Claude Sonnet 4.5 在原始爱沙尼亚语文本上的严格准确率为 30.5%，而在英语翻译上仅为 13.6%。这 17 个百分点的差异表明，对于具有强跨语言迁移能力的模型，英语翻译会系统性低估其能力。
格式与新颖性梯度：在相同的 Sonnet 4.5 权重下，性能在不同基准间下降了 46 个百分点：PhyX（多项选择）为 79.7% $\to$ OlympiadBench-Physics（开放式）为 50.4% $\to$ 经审计的 PHYSOLYM-A（开放式、新颖来源）为 33.4%。这一梯度表明，当前的基准已被格式和熟悉度所饱和，而非推理深度。

结果

在经审计的 PHYSR1CORP 上使用二元奖励训练的 Physics-R1，证明了清洗后语料库的可训练性：

PHYSOLYM-A：将 8B 基础模型从 8.0% 提升至 26.3%（3 次种子均值），提升了 18.3 个百分点。它落后于 Sonnet 4.5 7.1 个百分点，但优于所有开源基线（包括 Qwen3-VL-32B）和非 Sonnet 的闭源 API。
PhysReason：从 23.9% 提升至 39.6%，超越了 Qwen3-VL-32B 和 Gemini 2.5 Pro。
OlympiadBench-Physics：从 46.2% 提升至 46.2%（注：摘要指出提升了 6.9 个百分点，意味着在使用的特定划分上从约 39.3% 提升至 46.2%，尽管表格显示 3 次种子均值为 46.2±1.5）。
PhyX（多项选择）：从 77.8% 提升至 77.8%（保持稳定，因为多项选择题通常已饱和）。

论文指出，二元奖励在开放式任务上优于密集奖励（PhysReason 提升 8.9 个百分点，PHYSOLYM-A 提升 6.4 个百分点），而在饱和的多项选择题上表现相当。

意义与主张

本文将其定位为一项方法论干预，而非纯粹的算法突破。其主要贡献包括：

可训练性证据：通过展示在严格审计的语料库上训练的模型在留用的、无污染的评估（PHYSOLYM-A）上显著提升，作者验证了此前物理推理基准的停滞部分归因于数据污染和饱和，而不仅仅是模型局限性。
测量协议：本文认为，可辩护的物理 - 视觉语言测量需要三个属性：三阶段审计、原生语言黄金标准以及开放式新颖来源评估。
成果发布：发布 PHYSCORP-A、PHYSR1CORP、PHYSOLYM-A 和 Physics-R1 方案，为社区提供了复现这些发现并在干净数据上构建未来模型的工具。

作者谦逊地声称 Physics-R1 是一个“参考方案”，二元奖励是“可部署的默认选项”，同时承认密集奖励和特定的种子敏感性需要进一步消融。该工作并未声称解决所有物理推理挑战（例如，研究生级别的微扰理论仍然困难），但建立了一个更清晰的基准来衡量进展。