🤖 AI

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

本文介绍了 SeePhys Pro 基准，该基准揭示了当前多模态模型在从文本到图像的模态迁移方面存在困难，并表明多模态 RLVR 训练带来的表面提升往往源于残留的文本线索，而非真正的视觉推理能力。

原作者： Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhe

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生如何解决一道物理题。你有两种提供信息的方式：1. 教科书法：你用文字写出题目，描述场景、数值和规则。2. 图解法：你画出场景的示意图，标注各部分，并将数值直接写在图上。直观上，只要信息相同，你会预期聪明的学生无论收到文字还是图片，解题能力都同样出色。但这篇名为 SEEPHYS PRO 的论文发现，对于当前的人工智能模型而言，事实并非如此。事实上，当你从文字切换到图片时，它们的表现会显著变差。以下是研究人员发现的要点，辅以简单的类比说明。### 1. “同一故事，不同格式”测试研究人员创建了一项名为 SEEPHYS PRO 的特殊测试。你可以将其视为人工智能的“翻译挑战”。对于每一道物理题，他们创建了四个版本，讲述完全相同的故事，但改变信息的呈现方式：* 等级 1（纯文本）：“一个物块重 5 千克，位于斜坡上。”（所有信息均为文字）。* 等级 2（结构在图中）：他们画出了斜坡和物块，但文字仍显示"5 千克”。（形状是图片，数值是文字）。* 等级 3（变量在图中）：他们画出了斜坡和物块，并在图片中的物块上直接写上"5 千克”。（形状和数值现在都在图片中）。* 等级 4（全图）：整个题目，包括指令和数值，都手写在一页纸上，并扫描为一张图片。发现：当人工智能模型尝试这些测试时，随着信息从文字转移到图片，其表现急剧下降。* “读取标签”瓶颈：性能下降最显著发生在 等级 3。这是人工智能必须查看图片并“锚定”变量的时刻（例如：“好吧，那条波浪线是导线，旁边数字'12'代表 12 伏特”）。* 类比：想象一位能完美遵循书面食谱（等级 1）的厨师。如果你递给他们一张带有标签的食材照片（等级 3），他们突然忘了如何烹饪。他们能看到图片，却无法将标签"2 杯面粉”与照片中实际的面粉袋对应起来。他们被视觉绑定搞糊涂了。### 2. “蒙眼训练”实验随后，研究人员提出了第二个问题：如果我们使用强化学习（RL）在数千道带图的物理题上训练这些人工智能，它们会变得更擅长阅读图片吗？为了测试这一点，他们设计了一项“盲训”实验。 正常训练：人工智能看到题目文字和图片。 盲训：人工智能看到题目文字，但图片被完全涂黑（遮蔽）。这就像在给学生进行物理题训练时让他们戴上眼罩，但老师仍给予相同的“正确答案”奖励。令人震惊的结果：尽管人工智能是在完全没有图片（只有黑屏）的情况下进行训练的，它们在包含图片的未遮蔽测试中表现依然有所提升。* 类比：想象一名学生在车窗被涂黑的车里练习驾驶考试。他们从未见过道路。然而，当他们最终在车窗打开的情况下参加真实考试时，驾驶得更好了。* 原因：研究人员发现，人工智能并非在学习如何“看”路。相反，它在学习捷径。它记住了文本中的模式、问题的风格或典型的答案。它学会了根据文本的“氛围”来猜测正确答案，而不是真正分析视觉图表。### 3. 准确率的“魔术”论文得出结论：当我们看到人工智能的分数上升时，不应仅仅欢呼。我们需要问：它们是真的学会了“看”，还是仅仅变得更擅长根据文本线索进行猜测？ * “盲增”：即使训练图像毫无用处（黑色），人工智能的分数依然提高了。这证明提升来自于文本和数据集的模式，而非视觉理解。* 差距依然存在：即使经过训练，人工智能在处理图片密集型版本（等级 3 和 4）时，表现仍比纯文本版本更差。“模态差距”（文本表现与图片表现之间的差异）并未缩小。### 总结* 问题：当前的人工智能模型是“文本主导”的。它们非常擅长阅读物理题，但在“看”题方面表现极差，尤其是当它们需要直接从图表中读取数值和标签时。* 陷阱：标准的训练方法（强化学习）可以通过提升其基于文本的猜测能力，使人工智能看起来更聪明，即使它从未真正学会解读视觉证据。* 教训：要真正让人工智能“看”懂，我们不能仅仅衡量它是否得出了正确答案。我们必须测试它得出正确答案是否* specifically 是因为它查看了图片*，而不仅仅是因为它识别出了文本模式。这篇论文本质上说的是：不要被高分蒙蔽。如果一个人工智能在不看图片的情况下就能解决问题，那它就没有真正学会“看”。

技术摘要：SEEPHYS PRO

问题陈述

多模态人工智能系统面临一个关键挑战：模态一致性，即当等效信息以不同形式（例如文本与图表）呈现时，保持相同推理行为的能力。当前的基准测试通常仅评估单一输入格式下的模型表现，从而掩盖了最终答案准确率的提升是源于真正的、与表示无关的推理，还是源于特定模态的捷径。这一差距在物理学领域尤为突出，因为图表往往定义了物理系统的结构和变量绑定，而不仅仅是文本的插图。现有的评估方法难以区分图表感知、变量读取、物理抽象以及下游符号推理方面的失败。

方法论

1. SEEPHYS PRO 基准测试

作者引入了SEEPHYS PRO，这是一个基于“相同物理，不同表示”原则的细粒度模态迁移基准测试。

设计：每个种子物理问题被转化为四个语义对齐的变体，逐步将任务关键信息从语言转移到视觉：
- 第 1 级 (L1)：纯文本（所有结构、变量和数量均以语言形式呈现）。
- 第 2 级 (L2)：结构在图像中（物理拓扑/关系在图像中；变量仍保留在文本中）。
- 第 3 级 (L3)：结构 + 变量在图像中（图表包含标签和数值）。
- 第 4 级 (L4)：完全渲染的图像（问题陈述、公式和图表转换为单一视觉输入，包括手写文本）。
数据构建：源自公共数据集、教科书、奥林匹克竞赛和考试中的超过 5,000 页 PDF 文件。该数据集包含 1,000 个种子问题（共 4,000 个变体），涵盖六个物理学科（力学、电磁学、光学、热力学、波动、现代物理）。
指标：该基准测试定义了具体指标以分解性能：
- 迁移差距： $\Delta S$ （L1→L2 结构迁移）， $\Delta V$ （L2→L3 变量 grounding）， $\Delta R$ （L3→L4 渲染），以及 $\Delta T$ （总差距）。
- 一致性：同时在所有四个级别正确解决问题的百分比。

2. 训练时诊断（盲训练）

为了调查基于可验证奖励的强化学习（RLVR）究竟是真正改善了视觉 grounding 还是仅仅利用了统计捷径，作者开发了两个大规模物理 RL 语料库（PhysRL-40K 和 PhysRL-8K）。

盲训练控制：一种负面对照设置，其中所有训练图像均被掩码（替换为黑色图像），使得训练实例在视觉上无法解决。
比较：模型通过标准 RL（带图像）和盲 RL（无图像）进行训练，并在未掩码的验证集上进行评估。
机制分析：作者采用文本删除、针对性文本删除、图像掩码率消融以及格式饱和控制，以隔离盲训练中性能提升的来源。

关键结果

推理时的脆弱性

对 15 个闭源和开源权重的多模态大语言模型（MLLM）的评估揭示了模态迁移下的显著脆弱性：

性能下降：平均准确率从 49.2% (L1) 下降至 35.8% (L4)，导致平均总迁移差距为 13.4 个百分点。
变量 Grounding 瓶颈：最大的性能下降发生在 第 2 级→第 3 级（ $\Delta V = 7.4$ ），此时模型必须从图像中定位变量和标签。这表明识别图表结构的问题小于读取并将特定数值量绑定到物理实体。
不一致性：即使是前沿模型（例如 GPT-5.4、Claude-4.7-Opus）也表现出较低的四向一致性（例如 GPT-5.4 为 32.6%），这意味着解决基于文本问题的模型在相同问题以视觉形式呈现时往往失败。
人类基线：人类高中生（L1 为 54.0%）表现出更强的鲁棒性，其性能在从文本迁移到结构时（L1→L2）实际上略有提升，而模型则出现退化。

训练时诊断

盲训练增益：令人惊讶的是，盲 RL（使用掩码图像进行训练）提高了在未掩码验证集上的准确率。对于 Qwen3-VL-4B，盲 RL 将第 1 级准确率从 9.9% 提升至 20.9%，将第 4 级准确率从 6.4% 提升至 13.0%。
差距未缩小：尽管准确率有所提升，但盲 RL 未能缩小模态迁移差距。总差距（ $\Delta T$ ）和变量 grounding 差距（ $\Delta V$ ）在训练后仍然很大，甚至扩大。
增益机制：机制分析表明，盲增益是由残留文本线索（例如问题模板、答案选项、数值范围）和数据集级别的统计规律驱动的，而非有效的视觉证据。
- 从训练数据中删除文本消除了盲增益。
- 即使格式奖励达到饱和，盲增益依然存在，排除了简单的格式合规作为唯一原因。
跨基准验证：这些发现延伸至外部数学和物理基准测试（例如 MathVerse、PhyX），表明仅基于结果的 RL 往往放大了非视觉捷径，而非促进真正的视觉 grounding。

意义与主张

本文认为，如果仅依赖最终答案准确率，当前对多模态推理的评估是不足的。作者主张：

缺乏表示不变性：前沿 MLLM 尚未成为表示不变的推理者；它们对信息的编码方式高度敏感，其中变量 grounding 是主要的失败模式。
RLVR 的局限性：仅基于结果的强化学习可以在不真正提高模型利用视觉证据能力的情况下提升基准测试性能。标准 RL 中观察到的“增益”可能主要源于模型学习利用文本和分布捷径，而非学习将推理 grounded 于图像。
诊断的必要性：未来的研究必须通过模态迁移鲁棒性和训练时 grounding 诊断（如盲训练控制）来评估多模态推理，以区分真正的视觉学习与基于捷径的性能提升。

这项工作强调了需要基准测试和训练协议，明确测试改进是否依赖于任务关键的视觉证据，而不仅仅是模型能否通过替代的非视觉路径得出正确答案。