Vision Language Models Cannot Reason About Physical Transformation

该论文通过构建 ConservationBench 基准测试发现，当前视觉语言模型在面对物理变换时无法真正理解守恒定律，其表现接近随机猜测且受文本先验误导，表明它们缺乏在动态场景中保持物理属性变换不变性的推理能力。

要点

这篇论文就像是一份给当前最聪明的“视觉语言模型”（VLMs，也就是能看图说话的 AI）做的**“物理常识体检报告”**。

报告的核心结论非常扎心：现在的 AI 虽然能看图、能说话，但它们根本不懂“物理守恒”这个最基本的道理。

为了让你更容易理解，我们可以把这篇论文的研究过程想象成一场**“给 AI 做的皮亚杰儿童心理测试”**。

1. 什么是“守恒”？（皮亚杰的经典实验）

在心理学中，有一个著名的概念叫“守恒”。

• 场景：你拿两个一模一样的杯子，里面装了同样多的水。
• 变化：你把其中一个杯子里的水倒进一个又细又高的杯子里。
• 问题：水变多了吗？
• 人类小孩的答案：如果你问一个 4 岁的小孩，他可能会说“变多了，因为水变高了”。但如果你问一个 7 岁以上的小孩，他会告诉你：“没变，只是杯子形状变了，水的总量是一样的。”
• AI 的表现：这篇论文发现，现在的顶级 AI 模型，表现得就像那个4 岁的小孩，甚至更糟糕。它们被“视觉表象”骗了，以为水变高了就是水变多了。

2. 论文做了什么？（Conservation-Bench 大考）

作者们设计了一个名为 Conservation-Bench 的考试，专门考 AI 是否懂得“物理量在变化中保持不变”的道理。

• 考题内容：他们拍了很多短视频，比如：
  • 数量守恒：把一排硬币摊开，硬币变长了，但数量变了吗？
  • 体积守恒：把水倒进不同形状的瓶子，水变多了吗？
  • 大小守恒：把一团橡皮泥捏扁，橡皮泥变少了吗？
• 考题规模：他们给 112 个 不同的 AI 模型（包括目前最火的商业模型和开源模型）出了 23,040 道题。
• 陷阱题：为了不让 AI 瞎蒙，他们还特意设计了“反守恒”的陷阱题（比如真的倒掉了一部分水），看 AI 能不能发现水真的变少了。

3. 测试结果：AI 的“翻车”现场

结果非常令人失望，甚至可以说是“系统性失败”：

• 像猜谜一样：AI 的平均成绩只比随机乱猜（33%）高一点点。
• 死脑筋：AI 似乎有一个“默认设置”，认为“东西没变”。
  • 在守恒题（水没变）里，它们猜对了，但这不是因为它们懂了物理，而是因为它们在瞎蒙“没变”。
  • 在陷阱题（水真的变少了）里，因为它们还在死守“没变”的默认设置，结果全错。
  • 比喻：就像一个学生，不管老师问什么，都回答“是”。如果老师问“天是蓝的吗？”，他对了；如果老师问“天是红的吗？”，他就错了。AI 现在的状态就是这种“死脑筋”。

4. 为什么 AI 会失败？（找到了病根）

作者们像侦探一样，尝试了各种方法给 AI“治病”，但都失败了：

• 给更多帧画面（提高时间分辨率）：就像给 AI 看更慢动作的视频，希望能看清过程。结果：没用。AI 还是看不懂。
• 换提示词（Prompting）：就像老师教学生“你要一步步思考，不要只看表面”。结果：没用，甚至让 AI 更糊涂了。
• 让人类选关键帧：让人类挑出最重要的画面给 AI 看。结果：没用。

真正的病根在哪里？
作者做了一个绝妙的实验：

1. 把图片变成纯白（只给文字提示）：AI 反而答对了！因为它依赖的是文字里的“常识”（比如题目通常暗示东西没变）。
2. 加上真实的图片：AI 反而答错了！

比喻：
这就好比 AI 是一个**“听觉敏感但视觉混乱的盲人”**。

• 当它只听题目（文字）时，它能利用语言里的逻辑猜对答案。
• 一旦它“看见”了图片，图片里的视觉信息（比如水变高了）反而干扰了它的逻辑，让它误以为水真的变多了。
• 结论：AI 并没有真正理解“物体在空间中连续运动”的过程。它只是把视频当成一堆静止的图片在拼凑，无法像人类一样在脑海里构建一个“动态的物理世界”。

5. 这对我们意味着什么？

• AI 不是全能的：虽然现在的 AI 能写诗、能画画、能聊天，但在理解物理世界（比如机器人拿杯子、自动驾驶避障）方面，它们还非常幼稚，甚至不如一个 7 岁的人类小孩。
• 未来的挑战：如果 AI 不能真正理解“东西变了但本质没变”这种物理规律，那么让它们去操作真实的机器人（Embodied AI）就会非常危险，因为它们可能会因为“看起来变了”就做出错误的判断。

总结

这篇论文告诉我们：目前的 AI 只是“看起来”很聪明，实际上它们缺乏对物理世界最基础的“直觉”。 它们就像是一个只会背公式但不懂物理原理的学生，一旦遇到稍微复杂一点的动态变化，就会彻底“掉链子”。

要造出真正能像人类一样在现实世界工作的 AI，我们首先得教会它们理解：“水倒进细杯子里，虽然变高了，但它还是那么多水。” 这听起来很简单，但对 AI 来说，却是一座难以逾越的高山。

技术摘要

1. 研究背景与问题 (Problem)

尽管视觉语言模型（VLMs）在感知、推理和视觉常识理解方面取得了显著进展，但它们是否真正理解**物理变换（Physical Transformations）**及其背后的守恒原理，仍然是一个未解之谜。

• 核心问题：人类智能的一个关键特征是能够理解物理量在变换过程中的不变性（Invariance），即“守恒”（Conservation）。例如，将水倒入不同形状的杯子，虽然液面高度和形状变了，但体积不变。
• 现有局限：现有的基准测试多关注静态场景中的物体计数或视频生成质量，缺乏对动态场景中物理属性是否保持不变的系统性评估。VLMs 可能仅依赖表面特征或文本先验，而无法真正整合时序信息来跟踪物理变换。
• 研究目标：评估 VLMs 是否具备真正的物理推理能力，即能否在视觉外观改变的情况下，识别出物理量（如数量、长度、体积、大小）的守恒性。

2. 方法论 (Methodology)

作者提出了 ConservationBench，这是一个基于认知科学原理的基准测试，专门用于评估 VLMs 对物理变换的推理能力。

2.1 数据集构建 (ConservationBench)

• 核心任务：包含 192 个视频任务，覆盖四个核心物理属性：
  1. 数量 (Number)：硬币排列的疏密变化。
  2. 长度 (Length)：吸管位置或形态的变化。
  3. 体积 (Volume)：液体倒入不同形状容器。
  4. 大小 (Size/Mass)：橡皮泥形状的改变。
• 任务类型：
  • 守恒任务 (Conserving)：物理量保持不变，仅外观改变（如皮亚杰守恒实验）。
  • 非守恒控制任务 (Non-conserving Controls)：物理量实际发生了改变（如倒水时洒出、增加硬币），但无关特征（如容器形状、背景）保持一致。这是为了检测模型是否仅依赖“默认不变”的启发式策略。
• 变量控制：为了排除捷径，任务中系统性地变化了物体数量、颜色、布局、容器形状等无关特征。
• 数据规模：总共生成 23,040 个测试样本，涵盖 112 个不同的 VLM 模型。

2.2 实验设计变量

为了探究模型失败的原因，作者进行了多维度的控制实验：

• 时序分辨率 (Temporal Resolution)：测试不同帧数（3, 5, 7, 9, 16 帧）对推理的影响。
• 采样策略 (Sampling Strategy)：
  • 均匀采样 (Uniform)。
  • 基于人类直觉的采样 (Human-based)。
  • 基于模型语义显著性的采样 (Model-based/SEVILA)。
• 提示策略 (Prompting)：
  • 直接提问 (Direct)。
  • 序列处理 (Sequential)。
  • 思维链 (CoT)。
  • 强调连续性 (Continuous)。
• 偏差解耦实验：
  • 空图像控制 (Empty Image Control)：仅保留文本提示，图像全白。
  • 纯文本控制 (Text Control)：完全移除视觉输入。

2.3 评估对象

评估了 112 个 主流 VLMs，包括商业闭源模型（如 GPT-4o, Gemini, Claude）和开源模型（如 Qwen-VL, InternVL, LLaVA 系列），参数量从 1B 到 76B 不等。

3. 关键结果 (Key Results)

3.1 系统性失败

• 整体表现：VLMs 在守恒任务上的准确率普遍接近随机猜测水平（约 33.3%），最高仅达到 69%（Gemini-2.5-Pro），远低于人类基线（98.35%）。
• 负相关现象：模型在“守恒任务”上的表现与在“非守恒控制任务”上的表现呈显著负相关（$r = -0.51$）。
  • 这意味着：那些在守恒任务上得分高的模型，往往在非守恒任务（实际量变了）中错误地坚持“量没变”；反之亦然。
  • 结论：模型并非真正推理，而是依赖默认启发式策略（Default Heuristics），倾向于假设物理量是守恒的，无论视觉证据如何。

3.2 文本先验 vs. 视觉干扰

• 文本主导：在“空图像”和“纯文本”控制实验中，模型表现出强烈的文本先验，倾向于回答“守恒”（Invariance）。
  • 在空图像条件下，约 85.7% 的回答是“守恒”。
  • 在纯文本条件下，约 73.7% 的回答是“守恒”。
• 视觉干扰：令人惊讶的是，当加入真实的视觉内容时，模型在守恒任务上的准确率反而下降了（从空图像的 85.7% 降至约 60%）。
  • 解释：视觉信息并没有帮助模型进行正确的推理，反而干扰了其正确的文本先验，导致模型基于错误的视觉特征做出了错误的判断。这表明模型缺乏从视觉序列中提取不变性特征的能力。

3.3 提示与帧数的无效性

• 提示策略：增加思维链（CoT）或强调连续性的提示，没有显著提升性能，甚至在某些情况下降低了表现。
• 帧数增加：增加输入帧数（从 3 帧到 16 帧）没有带来稳定的性能提升。模型无法有效整合时序信息来跟踪物理变化。
• 采样策略：对于必须观察变换过程的任务（如体积），人类或模型精选的帧并没有比均匀采样带来显著优势，甚至有时更差。

3.4 规模缩放 (Scaling) 无助于推理

• 模型参数量（从 1B 到 76B）与守恒任务的准确率几乎无关（$R^2 = 0.019$）。
• 虽然大模型在非守恒控制任务上表现稍好（$R^2 = 0.239$），但这仅表明它们对“量变”的文本模式更敏感，而非真正理解了物理变换。
• 结论：物理变换推理能力并未随着模型规模的扩大而自然涌现（Emergence）。

4. 主要贡献 (Key Contributions)

1. 提出 ConservationBench：首个专门针对 VLMs 物理变换推理（守恒概念）的认知基准，包含守恒与非守恒的配对控制任务。
2. 揭示系统性缺陷：证明了当前 VLMs 缺乏对物理属性的变换不变性表示（Transformation-invariant representations）。它们依赖文本先验而非视觉推理。
3. 解耦偏差来源：通过控制实验证明，视觉内容不仅未能辅助推理，反而干扰了模型基于文本的正确直觉，揭示了模型在视觉时序整合上的根本缺陷。
4. 否定缩放定律：指出物理推理能力不会随模型参数量的增加而自动涌现，现有的 VLMs 架构可能存在根本性的物理理解瓶颈。

5. 意义与影响 (Significance)

• 对具身 AI (Embodied AI) 的警示：如果模型无法理解物理量的守恒和变换，它们将无法在动态的物理环境中可靠地执行任务（如机器人操作、工具使用）。
• 重新评估 VLMs 的推理能力：目前的基准测试可能高估了 VLMs 的推理能力，因为它们可能只是记住了静态场景的模式或文本统计规律，而非真正的因果推理。
• 未来方向：
  • 需要开发具有时序感知和物理 grounding 的新架构。
  • 需要研究如何将物理常识（如守恒律）显式地注入模型，或改进视觉编码以捕捉变换中的不变性。
  • 未来的基准测试应包含更复杂的物理场景（如遮挡、形变、噪声）。

总结：这篇论文通过严谨的实验设计，有力地证明了当前的视觉语言模型并不具备人类水平的物理变换推理能力。它们无法在动态视觉场景中维持物理属性的不变性表示，其表现更多依赖于文本先验和脆弱的启发式策略，而非真正的物理理解。这一发现为构建更可靠的具身智能系统敲响了警钟。