🤖 AI

Beyond Recognition: Evaluating Visual Perspective Taking in Vision Language Models

该论文通过构建包含 144 个受人类测试启发的视觉任务，评估了多种视觉语言模型在场景理解、空间推理及视觉观点采择方面的能力，发现尽管模型在场景理解上表现优异，但在空间推理和观点采择任务上存在显著缺陷，揭示了当前模型在深层几何与空间推理能力上的不足。

原作者： Gracjan Góral, Alicja Ziarko, Piotr Miłoś, Michał Nauman, Maciej Wołczyk, Michał Kosiński

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gracjan Góral, Alicja Ziarko, Piotr Miłoś, Michał Nauman, Maciej Wołczyk, Michał Kosiński

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给现在的顶级 AI（视觉语言模型）做一场**“心理体检”**，专门测试它们是否真的能“换位思考”，还是仅仅在“看图说话”。

我们可以把这项研究想象成一场**“乐高积木大考”**。

1. 考试背景：AI 真的懂“别人怎么看世界”吗？

现在的 AI 很聪明，能认出图片里的猫、狗、桌子，甚至能数数。但是，如果我们要让 AI 去开车或者当机器人助手，它光认识物体是不够的。它必须知道**“别人看到了什么”**。

例子：自动驾驶汽车必须知道旁边的司机能不能看到前面的行人；机器人递东西前，得知道人能不能看到那个杯子。
核心问题：AI 能像人类一样，站在别人的角度（比如一个乐高小人）去看世界吗？这就是**“视觉视角转换” (Visual Perspective Taking)**。

2. 考试设计：乐高积木的“极简”迷宫

为了公平测试，作者们没有用复杂的真实照片（怕 AI 以前见过），而是用乐高积木搭建了一个个简单的场景：

主角：一个乐高小人。
道具：一个物体（比如一只乐高小狗、一把椅子）。
玩法：把小人和小狗放在不同的位置，让小人面向不同的方向，然后从两个角度（俯视像看地图，平视像看照片）拍照。
题目：一共 144 道题，每道题问 7 个问题，难度层层递进：
1. 看图说话（简单）：图里有几个东西？小人和狗在同一个平面上吗？（AI 这关几乎满分）。
2. 空间推理（中等）：狗在小人的哪边？小人面向哪个方向？（AI 开始犯迷糊）。
3. 换位思考（困难）：如果你是那个乐高小人，你能看到狗吗？狗在你的左边还是右边？（AI 在这里彻底崩盘）。

3. 考试成绩：眼高手低

测试了包括 GPT-4o、Claude、Gemini 等在内的 9 个最厉害的 AI 模型，结果令人惊讶：

场景理解（眼力）：🌟🌟🌟🌟🌟
AI 们非常擅长认东西。问“图里有几只狗？”，它们几乎全对。就像你一眼就能看出桌上有个苹果。
空间推理（脑力）：🌟🌟
问“狗在小人左边还是右边？”，AI 们表现一般。
视角转换（同理心）：🌟
这是最惨的。当问“从小人的角度看，狗在哪里？”时，AI 们的正确率大幅下降，甚至不如随机猜。

比喻：这就像是一个**“超级近视眼”**。它能把桌上的东西看得清清楚楚（认得出来），但如果你让它想象“如果我是坐在椅子上的那个人，我会看到什么”，它的大脑就死机了，或者开始胡乱猜。

4. 发现的怪病：AI 的“方向强迫症”

研究人员发现，AI 们不仅不会换位思考，还患上了严重的**“方向偏见”**。

现象：不管乐高小人实际面向哪里，很多模型（比如 GPT-4 Turbo）总是固执地认为小人面向“东方”。
实验：
- 把周围的杂物拿走？没用，它还是猜东。
- 把图片放大，让小人看得更清楚？没用，它还是猜东。
- 直接在图上标出“东南西北”？没用，它还是猜东。
- 把乐高小人换成真人照片？没用，它还是说真人面向东方。
结论：这说明 AI 并不是真的在“看”图片并计算角度，而是在背答案或者依赖语言习惯。它的大脑里似乎有一个默认的“开关”，一遇到这种问题就自动跳到“东方”这个选项，完全忽略了图片里的真实信息。

5. 核心发现：认得出来 $\neq$ 想得明白

论文揭示了一个残酷的真相：AI 的“眼力”和“脑力”是脱节的。

它能完美地识别物体（这是“眼”）。
但它无法在脑海中构建一个几何空间，去模拟另一个视角（这是“脑”）。
这就好比一个人能背下所有的地图，但如果你让他闭上眼睛在房间里转个圈，他就不知道自己现在面对哪面墙了。

6. 这对我们意味着什么？

如果未来的自动驾驶汽车或机器人像现在的 AI 一样，“认得路但不懂别人怎么看路”，那将是危险的。

它可能看到前面有障碍物，但不知道旁边的司机也看到了，从而做出错误的判断。
它可能把东西递给一个根本看不见的人。

总结

这篇论文就像给 AI 做了一次**“透视眼”检查**。结果显示，虽然现在的 AI 是**“超级识图大师”，但在“换位思考”这种需要真正理解空间关系和他人视角的能力上，它们还像个“死记硬背的小学生”**，甚至经常犯一些人类不会犯的、奇怪的“方向强迫症”。

未来的 AI 要想真正像人一样聪明，不能只靠“看”，还得学会在脑子里真正“转起来”，建立真正的空间几何感。

1. 研究背景与问题定义 (Problem)

核心问题：
尽管视觉语言模型（VLMs）在场景理解（如物体识别、计数）方面表现出色，但它们在**视觉视角采择（Visual Perspective Taking, VPT）**任务上存在显著缺陷。VPT 是指理解“他人能看到什么”以及“从他人的视角看世界是什么样”的能力。

重要性：
这种能力对于安全、协作和具有社会意识的具身智能系统至关重要。例如：

自动驾驶： 预测附近驾驶员能看到什么。
机器人协作： 判断人类同事是否能通过视觉定位到某个物体，以便安全传递。

现有挑战：
现有的基准测试往往侧重于广度（大规模数据），容易受到数据污染影响，且难以区分模型是真正进行了空间推理，还是仅仅依赖语言先验或记忆。目前的 VLM 在从“识别物体”到“模拟他人视角”的深层空间推理之间存在巨大鸿沟。

2. 方法论 (Methodology)

为了严格评估 VLM 的 VPT 能力，作者提出了Isle-Bric-V2数据集，并采用了受认知科学启发的**最小对比（Minimal-Contrast）**实验设计。

2.1 数据集构建 (Isle-Bric-V2)

刺激材料： 使用乐高（LEGO）元素构建受控场景，包含一个人形小人（Humanoid Minifigure）和一个物体。
变量控制： 系统性地改变以下变量，共生成 144 个 独特任务：
- 物体相对于小人的位置（前、后、左、右）。
- 小人的朝向（面向或背向物体）。
- 视角（鸟瞰图 vs. 表面水平图）。
- 使用了 9 种不同的小人和 9 种不同的物体。
优势： 避免了使用网络爬取图片（可能包含在训练数据中）或抽象符号，确保模型无法通过记忆解决，且场景无遮挡、光照完美。

2.2 诊断性问题设计

每个视觉任务配有一组 7 个诊断性问题，旨在分层评估三种认知能力：

场景理解 (Scene Understanding)：
- Q1: 物体总数（非小人）。
- Q2: 小人数量。
- Q3: 小人和物体是否在同一表面。
空间推理 (Spatial Reasoning)：
- Q4: 物体相对于小人的绝对方向（基于图像方位，如北、南、东、西）。
- Q5: 小人自身的朝向（基于小人自身的内在参考系）。
视觉视角采择 (Visual Perspective Taking)：
- Q6 (Level-1): 小人是否能看到物体？（视线判断）
- Q7 (Level-2): 从小人的视角看，物体位于其身体的哪个相对位置（前、后、左、右）？

2.3 评估协议

格式： 所有问题均为开放式回答，以减少猜测和多项选择中的位置偏差。
评分标准： 采用“部分正确”度量（Prediction Correctness）。将答案分解为组件（如“东北”分解为“北”和“东”），计算模型预测组件与标准答案集合的交集比例。
受试模型： 评估了 9 个主流 VLM，包括 GPT-4 (Turbo/o), Claude 3/3.5 Sonnet, Gemini Robotics-ER 1.5, Llama-3.2-11B-Vision, 以及 Qwen3 (2B/4B/8B)。

3. 主要结果 (Key Results)

3.1 性能分层下降

模型表现随着任务认知难度的增加而显著下降（如图 1 所示）：

场景理解： 表现极佳。大多数模型（如 GPT-4o, Gemini）达到 95%-100% 的准确率，表明物体识别和计数已非常成熟。
空间推理： 表现中等偏下。
- 在 Q4（绝对方向）上表现尚可。
- 在 Q5（判断小人朝向） 上表现急剧下降。许多模型表现出严重的方向偏差（Directional Bias），例如 GPT-4-Turbo 倾向于回答“东”，Claude 3 Sonnet 倾向于回答“西”，Llama 倾向于“南”。
视觉视角采择： 表现最差。
- Level-1 (Q6)： 即使是表现最好的 GPT-4o 也只有 87.5%，其他模型多在 30%-55% 之间。
- Level-2 (Q7)： 所有模型表现均差，准确率普遍低于 40%。模型经常错误地判断物体在小人身后时的相对位置（如将背后的物体误判为左侧或右侧）。

3.2 关键发现：方向偏差与推理失效

方向偏差（Directional Bias）： 模型并非随机猜测，而是系统性地偏好某些特定方向（如东、南、西），这种偏差在多种干预下（去除背景物体、放大图像、添加方位标记、甚至换成真人照片）依然存在。这表明模型依赖**语言先验（Linguistic Priors）**而非真正的视觉空间推理。
方向检测 $\neq$ 视角采择： 作者进行了消融实验，将小人朝向的正确答案（Q5 的 Ground Truth）作为提示提供给模型以回答 Q6（是否看见）。结果显示，即使提供了正确的朝向信息，模型在 Q6 上的提升也微乎其微。这证明 VPT 的失败不仅仅是因为“没认出朝向”，而是模型缺乏将朝向与空间关系进行几何整合的能力。

4. 主要贡献 (Key Contributions)

Isle-Bric-V2 基准测试： 提出了首个基于心理学原理、人工构建的 VPT 诊断基准。它使用开放式问题，在相同的刺激材料上清晰分离了场景识别、空间推理和视角采择能力。
系统性评估与偏差揭示： 对 9 个最新 VLM 进行了评估，揭示了它们在 VPT 任务上的普遍失败，并发现了一种鲁棒的方向性先验偏差（Directional Prior），这种偏差在多种视觉和文本干预下均无法消除。
解耦方向检测与视角采择： 提供了实证证据，证明准确的朝向检测（Orientation Detection）并不保证正确的视角采择（Perspective Taking）。这揭示了当前 VLM 在几何推理和内在参考系转换上的根本性缺陷。

5. 意义与未来展望 (Significance & Future Work)

理论意义： 研究揭示了当前 VLM 在“表面识别”与“深层空间推理”之间的巨大鸿沟。模型似乎更擅长处理语言关联，而非基于视觉事实的几何计算。
应用风险： 对于依赖可靠视角采择的应用（如自动驾驶、人机协作机器人），当前的 VLM 存在安全隐患，因为它们可能错误地判断他人的视野或意图。
未来方向：
- 架构创新： 需要引入显式的几何表示（Explicit Geometric Representations），而不仅仅是隐式的神经网络特征。
- 训练协议： 需要专门针对**心理旋转（Mental Rotation）**和内在参考系转换的训练策略。
- 混合方法： 结合符号空间推理与学习到的表示，以弥合识别与真正空间理解之间的差距。

总结： 该论文通过严格的受控实验证明，尽管 VLM 在“看”物体方面很擅长，但在“像别人一样看世界”方面仍然非常笨拙，且这种笨拙源于深层的推理机制缺陷，而非简单的感知噪声。