OmniSpatial: Towards Comprehensive Spatial Reasoning Benchmark for Vision Language Models

本文提出了基于认知心理学的综合性空间推理基准 OmniSpatial，涵盖动态推理、复杂空间逻辑、空间交互和视角转换四大类共 50 个子类，通过 8400 多个精细标注的问答对揭示了当前视觉语言模型在全面空间推理上的显著局限，并探索了 PointGraph 和 SpatialCoT 两种增强策略。

要点

这篇论文介绍了一个名为 OmniSpatial 的全新“考试”，专门用来测试人工智能（特别是视觉语言模型，也就是能看图说话的 AI）的空间推理能力。

为了让你更容易理解，我们可以把这篇论文的内容想象成一场**“超级空间侦探”的选拔赛**。

1. 为什么要办这场考试？（背景）

以前的考试太简单了。就像教小孩子认路，以前的题目只问：“苹果在桌子的左边还是右边？”或者“这里有几个杯子？”。
现在的顶级 AI（比如 GPT-4o, Gemini 等）在这些简单题目上已经拿了满分（90% 以上正确率），就像小学生做 1+1 一样轻松。

但是，现实世界要复杂得多！

• 场景一： 你开车时，不仅要看红绿灯，还要预判旁边那辆车会不会突然变道（动态推理）。
• 场景二： 你要把一个大沙发搬进电梯，得在脑子里想象沙发转个身能不能塞进去（复杂逻辑）。
• 场景三： 你站在路口，要想象如果站在对面的人看来，那辆车是在你的左边还是右边（视角转换）。

以前的考试考不到这些“高阶技能”，所以我们需要一个更难、更全面的“新考卷”。

2. 这张“新考卷”长什么样？（OmniSpatial 是什么）

这就好比把以前的“小学数学题”升级成了“奥数 + 物理 + 心理测试”的综合卷。

• 题目数量： 8400 多道精心设计的题目（不是机器随便生成的，是人工一个个手写的，保证质量）。
• 四大核心关卡：
  1. 动态推理（Dynamic Reasoning）： 就像看动作电影。题目问：“如果那个球继续滚，会撞到谁？”或者“司机接下来会怎么转弯？”这需要 AI 理解时间和运动。
  2. 复杂逻辑（Complex Logic）： 就像玩折纸或拼图。题目问：“把这个纸盒展开，哪个图案是对的？”或者“把这块积木旋转 90 度，它看起来像什么？”这需要 AI 在脑子里3D 旋转物体。
  3. 空间交互（Spatial Interaction）： 就像玩《模拟城市》或开车。题目问：“在这个路口，哪条路最安全？”或者“这个按钮在屏幕的哪个位置？”这需要 AI 理解规则和环境。
  4. 视角转换（Perspective Taking）： 这是最难的一关，就像玩“换位思考”。题目问：“如果你站在对面那个人的位置，那个花瓶是在你的左手边还是右手边？”这需要 AI 跳出自己的“摄像头视角”，钻进别人的脑子里看世界。

3. 考试结果如何？（现状）

结果有点让人“清醒”：

• 人类： 考了 92 分（满分 100），表现很稳。
• 顶级 AI： 最高只考了 56 分左右。
• 结论： 现在的 AI 虽然能看图说话，但在“动脑筋”想象空间关系时，还像个**“死记硬背的优等生”**，遇到没见过的复杂空间问题就懵了。它们擅长认字，但不擅长“脑补”三维世界。

4. 怎么帮 AI 提高成绩？（解决方案）

作者发现，直接让 AI 硬想（像人类一样死磕）效果不好，于是他们给 AI 装了两个“外骨骼”：

• 外骨骼一：PointGraph（给 AI 画“关系图”）

  • 比喻： 就像给 AI 发了一张**“寻宝地图”**。
  • 做法： 在让 AI 回答问题前，先让另一个小模型把图里的物体标出来，并告诉 AI：“杯子在桌子左边 10 厘米，椅子在杯子后面”。
  • 效果： 就像给迷路的人指了路标，AI 的推理准确率明显提高了。

• 外骨骼二：SpatialCoT（给 AI 开“透视眼”）

  • 比喻： 就像给 AI 戴上了**"VR 眼镜”**，让它能 360 度看物体。
  • 做法： 当题目问“从后面看是什么样”时，AI 自己不会转，作者就用 3D 技术生成几个新的视角图片（比如从上面看、从后面看），把这些新图一起给 AI 看。
  • 效果： 就像让 AI 真的“走”到了那个位置，它就能轻松回答视角转换的问题了。

5. 总结：这有什么用？

这就好比我们在教机器人怎么真正像人一样生活。

• 如果 AI 能通过这些考试，未来的自动驾驶汽车就能更聪明地预判事故；
• 家庭机器人就能帮你把乱糟糟的箱子整齐地塞进柜子；
• VR/AR 眼镜里的虚拟助手就能真正理解你在空间里的位置，而不是只会傻乎乎地说话。

一句话总结： 这篇论文给 AI 出了一道超难的“空间智商测试”，发现现在的 AI 还很笨，但作者给了它们两个“作弊神器”（关系图和 3D 新视角），帮它们稍微变聪明了一点点，为未来真正的智能机器人打下了基础。

技术摘要

这篇论文提出了 OmniSpatial，这是一个旨在全面评估视觉语言模型（VLMs）空间推理能力的综合性基准测试。现有的基准测试大多集中在基础的空间关系（如左右、远近、计数）上，而这些任务在最新的推理模型中已趋于饱和。OmniSpatial 基于认知心理学，引入了更复杂、动态和多样化的空间推理任务，揭示了当前模型在高级空间理解上的显著短板。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现有基准的局限性：当前的空间推理基准（如 SpatialBot-Bench, EmbSpatial 等）主要关注静态的、基础的空间关系（如“物体 A 在物体 B 的左边”）。最新的推理模型（如 o3, Gemini-2.5-Pro）在这些任务上已达到 90% 以上的准确率，表明这些任务已接近饱和。
• 真实世界需求的差距：现实世界中的空间推理（如机器人操作、自动驾驶、AR/VR）需要处理动态变化、复杂逻辑、多步交互以及视角转换（Perspective Taking）。现有的模型难以处理这些涉及物理常识、几何变换和动态预测的复杂场景。
• 核心挑战：如何构建一个能够全面评估 VLMs 在动态推理、复杂空间逻辑、空间交互和视角转换等方面能力的基准，并量化当前模型与人类水平的差距。

2. 方法论 (Methodology)

2.1 OmniSpatial 基准构建

• 数据规模与来源：包含 8.4K 个精心标注的问答对（QA pairs），涵盖 50 个细粒度子任务。数据来源多样化，包括网络图像、认知心理学测试题、驾驶考试题目以及现有的具身数据集（如 MME, HOI4D）。
• 四大核心维度：基于认知心理学理论，将空间推理划分为四个主要类别：
  1. 动态推理 (Dynamic Reasoning, 27%)：涉及运动分析（匀速/变速）、操作意图识别、空间兼容性判断等。
  2. 复杂空间逻辑 (Complex Spatial Logic, 16%)：涉及几何推理（多面体展开、截面投影、心理旋转）、模式识别（样式、数量、属性、位置变换）。
  3. 空间交互 (Spatial Interaction, 20%)：涉及交通分析（异常检测、风险识别）、定位（UI 交互、物体检测）、地理空间策略（路径规划、地图转换）。
  4. 视角转换 (Perspective Taking, 37%)：这是占比最大的部分，包括自我中心（Egocentric）、他者中心（Allocentric）和假设性视角（Hypothetical）的推理，要求模型理解不同观察点下的空间关系。
• 标注质量：所有数据均为人工手动标注和审核，避免了模板化生成的偏差，确保问题的唯一性和自然性。

2.2 提升空间推理的策略

为了探索提升模型性能的方法，论文提出了两种增强策略：

• PointGraph (显式场景图)：利用开放词汇检测模型（如 Florence-2）提取图像中的物体中心点和边界框，构建结构化的场景图（Scene Graph），将其作为显式的空间线索输入给 VLM，辅助其进行距离、方向和配置的推理。
• SpatialCoT (新视角思维链)：受人类心理意象启发，利用 InstantMesh 等模型为输入图像合成 6 个额外的新视角（Novel Views），并将这些多视角图像与问题一起输入模型。这种方法通过提供几何先验，帮助模型解决遮挡、视角转换等依赖视图的推理任务。

3. 关键贡献 (Key Contributions)

1. 提出了 OmniSpatial 基准：这是目前首个涵盖动态推理、复杂逻辑、空间交互和视角转换四大维度的综合性空间推理基准，包含 8.4K 个高质量人工标注样本。
2. 建立了新的评估标准：系统性地评估了从通用 VLM 到专用空间模型，再到最新推理模型（Reasoning Models）在复杂空间任务上的表现，填补了现有基准在深度和广度上的空白。
3. 提出了增强策略：验证了通过引入显式场景图（PointGraph）和多视角合成（SpatialCoT）可以有效提升 VLM 的空间推理能力，特别是针对视角转换任务。
4. 揭示了模型局限性：通过实验发现，即使是顶尖的闭源推理模型，在 OmniSpatial 上的表现也远未达到人类水平（约 57% vs 92%），特别是在几何推理和非自我中心视角转换方面存在巨大差距。

4. 实验结果 (Results)

• 模型性能概览：
  • 人类基准：在 OmniSpatial 上达到 92.63% 的准确率。
  • 最佳模型：闭源推理模型表现最好，其中 Gemini-2.5-Pro 和 o3 分别达到了 55.19% 和 56.33% 的准确率，但仍比人类低约 36 个百分点。
  • 开源模型：InternVL3-78B 和 Qwen-VL2.5-72B 表现最佳，但准确率仍在 49% 左右。
  • 专用模型：专门针对空间推理微调的模型（如 SpatialBot, SoFar）在综合基准上并未表现出显著优势，表明通用架构在大规模数据下更具潜力。
• 类别表现差异：
  • 模型在动态推理和空间交互（利用世界知识）上表现相对较好。
  • 在几何推理（如心理旋转、多面体展开）和视角转换（特别是 Allocentric 和 Hypothetical）上表现极差，准确率往往接近随机猜测水平。
• 增强策略效果：
  • PointGraph：在动态推理和视角转换任务上带来了显著的性能提升（例如 GPT-4.1-mini 提升了 1.63%）。
  • SpatialCoT：在视角转换任务上效果显著，GPT-4.1-mini 提升了 2.02%，证明了多视角合成对空间想象力的促进作用。
• 训练探索：在 OmniSpatial 训练集上进行监督微调（SFT）带来了约 7.82% 的显著提升，且这种提升能泛化到其他空间基准（如 VSI-Bench），证明了该数据集作为训练数据的价值。

5. 意义与影响 (Significance)

• 推动具身智能发展：OmniSpatial 为机器人操作、自动驾驶和 AR/VR 系统提供了更贴近真实世界复杂度的评估标准，指出了当前 AI 在物理世界理解上的具体短板。
• 指导模型改进：实验结果表明，单纯增加参数或简单的思维链（CoT）不足以解决复杂的空间推理问题。引入结构化的几何先验（PointGraph）和多视角视觉辅助（SpatialCoT）是有效的改进方向。
• 认知科学与 AI 的结合：该工作将认知心理学中的空间认知理论（如视角转换、心理旋转）成功转化为可量化的 AI 评估任务，促进了 AI 与认知科学的交叉研究。
• 开源与复现：论文开源了数据集、代码和评估工具，为社区提供了统一的研究平台，有助于加速下一代空间感知 AI 系统的研发。

总结来说，OmniSpatial 不仅是一个新的基准，更是一个诊断工具，它清晰地表明当前的 VLM 虽然擅长处理静态的、基于文本的空间描述，但在处理动态的、需要心理模拟和几何变换的复杂空间推理时仍面临巨大挑战。未来的研究需要更多地关注多模态几何理解、动态场景建模以及显式的空间推理机制。