Spatial-DISE: A Unified Benchmark for Evaluating Spatial Reasoning in Vision-Language Models

本文提出了名为 Spatial-DISE 的统一基准，通过基于认知科学的四象限分类法（涵盖内在/外在及静态/动态推理）构建了大规模数据集，旨在评估并揭示当前视觉语言模型在空间推理能力上尤其是多步多视图推理方面与人类水平的显著差距。

要点

这篇论文就像是一份给 AI 的“空间智力体检报告”。

想象一下，现在的 AI（特别是那些能看图说话的“多模态大模型”）就像是一个视力极好但脑子有点“死板”的超级学霸。它们能一眼认出图片里是猫还是狗，能描述风景，但一旦让它们玩一些需要“在脑子里转圈圈、折纸、搭积木”的智力游戏，它们就经常晕头转向。

这篇论文来自利物浦大学的研究团队，他们做了一件很酷的事情：给 AI 们设计了一套全新的、更难的“空间思维考试”，并发现它们离人类的水平还有很大差距。

下面我用几个生活中的比喻来拆解这篇论文的核心内容：

1. 为什么要搞这个新考试？（现有的考试太简单了）

以前的考试（Benchmark）就像是在考 AI“认字”。

• 旧考题：图片里有个杯子在桌子左边，问“杯子在桌子的哪边？”（这是静态的，一眼就能看出来）。
• AI 的表现：AI 答得挺好，因为它只是记住了“左边”这个词和杯子的位置关系。

但人类的空间思维不仅仅是“认位置”，还包括**“在脑子里动手”**。

• 新考题（Spatial-DISE）：
  • 折纸题：给你一张画好图案的纸，问“如果我把这张纸对折两次，再在中间扎个洞，展开后会有几个洞？洞在哪里？”
  • 旋转题：给你一块积木，问“如果我把这块积木在脑子里转 90 度，它看起来像选项里的哪一个？”
  • 拼图题：给你一堆散落的积木块，问“哪几块能拼成左边那个复杂的形状？”

比喻：以前的考试是考你**“看照片认人”，现在的考试是考你“在脑海里玩魔方”**。

2. 这个新考试叫什么？（Spatial-DISE）

作者把空间思维分成了四个象限，就像一张**“能力地图”**：

• 内在 vs. 外在：是研究物体自己（比如积木怎么转），还是研究物体之间的关系（比如杯子在桌子左边）？
• 静态 vs. 动态：是不动的（认位置），还是需要动脑筋模拟变化的（折叠、旋转）？

他们发现，现有的考试大多只考“静态”的，而人类最擅长的“动态”思维（比如想象物体旋转）被严重忽略了。所以，他们造了一个包含1.2 万道题目的大题库，专门用来测试这种“动态思维”。

3. 考试结果怎么样？（AI 很惨，人类很强）

作者找了 32 个最顶尖的 AI 模型（包括 GPT-4o, Gemini, Claude 等）来参加考试。

• 人类成绩：平均分 76.8%（人类很擅长玩这种空间游戏）。
• AI 成绩：平均分只有 28.4%（ barely 比瞎猜的 25% 高一点点）。

比喻：这就像让一群视力超群的机器人去参加**“折纸大赛”**。它们能看清纸张的纹理，但一旦让它们想象“折叠后会发生什么”，它们的脑子就“短路”了。

4. AI 到底哪里出了问题？（不是眼睛瞎，是脑子笨）

作者仔细分析了 AI 做错的题目，发现它们不是“看错了”（比如把红色看成蓝色），而是**“想错了”**。主要有三个毛病：

1. 不懂基本规则（Failure in Rule Application）：
   • 比喻：就像下棋时，明明知道“马走日”，AI 却觉得马可以“走田”。在立方体题目中，AI 经常搞混“相邻面”和“相对面”的关系，违反了基本的几何常识。
2. 记不住过程（Failure in Mental Simulation）：
   • 比喻：就像让你在脑海里玩“俄罗斯方块”。当你把方块旋转、下落时，你需要记住每一步的变化。AI 就像是一个记性极差的魔术师，折了一次纸，它就忘了刚才折了几层；再折一次，它彻底晕了，不知道展开后会有几个洞。它缺乏“空间工作记忆”。
3. 顾头不顾尾（Failure in Holistic-Local Processing）：
   • 比喻：AI 看东西只看局部，不看整体。它可能看到积木的一个角很像，就以为整个积木是对的，却忽略了其他部分拼不上。它无法像人类一样，在“整体结构”和“局部细节”之间灵活切换。

5. 训练一下能变好吗？（有点用，但不够）

作者把 AI 用这 1.2 万道题专门“特训”了一下（微调）。

• 结果：AI 的成绩确实提高了，从 26% 涨到了 47% 左右。
• 但是：还是远远达不到人类的 76%。而且，AI 似乎只是学会了“背题”或者“套公式”，并没有真正学会像人类那样灵活地理解空间关系。

总结：这篇论文告诉我们什么？

这篇论文就像给 AI 行业敲了一记警钟：

“现在的 AI 虽然能‘看’懂世界，但还不会‘想’懂世界。”

它们目前更像是一个超级照相机，而不是一个拥有空间想象力的工程师。要让 AI 真正像人类一样去操作机器人、驾驶汽车或设计建筑，我们不仅要教它们“看”，更要教它们如何在脑子里构建一个可以旋转、折叠、拆解的虚拟世界。

一句话总结：Spatial-DISE 是一个全新的、更难的“空间智力测试”，它揭穿了当前 AI 在“动脑筋”方面的短板，告诉我们要想造出真正的智能机器人，还得在“空间想象力”这个领域继续死磕。

技术摘要

这是一篇发表于 ICLR 2026 的论文《SPATIAL-DISE: A UNIFIED BENCHMARK FOR EVALUATING SPATIAL REASONING IN VISION-LANGUAGE MODELS》（Spatial-DISE：评估视觉语言模型空间推理能力的统一基准）的技术总结。

1. 研究背景与问题 (Problem)

尽管视觉语言模型（VLMs）在物体检测、场景描述等任务上表现出色，但在复杂的空间推理能力（尤其是涉及动态变换的推理）方面仍存在显著缺陷。现有的基准测试存在以下主要局限性：

• 缺乏统一的认知框架：现有基准任务碎片化，缺乏系统性的分类，难以全面评估模型的空间能力。
• 静态任务主导：大多数基准仅测试静态场景理解（如物体相对位置），严重缺乏对动态空间推理（如心理旋转、折叠、组合）的评估，而这正是人类空间认知的核心。
• 数据规模不足：现有的动态任务基准规模较小，难以支撑大规模模型的训练和鲁棒性评估。
• 数据稀缺与验证困难：高质量的动态空间推理数据难以获取，且合成数据往往缺乏可验证性。

2. 方法论 (Methodology)

2.1 认知分类体系 (DISE Taxonomy)

论文基于认知科学研究，提出了一个2x2 的认知分类框架，将空间推理任务划分为四个象限：

1. 内在 - 静态 (Intrinsic-Static, I-S)：分析单一物体的固定内部属性（如 2D/3D 形状查找）。
2. 内在 - 动态 (Intrinsic-Dynamic, I-D)：在心理上模拟单一物体的变换（如 2D/3D 旋转、折叠、打孔）。
3. 外在 - 静态 (Extrinsic-Static, E-S)：分析固定场景中多个物体间的关系（如 3D 投影）。
4. 外在 - 动态 (Extrinsic-Dynamic, E-D)：推理多个物体或部件间变化的空间关系（如 2D/3D 组合）。

2.2 任务设计

基于上述分类，设计了10 种具体的认知任务，涵盖从经典的心理测量测试（如心理旋转测试、纸张折叠测试）到复杂的 3D 组合任务。

2.3 可扩展的数据生成管道

为了解决数据稀缺问题，作者开发了一套基于 Blender 的自动化合成数据生成管道：

• 核心资产生成：程序化生成复杂的 3D 形状、纹理和几何结构。
• 问题与答案渲染：从最佳视角渲染问题图像和正确答案。
• 系统化干扰项生成：通过几何变异、模式/方向错误、错误视角、组件替换等策略生成具有迷惑性的干扰项。
• 质量控制：引入种子随机化确保可复现性，并结合人工审核（Solution Uniqueness, Accuracy, Redundancy Elimination）确保数据质量。

2.4 数据集构建

• Spatial-DISE Bench：包含 559 个精心筛选的 VQA 对，覆盖所有 10 种任务和 4 个 DISE 象限，用于评估。
• Spatial-DISE-12K：包含超过 12,000 个可验证的 3D 空间推理 VQA 对，主要用于模型训练和微调。

3. 主要贡献 (Key Contributions)

1. 基于认知的统一分类框架：首次提出了 DISE 分类法，能够系统地诊断 VLM 在不同空间推理维度上的弱点。
2. 可扩展且可验证的数据生成管道：设计并实现了一个基于 Blender 的自动化管道，能够大规模生成复杂的 3D 空间推理任务，解决了动态数据稀缺的瓶颈。
3. 统一的认知基准与数据集：发布了 Spatial-DISE Bench 和 Spatial-DISE-12K，为评估和训练 VLM 的空间智能提供了标准化资源。
4. VLM 空间推理能力的边界探索：通过对 32 个 SOTA 模型的全面评估，揭示了当前模型在空间认知上的普遍缺陷，特别是多步心理模拟能力的缺失。

4. 实验结果 (Results)

4.1 模型表现

• 普遍性能低下：在 32 个最先进的 VLM（包括专有模型如 GPT-4o, Claude 3.7, 以及开源模型如 Qwen2.5-VL, InternVL3 等）的评估中，平均准确率仅为 28.4%，仅略高于随机猜测（25%），远低于人类基准（76.8%）。
• 动态推理是最大短板：模型在涉及多步变换的任务（如“折叠并打孔”）上表现极差，准确率接近随机水平，表明模型缺乏“空间工作记忆”来跟踪状态变化。
• 静态并非动态的前提：有趣的是，部分模型在动态任务上的表现甚至优于静态任务，说明模型并未建立基于静态理解的稳健空间模型，而是依赖碎片化的模式识别。
• 计算优势：在“外在 - 动态”（如 3D 组合）任务中，部分模型（如 Doubao-1.5-thinking）甚至超过了人类表现。分析表明，模型通过将复杂的心理模拟转化为精确的几何特征计算（如边、角、连接点），克服了人类模拟的易错性。

4.2 微调效果

• 使用 Spatial-DISE-12K 对模型（如 Qwen2.5-VL-7B）进行监督微调（SFT）后，整体准确率从 26.1% 提升至 47.0%。
• 领域特异性：微调带来的提升具有明显的领域特异性。在特定象限（如内在 - 动态）训练主要提升该象限性能，跨象限迁移效果有限，甚至可能产生负迁移。
• 泛化性：微调后的模型在外部基准（如 SPACE, OmniSpatial）上也表现出提升，证明了训练数据的有效性，但仍未达到人类水平。

4.3 错误分析

通过对 200 个错误样本的分析，发现主要瓶颈在于推理错误 (72.5%)，而非感知错误 (17.5%) 或理解错误 (10%)。推理错误细分为：

• 规则应用失败 (44.8%)：忽视基本几何公理（如立方体相邻面与相对面的关系）。
• 心理模拟失败 (40.0%)：缺乏空间工作记忆，无法在多步变换中保持状态一致性。
• 整体 - 局部处理失败 (15.2%)：无法在整体结构和局部细节间灵活切换注意力。

5. 意义与展望 (Significance)

• 揭示认知鸿沟：论文证实了当前 VLM 在真正的空间认知（特别是多步心理模拟）上与人类存在巨大差距，目前的成功更多依赖于模式匹配而非真正的空间推理。
• 指导未来研究：指出未来的研究方向应从单纯的视觉感知转向主动的、类人的推理，包括构建受几何规则约束的“世界模型”、增强空间工作记忆以及开发过程导向的评估方法。
• 资源开源：提供的基准、数据集和代码为社区研究空间智能提供了坚实的基础，有助于推动机器人、增强现实（AR）和自动驾驶等需要高空间推理能力的应用发展。

总结：Spatial-DISE 不仅是一个新的基准，更是一个认知诊断工具。它通过系统化的分类和大规模的可验证数据，清晰地界定了当前 VLM 在空间推理上的能力边界，并指出了从“感知”迈向“认知”的关键路径。