💬 NLP

SpatialAct: Probing Spatial Reasoning-to-Action Capabilities of VLM Agents in 3D Scenes

本文介绍了 SpatialAct，这是一个基于模拟器的基准测试，它揭示了当前视觉语言模型中存在的显著的“推理-行动”差距，即尽管这些模型在孤立的空间推理任务上表现强劲，但在 3D 场景的多轮交互过程中，却无法保持连贯的空间理解并执行可靠的动作。

原作者： Tianhui Liu, Jie Feng, Zhiheng Zheng, Shengyuan Wang, Yiming Guo, Yanxin Xi, Hangyu Fan, Yong Li, Pan Hui

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianhui Liu, Jie Feng, Zhiheng Zheng, Shengyuan Wang, Yiming Guo, Yanxin Xi, Hangyu Fan, Yong Li, Pan Hui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人重新布置客厅里的家具。你不仅仅希望机器人看着房间说：“那把椅子离墙太近了。”你更希望它能真正移动那把椅子，再次观察是否成功，如果没成功，就再次移动，直到房间看起来符合要求。

这正是 SpatialAct 这篇论文所探讨的内容。这是一个全新的“测试”，旨在观察现代 AI 视觉模型（能够看、能说、能思考的机器人）是否真的擅长这种“观察-思考-行动”的循环，还是仅仅擅长描述它们所看到的东西。

以下是使用简单类比对该论文研究结果的解读：

1. 问题所在：“善于言辞者” vs. “实干家”

研究人员发现，目前的 AI 模型就像是从未拿过画笔的顶级艺术评论家。

好消息： 如果你给 AI 看一张凌乱房间的照片并问：“灯靠近沙发吗？”，它通常能正确回答。对于静态问题，它拥有出色的“眼睛”和“大脑”。
坏消息： 当你要求 AI 通过移动灯的位置来“修复”房间时，它会感到困惑。它经常会把灯移错方向，或者它以为自己已经解决了问题，但实际上情况变得更糟了。它很难在做出改变后，持续追踪房间状态的变化。

2. 测试方法：“SpatialAct”

为了证明这一点，团队构建了一个名为 SpatialAct 的 3D 视频游戏模拟器。你可以把它想象成一个数字沙盒，其中包含：

场景： 共有三种类型的房间：简单的几何形状（类似于乐高积木）、带有建筑物的城市街道，以及带有家具的真实室内房间。
任务： AI 被展示一个带有“错误”（bugs）的房间，比如一栋建筑撞到了马路，或者一个柜子卡在了墙里。
目标： AI 必须扮演一名数字室内设计师。它必须：
1. 发现错误。
2. 给出一个指令（例如：“将柜子向北移动 1 米”）。
3. 观察房间在模拟器中更新后的状态。
4. 重复这个过程，直到房间完美无缺。

3. 难度的阶梯

这项测试不仅仅是一个大挑战，它更像是一个难度阶梯，用以观察 AI 在哪里“掉链子”：

第一级（基础技能）： AI 能数出椅子的数量吗？它能分辨出哪边是北吗？（AI 在这里表现得相当不错）。
第二级（单步修复）： AI 能通过一次移动来发现并修复一个错误吗？（AI 在这里还可以，但并不出色）。
第三级（终极挑战 —— 多轮迭代优化）： AI 必须一遍又一遍地修复一个凌乱的房间，并从错误中学习。这就是 AI 彻底失败的地方。

4. 结果：巨大的差距

论文将 AI 与人类进行了对比，发现了巨大的鸿沟：

人类： 在执行这项任务时，人类大约有 91% 的成功率。这对人类来说很容易，因为他们能够在大脑中构思空间，并记住自己刚刚做了什么。
顶尖 AI 模型： 最优秀的 AI 模型完成任务的成功率仅为 20% 左右。
“负分”现象： 一些 AI 模型甚至会让房间变得比开始时更糟。它们试图修复一个碰撞问题，却不小心制造了新的碰撞。

5. 为什么 AI 会失败？

论文指出了几个关键原因，并使用了形象的比喻：

“失忆症”效应： AI 非常擅长观察快照，但一旦采取行动，它似乎就会失去对新现实的追踪能力。它忘记了墙已经移动了，所以它会不断撞向墙壁。
“诊断”错误： 有时 AI 甚至不知道问题出在哪里。它可能认为一栋建筑歪了，但实际上它是正的；或者它完全忽略了某个碰撞。
“动作”错误： 即便 AI 知道问题所在，它给出的指令也是错误的。它可能会说“旋转 90 度”，而实际应该说“移动 1 米”。
复杂度过载： 如果房间里同时存在太多错误，AI 就会手忙脚乱。这就像试图解开一个有十根绳子的结；你拉动其中一根，另外三根反而勒得更紧了。

6. 核心启示

论文得出结论：虽然 AI 在“观察”和“谈论”空间方面变得越来越强，但在空间中“行动”方面仍然非常糟糕。

现状： AI 就像是一个可以完美描述一座城市，但一旦尝试走在街上就会迷路的游客。
差距： 存在着巨大的“推理与行动”之间的鸿沟。仅仅因为 AI 能解决关于一个房间的数学题，并不意味着它真的能重新布置那个房间里的家具。

简而言之： 我们已经造出了优秀的观察者 AI，但还没有造出可靠的行动者 AI。在解决这个“记忆与行动”的问题之前，这些机器人还无法胜任帮助我们整理现实世界 3D 空间的工作。

技术摘要：SpatialAct

问题陈述

尽管视觉语言模型（VLMs）在被动空间感知与推理（例如，回答关于静态图像的问题）方面展现出了极具前景的能力，但在其将空间推理转化为动态 3D 环境中可靠、迭代动作的能力方面，仍存在关键性的空白。现有的基准测试主要将模型评估为观察者，模型的输出并不会改变其随后需要进行推理的环境。相反，具身智能基准测试往往将高层空间推理与低层控制（导航、操纵）混为一谈，导致难以分离空间智能。

所解决的核心问题是动作驱动的空间推理（action-conditioned spatial reasoning）：即智能体不仅要理解当前的物理空间状态，还要能够推理自身动作如何改变该状态，观察由此产生的状态转换，并在多轮交互中保持连贯的空间信念。目前的 VLMs 在弥合孤立的推理任务与稳定、长程的 3D 场景空间细化之间的差距方面表现挣扎。

方法论：SpatialAct 基准测试

为了填补这一空白，作者引入了 SpatialAct，这是一个基于模拟器构建的基准测试，旨在探测 VLM 智能体的“推理到动作”能力。该基准测试构建于一个分层诊断框架和可控的 3D 模拟环境之上。

1. 基准测试构建

场景： SpatialAct 涵盖了三种不同的 3D 布局类型：
- 抽象几何（Abstract Geometric）： 由 5–7 个几何原语（立方体、圆柱体、L 形等）组成的程序化生成场景。
- 城市建筑（Urban Architectural）： 源自 RAISECity，包含多达 20 栋建筑物的混合城市场景。
- 室内场景（Indoor Scene）： 构建自 InternScenes，包含多种室内环境中 5–15 个可移动的家具物体。
数据规模： 该基准测试包含 333 个场景和 4,355 个问答对（QA pairs）。
视觉输入： 每个场景从两个视角进行渲染：俯视图（Top-view）和等轴测视图（Isometric-view），提供互补的空间信息。
错误注入： 为了测试细化能力，系统会在干净的场景中程序化地注入空间错误，包括碰撞、边界违规（墙壁/道路冲突）以及方向错位。

2. 分层任务设计

SpatialAct 通过三个复杂度递增的层级来评估智能体：

第一层：基础空间能力： 五项源自心理测量学理论的基础任务，用于诊断底层空间认知：
1. 物体含义（Object Meaning）： 计数、识别、位置及距离。
2. 空间关系（Spatial Relation）： 方向、关系及侧边计数。
3. 空间定向（Spatial Orientation）： 视角一致性与旋转。
4. 心理旋转（Mental Rotation）： 以物体为中心和以场景为中心的旋转。
5. 空间可视化（Spatial Visualization）： 预测移动、交换和碰撞的结果。
第二层：单步错误检测与修复： 模型必须识别场景中的特定空间错误，并提出单一的纠正动作（移动、旋转或缩放）。
第三层：多轮交互式细化（核心任务）： 模型与模拟器进行闭环交互。
- 工作流： 模型接收带有错误的场景的俯视图和等轴测视图，识别错误，并输出高层语义指令（例如 Move(Object_2, North, 0.7)）。
- 执行： 模拟器解析并执行这些指令，渲染更新后的视图。
- 迭代： 模型接收新视图及动作历史记录，并重复此过程，直到场景无误或达到最大轮数限制（30 轮）。

3. 评估指标

该基准测试采用一套指标来评估准确性和效率：

修复率（Repair Rate）： 错误减少的比例（ $E_{before} - E_{after} / E_{before}$ ）。
场景成功率（Scene Success Rate）： 所有错误都被完全解决的场景比例。
有效修复轮数比（Effective Repair Turn Ratio）： 成功减少错误计数的轮数频率。
过早停止率（Premature Stop Rate）： 在错误仍然存在时停止的频率。
Token 成本（Token Cost）： 每个场景的平均完成 Token 数。

核心贡献

形式化动作驱动的推理： 本文定义了一个新的 VLM 智能体评估维度，其中高层、可由模拟器执行的动作直接改变 3D 环境状态，要求模型对动态状态转换进行推理。
SpatialAct 基准测试： 一个全面的、基于模拟器的数据集，包含 333 个场景和 4,355 个问答对，通过分层组织，旨在从基础感知到复杂的多轮细化来诊断失败原因。
系统的评估与差距分析： 对领先的商业和开源 VLM 进行的严格评估揭示了显著的“推理到动作差距”，为未来的智能体开发提供了诊断框架。

实验结果

作者评估了 7 种最先进的 VLM（包括 GPT-5.4, Gemini-3.1 Pro, GLM-5V-Turbo, Kimi-K2.5 以及 Qwen3.6 变体）和人类参与者。

推理到动作的差距： 虽然模型在孤立的空间任务上表现良好（在基础类别中达到 ~80% 的准确率），但其性能在多轮细化过程中急剧下降。
- 人类基准： 人类达到了 0.911 的修复率 和 0.763 的场景成功率。
- 最佳 VLM (Gemini-3.1 Pro)： 仅实现了 0.411 的修复率 和 0.206 的场景成功率。
- 其他模型： 许多开源模型和 GLM-5V-Turbo 的修复率接近于零甚至为负值，表明它们经常无法纠正错误或引入了新的错误。
失效模式： 分析（图 4）显示模型失败是由两个耦合问题导致的：
1. 诊断错误： 误判是否存在空间违规。
2. 推理到动作错误： 即便诊断正确，也会发出错误的纠正动作（例如，向错误的方向移动物体或移动幅度错误）。
上下文与复杂度：
- 上下文窗口： 增加上下文窗口大小会导致更冗长的推理和交互轮次，但并未提高修复率，这表明瓶颈在于跨轮次的控制质量而非 Token 配额。
- 场景复杂度： 随着初始错误数量的增加，性能随之下降，凸显了追踪多个耦合错误的难度。
- 错误类型： 定向错误最容易修复，而冲突错误（碰撞、墙壁/道路违规）最具挑战性，表明模型在约束感知规划方面存在弱点。

重要性与主张

本文声称 SpatialAct 揭示了当前 VLM 智能体的一个根本局限：即无法在动作引发的环境变化下，维持连贯的空间信念并产生可靠的动作。

核心瓶颈： 主要失败点不在于感知或基础推理，而在于跨轮次状态维护、约束感知规划以及稳定的推理到动作执行。
启示： 结果表明，当前的 VLMs 缺乏在现实世界智能体任务中所必需的鲁棒性，因为在这些任务中，环境会响应智能体的动作而发生变化。
未来方向： 作者将 SpatialAct 定位为一个可操作的诊断框架，旨在指导开发具有更强空间状态追踪能力和跨反馈循环协调能力的 VLM 智能体。该基准测试、模拟器工作流和工具包均已开源以支持此类研究。

论文最后进行了谦逊的总结，指出虽然商业模型展现出了令人鼓舞的进展，但所有现有系统在迭代空间修正方面都远未达到人类的可靠水平，且这一差距仍然是该领域面临的重要挑战。