💬 NLP

ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop

本文介绍了 ESI-Bench，这是一个基于 OmniGibson 和 Spelke 核心知识系统构建的具身空间智能综合基准，它表明主动的感知 - 行动循环通过使智能体能够发现隐藏的空间信息而显著优于被动观察，同时揭示当前模型的失败主要归因于行动盲点和元认知差距，而非感知能力薄弱。

原作者： Yining Hong, Jiageng Liu, Han Yin, Manling Li, Leonidas Guibas, Li Fei-Fei, Jiajun Wu, Yejin Choi

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yining Hong, Jiageng Liu, Han Yin, Manling Li, Leonidas Guibas, Li Fei-Fei, Jiajun Wu, Yejin Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一座房子里解开一个谜团，但你只能看到眼睛正前方的事物。你不能四处走动，不能触摸任何东西，也不能从沙发后面偷看。你只能盯着单张静止的照片，去猜测厨房里有什么、柜台上有多少个苹果，或者一个球是否被藏在盒子里。

这就是目前大多数人工智能“空间智能”的工作方式。它就像一名被手铐铐在椅子上、盯着单张照片试图破解罪案的侦探。

现在，请认识 ESI-BENCH。

这篇论文的作者建立了一个名为 ESI-BENCH（具身空间智能基准）的新测试平台。把它想象成一个巨大的虚拟游乐场，人工智能代理在这里被赋予了身体、双腿和双手。它们不再只是盯着照片看，而是被允许四处走动、上下打量、拿起物品并移动物体来回答问题。

以下是他们发现的内容分解，使用了简单的类比：

1. “主动侦探”与“被动观察者”

研究人员通过三种方式测试了人工智能模型：

被动观察者： 人工智能获得一张照片，然后进行猜测。
被动囤积者： 人工智能获得 30 张房间的随机照片（就像有人随机翻阅相册），然后进行猜测。
主动侦探： 人工智能可以选择去哪里走、看什么以及触摸什么，以解开谜题。

巨大的惊喜：
“被动囤积者”（获得 30 张随机照片）的表现往往不如仅有一张照片的情况。这就像给侦探一堆 30 张模糊且无关的照片；这只会让他们感到困惑。
然而，主动侦探却是一个游戏规则的改变者。在没有被告知如何解决谜题的情况下，人工智能自发地想出了聪明的策略。

例子： 如果被问到“这个玻璃杯里有栗子吗？”，人工智能不会只是盯着看。它会意识到需要走到玻璃杯后面、从上方观察，甚至拿起玻璃杯倒出来看看。它自己发明了这些策略。

2. 真正的问题：“行动盲视”

论文发现，人工智能的“眼睛”（感知能力）实际上相当不错。真正的问题在于其大脑选择行动的能力。

类比： 想象一个人拥有完美的视力，却不知道该往哪里看。他们可能站在角落里盯着空白墙壁看 30 秒，却错过了就藏在身后的宝箱。
发现： 当研究人员给人工智能提供完美的行走路径（即“真实轨迹”）时，人工智能几乎完美地解决了谜题。这证明，只要知道该去哪里，人工智能就能看到答案。失败的原因不是它看不见，而是它不知道下一步该做什么。

3. “3D 眼镜”陷阱

研究人员尝试给人工智能戴上"3D 眼镜”（从照片重建房间的 3D 模型），以帮助其理解深度。

结果： 当 3D 眼镜完美时，人工智能变得更聪明了。但当 3D 重建略有噪声或不完美时（这种情况经常发生），人工智能反而变得比以前更笨。
类比： 这就像给某人戴上一副轻微扭曲世界的眼镜。这非但没有帮助他们看得更清楚，反而因为扭曲让他们绊倒在原本用正常眼睛就能轻松避开的事物上。人工智能过于信任“损坏”的 3D 地图，从而做出了错误的决定。

4. “过度自信的猜测”（人类差距）

最有趣的发现是关于信心的。

人类： 当人类侦探不确定时，他们会说：“我需要换个角度看，”或者“让我检查一下那个窗帘后面。”如果找到新证据，他们愿意改变主意。
人工智能： 人工智能模型就像一名固执的侦探，在匆匆一瞥后猜测“这是一架钢琴！”即使它们四处走动并看到证据表明那实际上是一个橱柜，它们也拒绝改变主意。即使错了，它们也会以 100% 的信心加倍坚持最初的猜测。
隐喻： 人类就像保持地图灵活性的探险家。人工智能则像一名游客，只看了一次路牌，就断定博物馆已关闭，即使大门敞开，也拒绝走进去检查。

基准测试总结

该论文创建了一个包含10 个类别挑战的测试，基于人类婴儿认识世界的方式（如理解物体、数量和物理原理）。

计数： 毯子下藏着多少个球？
物理： 这堆积木会倒塌吗？
反射： 镜子里的那个物体是真实的，还是只是反射？
导航： 我能否不经过客厅就从卧室走到厨房？

核心结论

论文得出结论，要制造真正聪明的机器人，我们不能仅仅改进它们的摄像头。我们必须教会它们如何移动和互动。它们需要明白，有时为了看清真相，你必须停止死盯着看，转而开始行走、触摸和探索。目前，人工智能非常擅长看到眼前的东西，但在知道接下来需要做什么以找到答案方面却表现糟糕。

技术摘要：ESI-BENCH

问题陈述

空间智能本质上是一个由感知 - 行动循环定义的具身过程，其中智能体必须主动获取观测数据，以推理那些仅靠被动感知无法触及的潜在物理属性（例如被遮挡的结构、包含关系、动力学特性）。现有的空间推理基准测试大多假设存在“神谕”观测——即固定且预先给定的输入——未能评估智能体能否确定获取哪些观测、何时停止，以及如何排序行动以解决空间歧义。当前模型常受困于“行动盲视”，即糟糕的行动选择导致获取无信息量的视角，进而引发连锁推理错误；同时表现出元认知差距，即它们以高度自信过早地确定答案，而人类则会主动寻求证伪证据。

方法论

作者引入了ESI-BENCH，这是一个基于OmniGibson模拟器和BEHAVIOR-1K场景库构建的综合性具身空间智能基准测试。该基准测试植根于Spelke 的四个核心知识系统（物体表征、布局/几何、数量表征以及智能体/目标导向行动）。

基准测试构建

规模：涵盖 10 个任务类别和 29 个子类别，共 3,081 个任务实例。
任务定义：每个任务是一个元组 $(S, p_0, q, y^*)$ ，其中 $S$ 是 3D 场景， $p_0$ 是智能体的初始位姿， $q$ 是自然语言问题， $y^*$ 是真实答案。
行动空间：智能体在一个离散的高级行动空间中操作，涵盖移动（移动/旋转）、感知（视角旋转）和操作（抓取、放置、倾倒、填充）。
生成流程：使用 GPT-4o 作为提案引擎来选择物体、确定放置位置、生成问题并提出行动轨迹。这些提案经过严格的基于模拟器的过滤（物理检查、碰撞检测）和人工验证（正确性、可回答性、非平凡性），以确保物理有效性，并保证任务无法仅通过视觉偏差或先验知识解决。
评估范式：该基准测试在四种不同条件下评估模型，以隔离误差来源：
1. 被动单视角：固定的初始观测（基线）。
2. 被动多视角：30 个随机采样的视角（模拟 exhaustive 但未加选择的观测）。
3. 主动探索：智能体在 30 步预算内选择行动以收集证据。
4. 真实被动：为智能体提供来自最优真实轨迹的确切视角序列（神谕消融）。

实验设置

作者评估了最先进的多模态大语言模型（MLLMs），包括 GPT-5 和 Gemini 3.1，测试了仅 2D 和 3D 增强（使用 VGGT 进行场景图重建）两种配置。同时也收集了人类表现以确立上限。所有评估均在零样本（zero-shot）条件下进行。

关键结果

1. 主动探索与被动观测

涌现策略：在没有明确指令的情况下，主动智能体自发发现了多样的空间策略（例如移动到物体后方、俯视视角、操作容器）以解决歧义。
性能提升：主动探索显著优于被动对应方案。例如，在视角幻觉任务中，准确率从被动模式的 39.9% 上升至主动模式的 68.1%。
噪声与信号：被动多视角（随机采样 30 个视角）往往降低了性能，或相比单视角基线仅提供微不足道的增益，这表明无结构的观测积累增加的是噪声而非信号。

2. 行动盲视主导感知盲视

瓶颈：对于大多数任务，主要的失败模式是行动选择，而非感知。当提供真实最优视角（神谕）时，模型性能显著提升（例如，GPT-5 在刚性包含任务中从 42.5% 提升至 95.0%）。
连锁错误：次优行动导致无信息量的视角，进而触发更差的后续行动，形成累积的错误链，无法在步数预算内恢复。
感知硬上限：某些任务（例如几何配置、镜面反射）即使拥有神谕视角仍然困难，表明当前模型存在固有的感知局限。

3. 3D 表征的作用

双刃剑：显式的 3D grounding（完美的点云）提高了对深度敏感任务的性能（例如，几何配置任务提升了 43.3%）。然而，不完美的 3D 重建（通过 VGGT）实际上有害，其表现往往不如 2D 基线。有噪声的重建扭曲了细粒度的空间关系，导致模型在受损的场景图上进行推理。

4. 元认知差距

过早承诺：与人类不同，模型无论证据质量如何，都以高度一致的高置信度过早地确定答案。
缺乏认识论校准：人类主动寻求证伪视角并在被反驳时修正信念。相比之下，模型倾向于寻求确认，重复朝同一方向移动，并锚定在其第一印象上，即使面对矛盾证据也无法更新信念。

意义与主张

本文主张ESI-BENCH提供了首个用于评估空间智能中感知 - 行动循环的严格测试平台，超越了被动观测，转而评估“空间能力”。

诊断价值：该基准测试隔离了特定的失败模式，揭示了当前的 MLLM 不仅难以“看见”，更难于知道要看什么以及何时已看得足够。
行动选择至关重要：结果表明，提升空间智能需要更好的行动选择和元认知校准（信念修正），而不仅仅是更好的视觉编码器或更多的被动数据。
3D 的局限性：该工作强调，简单地添加 3D 重建是不够的；重建的可靠性至关重要，因为有噪声的 3D 数据会主动误导推理。
未来方向：作者提出，缩小人类与机器空间智能之间的差距需要解决“元认知差距”——具体而言，即寻求证伪证据以及在不确定性下修正信念的能力。

本文结论指出，虽然主动探索解锁了涌现策略，但当前模型缺乏认识论校准以完全闭合感知 - 行动循环，这一差距仅靠更好的感知或更多的具身交互目前尚无法弥补。