🤖 AI

Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models

本文引入了想象感知标记（Imaginative Perception Tokens, IPT），这是一种中间感知表示，使视觉语言模型能够通过将未观察到的空间配置外显化来增强空间推理能力，从而在透视理解、路径追踪和多视角计数等任务上超越了文本思维链方法。

原作者： Mahtab Bigverdi, Lindsey Li, Weikai Huang, Yiming Liu, Jaemin Cho, Jieyu Zhang, Tuhin Kundu, Chris Dangjoo Kim, Zelun Luo, Linda Shapiro, Ranjay Krishna

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mahtab Bigverdi, Lindsey Li, Weikai Huang, Yiming Liu, Jaemin Cho, Jieyu Zhang, Tuhin Kundu, Chris Dangjoo Kim, Zelun Luo, Linda Shapiro, Ranjay Krishna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教 AI “想象”看不见的世界

想象你正在玩一款电子游戏。你站在一个房间里，正看着一扇门。游戏问你：“如果你穿过这扇门并向左转，你的右边会看到什么？”

目前的 AI 模型（视觉语言模型）非常擅长描述它们“眼睛”正前方看到的东西。但面对这个问题时，它们却很吃力，因为答案并不在它们正在观察的这张图片里。它们必须在脑海中模拟出一个尚未见过的全新场景。

这篇论文认为，要解决这些“空间推理”谜题，AI 需要学会像人类一样去想象缺失的拼图碎片。作者们将这个新工具称为想象感知标记（Imaginative Perception Tokens，简称 IPTs）。

问题所在：AI 不擅长处理“如果……会怎样？”

把现在的 AI 想成一位非常博学的图书管理员，他能完美地描述书架上的每一本书。但如果你问他：“如果我们把书架移到后墙，图书馆看起来会是什么样？”这位管理员就会卡壳。他只能描述当前可见的事物。

以往解决这一问题的尝试是让 AI 写下它的思考过程（类似于“思维链”）。作者发现，强迫 AI 用文字来描述一个 3D 旋转或一条隐藏路径，就像试图仅用一条短信来描述一段复杂的舞蹈动作一样。这种方式笨拙、混乱，且经常导致错误。

解决方案：“心理草稿本”

作者引入了想象感知标记（IPTs）。他们不再要求 AI 用长篇大论来描述新的视角，而是教它去画一张快速草图，描绘出它认为自己会看到的景象。

类比： 想象你是一名建筑师。为了确定一面新墙是否合适，你不仅是在口头讨论，还会画出一份新布局的快速蓝图。
运作方式： AI 被训练去生成一张中间图像（即“草图”），这张图代表了一个它尚未实际观察到的视角。
- 例子： 如果问题是关于沿着走廊行走，AI 会画出一张“侧视图”，展示从路径中间位置看过去走廊的样子，尽管它手里只有起点和终点的照片以及一张地图。
- 例子： 如果问题是关于从三个不同角度观察一个凌乱房间里的椅子数量，AI 会画出一张“鸟瞰图”地图，以便在不重复计数的情况下看清每把椅子的位置。

一旦 AI “画”出了这张心理草稿，它就会根据自己的画作来回答最终的问题。

三个“想象力训练场”任务

为了测试这一点，研究人员创建了三个特定的训练游戏（数据集），让 AI 练习如何进行想象：

视角转换（“传送”游戏）：
- 设定： 你从一个角度观察一个房间。
- 任务： “如果你传送到标记的这个点并向右转 90 度，沙发是在你的左边还是右边？”
- 想象过程： AI 必须生成一张从那个新位置观察房间的图片，才能正确回答。
路径追踪（“盲行”游戏）：
- 设定： 你有一张路径的俯视图，以及起点和终点的照片。
- 任务： “当你沿着这条路径行走时，在路程一半的地方，你的左侧会看到什么物体？”
- 想象过程： AI 必须生成一个“第一人称视角”的中间路径画面，而这个画面是它从未真正见过的。
多视角计数（“拼图”游戏）：
- 设定： 你被展示了三张从房间不同角落拍摄的照片。
- 任务： “这个房间里总共有多少把椅子？”（有些椅子可能在其中一张照片中被遮挡，但在另一张中可见）。
- 想象过程： AI 必须生成一张单一的“俯视图”地图，将所有三个视角合并成一张完整的图片，从而进行准确计数。

研究发现

研究人员使用这些“心理草图”作为教学工具，训练了一个强大的 AI 模型（BAGEL）。以下是实验结果：

绘画胜过写作： 当 AI 被迫通过“画草图”（IPT）来进行“思考”时，它在处理空间问题上的表现远优于被迫通过“写文字”（文本思维链）进行思考。事实上，用文字进行思考有时反而会让 AI 在这些任务上表现得更差，因为文字是描述 3D 空间的糟糕方式。
训练的魔力： 即使在随后的测试中，当 AI 不被允许 画草图（只能直接给出答案）时，它的表现依然更好。这表明，在训练过程中进行的“绘画”练习，在 AI 的大脑中构建了一个更强大的内部地图。
超越顶尖水平： 在某些任务上，这种方法让这个开源模型能够与通常在这些基准测试中占据统治地位的昂贵闭源模型（如 GPT-5）相媲美。

总结

这篇论文表明，要让 AI 理解空间和导航，我们不应仅仅要求它用语言“更努力地思考”。相反，我们应该教它去视觉化那些看不见的事物。通过给 AI 一个“心理草稿本”来练习想象新的视角，我们帮助它建立起对 3D 世界更深刻的理解，使其能够解决以前对它来说无法完成的谜题。

技术摘要：想象性感知标记增强多模态语言模型的空间推理能力

1. 问题陈述

视觉语言模型（VLMs）目前在识别物体和属性方面表现出色，但在空间推理方面仍面临显著困难，尤其是在所需信息无法从输入中直接观察到时。许多空间任务需要想象性感知：模拟未观察到的视角、追踪穿过遮挡空间的轨迹，或将局部视图整合为连贯的空间地图。

现有的方法试图通过中间视觉表示（例如，视觉思维、深度图或边界框标记）来弥补这一差距。然而，这些方法主要是在优化输入中已有的可见结构或提取感知属性。它们未能解决核心挑战，即构建并非直接观察到的空间表示，这通常需要根据证据推测缺失的空间结构，而非仅仅描述所见内容。此外，强行通过文本思维链（CoT）进行空间计算往往会导致模态失配，因为将几何约束和视角变换序列化为语言是低效且易错的。

2. 方法论

2.1. 核心概念：想象性感知标记 (IPT)

作者提出了想象性感知标记（Imaginative Perception Tokens, IPT），这是一种中间感知表示形式，它外显化了 VLM 在另一种空间配置下会感知到的内容，同时保持与观测输入的一致性。与描述可见结构的标准中间表示不同，IPT 代表了新颖的空间视图（例如，来自新坐标的视角或整合了多个视图的俯视图）进行推断。

2.2. 任务与数据集

为了研究这种能力，作者制定了三个需要想象性感知的任务，并构建了约 20,000 个示例的数据集，涵盖模拟（AI2-THOR, Habitat）和真实世界场景：

视角转换 (Perspective Taking, PET)： 给定第一人称视角和目标位置，预测新视角下的场景（例如，“移动到‘X’并向左转后，物体是在你的左侧还是右侧？”）。其地面真值是一个新视角的图像。
路径追踪 (Path Tracing, PT)： 给定顶视图图和关键路点的正视图，识别路径中段可见的物体。其地面真值是一个侧视图图像（从中点出发的第一人称渲染图）。
多视角计数 (Multiview Counting, MVC)： 给定多个第一人称帧，通过整合视图来解决遮挡和重复问题，从而确定特定物体的总数。其地面真值是一个顶视图鸟瞰图 (BEV) 地图。

每个数据集都包含配对的地面真值中间想象图像和最终答案，并附带经过人工过滤的评估基准。

2.3. 模型架构与训练

作者使用了 BAGEL，这是一个原生支持交错式多模态理解与生成的统一解码器-仅 Transformer 模型。

架构： BAGEL 采用了混合专家 Transformer（MoT）设计，拥有用于理解（SigLIP2 ViT 标记）和生成（FLUX VAE 潜变量标记）的独立专家。
训练目标： 模型使用包含以下内容的多元任务损失函数 ( $L_{total}$ $L_{t o t a l}$ ) 进行训练：
1. 流匹配损失 ( $L_{fm}$ )： 模型学习预测速度场，以将高斯噪声转换为目标未观察视图的潜变量表示（即 IPT）。
2. 语言建模损失 ( $L_{lm}$ )： 模型最小化最终答案标记的负对数似然，该过程以观测上下文和地面真值想象标记为条件。
推理模式：
- 想象模式： 模型生成中间图像，对其进行重新编码，并将其作为上下文来预测答案。
- 仅答案模式： 模型直接预测答案而不生成图像，而是依赖于训练期间学习到的内部表示。

3. 关键结果

3.1. 空间任务性能

使用 BAGEL 作为骨干网络，与基线相比，IPT 监督显著提升了所有任务中的空间推理能力：

多视角计数 (MVC)： 与仅标签训练相比，IPT 将准确率提高了 3.4%（67.3% 对比 63.9%），并优于文本 CoT（62.3%）。
视角转换 (PET)： 在领域内 AI2-THOR 数据上，IPT 达到了 96.8% 的准确率，优于仅标签训练（97.5% 是上限，但 IPT 极具竞争力）并显著击败了文本 CoT（83.1%）。在领域外（Habitat）数据上，IPT 达到 87.0%，超过了仅标签训练（82.0%）。
路径追踪 (PT)： 混合训练（IPT + 仅标签）取得了最佳效果，在合成数据上达到 66.7%，在真实世界基准上达到 58.6%，优于仅标签训练和文本 CoT。

3.2. 与文本思维链 (CoT) 的比较

研究发现，文本 CoT 在这些任务上往往是有害的。例如，在 PET 任务中，CoT 使性能降至 83.1%，而 IPT 为 96.8%。作者将其归因于模态失配：强行通过语言进行空间计算（视角变化、遮挡）会引入噪声，并与答案预测能力产生竞争。相比之下，IPT 直接在视觉模态中表示这些关系。

3.3. 推理与泛化

内部表示： 至关重要的是，即使在模型不生成图像的情况下，性能增益依然存在（仅答案模式）。这表明使用 IPT 监督有助于模型开发更强的内部空间表示。
迁移学习： 使用 IPT 训练的模型在外部基准（如 SAT, MessyTable）和其他空间任务（如 ScanNet, MindCube）上的迁移能力有所提高，表明学习到的空间推理能力超越了特定的标记目标。
分辨率消融： 更高分辨率的潜变量标记（Latent-64, 1024x1024）能产生更清晰、更符合空间真实的想象图像，并与更高的下游准确率相关联。

4. 重要性与主张

本文声称，想象性感知标记 (IPT) 为处理未观察到的结构提供了原则性的监督信号。其核心贡献和主张如下：

新型中间表示： IPT 不同于以往的视觉中间表示，因为它们预测的是未观察到的空间配置，而非细化已有的可见结构。
模态对齐： 使用中间视觉预测来监督模型，比使用文本 CoT 在空间任务上更有效，避免了将几何约束序列化为语言时的瓶颈。
泛化性： 使用想象性监督进行训练，可以产生更强的空间泛化能力，以及与任务底层几何结构一致且更具可解释性的中间表示，即使在推理阶段没有显式的图像生成。
基准测试： 本研究引入了首个专门用于训练和评估视觉落地中间空间推理的数据集，强调了视觉语言模型中存在的“视角差距”以及构建性空间想象的重要性。

作者总结道，虽然目前的统一模型通常会在理解鲁棒性与生成能力之间进行权衡，但通过集成想象性感知监督，模型可以在复杂的空间推理任务上达到与强大的闭源模型相媲美的性能。