🤖 AI

OrientSAM: Mitigating Camera-Centric Shortcut in Multimodal Spatial Reasoning via Orientation-Aware Spatial Alignment

本文介绍了 OrientSAM，这是一个面向方向感知的空间对齐框架，通过注入显式的方向信息并采用课程学习，来缓解多模态大语言模型中的以相机为中心的捷径问题，从而实现鲁棒的以物体为中心的空间推理。

原作者： Wenxiao Fan, Hang Yin, Kan Li

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenxiao Fan, Hang Yin, Kan Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正站在一个房间里，看着一张两个朋友正在交谈的照片。如果你问一个人，“左边是谁？”他可能会看着照片说，“照片左侧的那个人。”但如果你指着其中一个朋友问，“在你左边的是谁？”答案就完全不同了。你必须在脑海中换位思考，代入那个朋友的角色，转身面向他们所面对的方向，然后观察另一个人。这种脑力体操被称为“视角转换”（perspective-taking），这是人类拥有的超能力，而计算机在这方面却表现得异常糟糕。

在人工智能领域，特别是“多模态大语言模型”（MLLMs）的世界里，计算机在看图和阅读文本方面已经变得非常出色。它们能告诉你垫子上有一只猫，或者一辆车是红色的。但当涉及到空间推理——即理解物体相对于其他物体（而非仅仅相对于摄像机）在三维空间中的位置时——它们往往会碰壁。这些 AI 模型往往是“以摄像机为中心”的，这意味着它们只能从镜头的视角来看待世界。它们难以理解“左”和“右”取决于人或物体的朝向，而不仅仅是他们在屏幕上的位置。这篇题为 OrientSAM 的论文，深入探讨了为什么这些聪明的计算机会在这个简单的技巧上栽跟头，并构建了一个新系统来帮助它们用他人的眼睛看世界。

摄像机陷阱：为什么 AI 会迷失

研究人员首先调查了一种特定的失败模式。他们注意到，当 AI 被问到“球在球员的左边还是右边？”时，它通常根据球员在照片中的位置（即“摄像机视角”）来回答，而不是根据球员实际的面向方向。

为了证明这一点，他们设置了一个“陷阱”。他们设计了一些测试问题，使摄像机视角与玩家视角产生分歧。例如，想象一名球员正对着摄像机。对于摄像机来说，一个球可能在球员图像的右侧。但如果该球员正对着摄像机，那么这个球实际上是在球员的“左手”边。研究发现，目前的 AI 模型几乎总是会掉进这个陷阱。它们依赖于一种“捷径”：它们只是观察图像的左侧和右侧，而忽略了玩家的朝向。这就像一个学生死记硬背“左边永远是页面的左侧”，却从未理解如果把页面转过来，“左边”也会随之改变。

研究人员发现，当参考对象（你所询问的人或物）直接面向摄像机时，这种捷径会导致问题更加严重。目标物与摄像机的对齐程度越高，AI 就越容易产生困惑，并默认使用图像平面捷径。这表明问题不在于 AI 看不到物体，而在于它缺乏一个关于物体如何在空间中定向的特定“心理模型”。

解决方案：OrientSAM

为了解决这个问题，团队构建了 OrientSAM（方向感知空间对齐模型）。你可以把它想象成给 AI 戴上了一副“3D 眼镜”并给了它一个指南针。

OrientSAM 并没有只是将图片和问题喂给 AI，而是将关于**方向（orientation）**的显式信息直接注入到模型的“大脑”中。以下是它的工作原理，使用了几个创造性的步骤：

“指南针”Token： 系统不仅仅是说“这里有一个人”。它还会添加一个特殊的数字 Token，说明“这个人正向右偏转 45 度”。为了确保计算机理解面向 359 度几乎等同于面向 1 度（因为 0 和 360 是同一个点），他们使用了一种巧妙的数学技巧——傅里叶编码（Fourier encoding）。想象一下把一根绳子绕在圆圈上；无论你绕多少圈，绳子都能平滑地连接。这有助于 AI 理解方向是一个连续的循环，而不是一条直线。
“脑力体操”（课程学习）： 你不会在孩子还没学会数数之前就让他们解复杂的几何题。同样，研究人员并没有直接把最难的视角问题抛给 AI。他们使用了一种**课程学习（curriculum learning）**策略。
- 第一阶段： 首先，他们教 AI 识别物体的朝向。“看这辆车，它正朝着北边行驶。”
- 第二阶段： 一旦 AI 擅长识别方向，他们就会转向更难的任务：“现在，如果这辆车正朝着北边，那么树相对于它在哪里？”
  这一步步循序渐进的训练防止了 AI 退回到那种偷懒的、以摄像机为中心的捷径上。

结果：透过新视角看世界

团队在三个基准测试（Spatial-MM、ViewSpatial 和 3DSRBench）上测试了 OrientSAM，这些测试就像是 AI 空间能力的标准化考试。

结果非常明确：OrientSAM 在表现上始终优于其他强大的 AI 模型，尤其是在那些棘手的“非摄像机视角”问题上。

在 Spatial-MM 测试中，对于答案取决于人的视角（而非摄像机视角）的问题，OrientSAM 得分为 87.31%，而排名第二的模型仅为 39.55%。
在 ViewSpatial 测试中，特别是在“人视角相对方向”（即从人的视角判断物体位置）方面，OrientSAM 达到了 85.04%，碾压了此前最好的 72.57%。

这项研究表明，通过显式地教授 AI 关于方向的知识并进行阶段性训练，我们可以阻止它依赖于偷懒的图像平面捷径。AI 不再仅仅是“看到”图片，它开始理解三维世界，并能从其中物体的视角进行推理。

这意味着什么

这篇论文并不声称已经解决了所有的空间推理问题。该系统仍然依赖于其他工具来估计深度和方向，如果这些工具出错，OrientSAM 也会受到影响。然而，研究结果有力地表明，许多 AI 模型缺失的并不是更多的数据或更大的大脑，而是一种更好的表示方向的方法。通过赋予 AI 一个清晰的“向前看”的概念，我们可以帮助它们超越摄像机镜头，开始像我们一样，从内部向外理解这个世界。

技术摘要：OrientSAM

问题陈述

多模态大语言模型（MLLMs）在需要视角变换（perspective transformation）的空间推理任务中表现出显著的局限性。虽然目前的模型在处理直接从相机视角可见的任务时表现良好，但在正确答案取决于参考对象的局部视角（即从心式推理/allocentric reasoning）而非图像平面（即自我中心式推理/egocentric reasoning）时，则难以应对。

作者识别了一种被称为**“以相机为中心的捷径”（camera-centric shortcut）的特定失效模式。在参考对象的局部坐标系定义的空间关系与图像平面的水平排列发生冲突的情况下，MLLMs 会一致地退化为依赖相机中心的线索。论文表明，这种捷径不仅是通用的空间推理缺陷，而且与参考对象的朝向**紧密相关。具体而言，当参考对象的面向方向与相机的观察方向不一致时，模型无法执行必要的参考框架变换，这表明其表示层缺乏显式的朝向建模。

方法论：OrientSAM

为了解决这一问题，作者提出了 OrientSAM（面向朝向的空间对齐），这是一个旨在将显式的朝向信息注入多模态表示并将其与下游空间推理对齐的框架。该方法由三个核心部分组成：

1. 多专家空间数据构建

由于大规模具有朝向感知能力的空间监督数据较为匮乏，作者构建了一个自动从大规模 2D 图像中生成训练数据的流水线。该流水线集成了：

区域定位（Region Grounding）： 使用 GroundingDINO 和 SAM 等模型提取对象边界框和分割掩码。
单目几何估计（Monocular Geometry Estimation）： 估计深度图和相机内参，以推导出实例级深度。
朝向预测（Orientation Prediction）： 使用朝向估计模型来预测每个对象的语义面向方向（极角、方位角和旋转角）。
课程组织（Curriculum Organization）： 通过置信度对数据进行过滤，并将其分为两个阶段：朝向感知阶段（学习稳定的朝向原语）和关系推理阶段（学习参考框架变换）。

2. 朝向感知表示

OrientSAM 将对象朝向显式编码到多模态输入空间中，而不仅仅是将朝向视为单纯的文本提示。

基于傅里叶的角编码（Fourier-Based Angle Encoding）： 为了处理角度的周期性特征（即 $0^\circ$ 和 $360^\circ$ 是相同的），作者采用了傅里叶特征编码 ( $\gamma(\phi)$ )，而非直接进行标量回归。
标记注入（Token Injection）： 编码后的朝向被注入到视觉和文本表示中：
- 视觉： 朝向编码被投影并添加到区域级 RGB 特征中 ( $\tilde{r}_i = r_i + W_o\gamma(\phi_i)$ )。
- 文本： 对象标记通过相同的编码进行增强 ( $\tilde{e}_i = \text{Embed}(t_i) + W_t\gamma(\phi_i)$ )。
结构化对齐（Structured Alignment）： 模型使用解耦的标记来表示外观 ( $\langle r_{gbi} \rangle$ )、深度 ( $\langle depth_i \rangle$ ) 和朝向 ( $\langle orient_i \rangle$ )。这使得语言模型能够动态地关注所需的特定几何线索进行推理，而不是将它们坍缩为一个单一的向量。

3. 课程学习策略

训练过程遵循一个渐进式的课程以稳定学习：

阶段 1（朝向感知）： 模型被训练用于预测单个对象的方位角，从而建立视觉外观与语义面向方向之间的鲁棒映射。
阶段 2（朝向感知推理）： 模型被训练处理完整的视角转换任务，利用结构化的 RGB-深度-朝向标记，在参考对象的坐标系下预测空间关系。这通过强制模型依赖学习到的朝向先验，防止模型收敛到以相机为中心的捷径。

核心贡献

诊断框架： 作者引入了一个统一的框架，用于区分以参考物为中心的答案（在对象视角下的真值）与以相机为中心的答案（图像平面关系）。分析显示，当前的 MLLMs 表现出强烈的以相机为中心的捷径，特别是当这两者发生冲突时，且这种捷径的强度随参考对象的朝向而变化。
OrientSAM 框架： 一种新型的对齐框架，通过傅里叶编码和结构化标记，将朝向先验显式地融入多模态表示中，解决了参考框架变换的瓶颈问题。
数据构建流水线： 一个可扩展的多专家流水线，能够从大规模 2D 图像中生成具有朝向感知的空间监督信号，从而使模型能够在无需手动 3D 注释的情况下进行视角转换任务的训练。
实证验证： 广泛的实验证明，显式的朝向建模对于稳健的从心式推理至关重要。

实验结果

OrientSAM 在三个基准测试上进行了评估：Spatial-MM、ViewSpatial 和 3DSRBench。

性能提升： OrientSAM 一致优于强力的基线模型（包括 LLaVA-v1.5、Qwen2.5-VL、Qwen3-VL、SpatialRGPT 和 APC-Vis）。
- 在 Spatial-MM 上，它在非相机视角任务上达到了 87.31% 的准确率，显著超过了表现最好的基线（APC-Vis 为 86.57%）。
- 在 ViewSpatial 上，它在四个子任务中的三个取得了最先进的结果，特别是在人物视角相对方向（person-view relative direction）方面表现突出（85.04% 对比 APC-Vis 的 72.57%）。
- 在 3DSRBench 上，它在朝向与方向（81.83%）和多物体关系（77.80%）任务中处于领先地位。
消融实验：
- 朝向注入： 移除朝向分支会导致性能大幅下降（例如，在 Spatial-MM 非相机视角任务上从 87.31% 降至 76.29%），证实了仅靠数据微调是不够的。
- 课程学习： 移除课程学习策略会降低性能，表明从感知到推理的渐进式训练对于稳定性至关重要。
- 编码策略： 基于傅里叶的编码（特别是 $N=2$ ）优于直接标量编码，验证了建模角度周期性特征的必要性。
捷径分析： 研究证实 OrientSAM 有效地缓解了以相机为中心的捷径。在冲突样本中，模型与参考中心真值的符合度增加，而对相机中心线索的依赖度降低，尤其是在以往模型失效的前向和后向朝向场景中。

重要性与主张

论文指出，MLLM 中视角感知空间推理的主要瓶颈不是缺乏通用的视觉感知或通用的几何线索，而是缺乏显式的朝向建模。

作者认为：

相机中心偏差是系统性的： 当前的模型依赖于图像平面的启发式规则而非真正的视角转换，当参考对象的朝向与相机视角冲突时，这种行为会加剧。
朝向是缺失的归纳偏置： 通过将朝向先验显式注入表示空间，模型可以学会将空间关系转化为局部参考框架，从而实现稳健的从心式推理。
实际应用意义： 这种方法对于需要具身交互、人机协作和场景理解的应用至关重要，在这些应用中，推理必须基于场景中实体的视角，而非相机视角。

作者对局限性保持了谦逊的态度，承认该框架目前依赖于上游专家模型（定位、深度、朝向）的质量，并且主要关注左/右的空间推理。他们建议未来的工作应解决更丰富的空间关系，并减少对外部注释的依赖。