技术摘要：用于零样本 3D 视觉定位的 TDVR

问题陈述

零样本 3D 视觉定位（3DVG）旨在根据自然语言描述在 3D 点云中定位特定物体，而无需进行特定任务的训练。尽管近期取得了进展，但现有方法面临两个关键局限性：

1. 由于未知视角导致的的空间歧义性： 空间描述符（如“左侧”、“后方”）本质上是依赖于视角的。在缺乏显式相机位姿的情况下，方向性术语会导致严重的指代歧义，当观察者的视角与描述中所隐含的视角不同时，会导致模型选择错误的候选目标。
2. 相似实例干扰下的歧义查询： 在密集的室内场景中，多个物体通常具有相同的类别、相似的外观和极近的距离。现有的智能体往往缺乏细粒度的辨别能力，导致在候选对象之间进行随机猜测，而非实现鲁棒、确定性的定位。

方法论：TDVR 框架

作者提出了 TDVR（文本消歧与视角推理联合框架），这是一个利用大语言模型（LLM）和多模态大语言模型（MLLM）来解决上述挑战的免训练推理框架。该流水线由以下阶段组成：

1. 语义 3D 场景图构建

系统构建一个场景图 $G=(V, E, X_V)$，其中节点代表检测到的实例。对于每个实例，系统提取：

• 3D 边界框 ($p_i$)： 几何属性。
• 类别标签 ($l_i$)： 语义类别。
• 最优 2D 视图 ($a_i$)： 通过识别遮挡最小的视角而生成的裁剪图像。这是通过投影 3D 点云并选择目标物体可见点比例最高的帧来实现的。

2. 以观察者为中心的协同消歧

为了解决语言歧义，该框架通过 MLLM 生成三种类型的描述来丰富原始查询：

• 外观细节： 源自 2D 裁剪图像的细粒度属性（颜色、纹理）。
• 方向性描述： 相对于多个锚点物体的空间关系，这些关系是在以观察者为中心的局部坐标系内建立的。
• 类内描述： 同一类别实例之间的相对位置，用以区分目标与干扰项。
  LLM 将原始查询与这些丰富的描述进行融合，从而生成精确且消歧后的文本。

3. 结构化关系提取

利用思维链（CoT）提示策略，LLM 作为结构化信息提取器，将消歧后的查询分解为四个阶段：

1. 目标实体识别： 提取主要主体及其属性。
2. 锚点物体定位： 识别参考物体（“锚点”）以约束搜索空间。
3. 空间关系标准化： 将空间线索归一化为二元组（例如，<锚点, 关系>）。
4. 类内精细化： 提取目标类别内的相对视角信息。
   输出结果会经过格式规范验证，以确保语义表示的确定性。

4. 视角感知方向推理

该模块通过利用相对空间关系的旋转不变性来推断最优观察者视角。

• 机制： 系统围绕随机中心旋转 3D 点云，旋转水平角度为 $\theta$。
• 评分： 对于每次旋转，计算旋转后的相对向量（目标到锚点）与源自结构化查询的参考向量之间的对齐得分。
• 输出： 它识别出能使空间约束满足度最大化的最优旋转角度 $\Theta_{best}$，从而生成视角得分 ($S_v$)。

5. 基于视图的相似性解耦推理

为了解决相似实例（干扰项）之间的混淆问题，系统计算一个混淆得分 ($S_c$)。

• 它在旋转后的坐标系中建立感兴趣类别的几何质心。
• 它评估候选物体的位移向量相对于该质心的偏移，与类内方向性线索（例如“右侧的那一个”）之间的对齐程度。
• 这使得模型能够基于其在群体中的相对位置来区分目标，而不受全局空间关系的影响。

6. 特征匹配评估与定位

系统计算另外两个得分：

• 类别得分 ($S_{cat}$)： 物体类别标签与目标类别文本之间的余弦相似度（使用 BERT）。
• 外观得分 ($S_{app}$)： 物体 2D 裁剪图像与外观描述之间的余弦相似度（使用 CLIP）。

最终定位： 每个物体的总分通过加权和计算得出：
$$S_{total} = S_{cat} \cdot (\alpha S_v + \beta S_c + \gamma S_{app})$$
选择 $S_{total}$ 最高的对象作为最终目标。

核心贡献

1. TDVR 框架： 一种基于 MLLM 的零样本 3D 视觉定位框架，它消除了歧义并实现了无需训练的视角推理。
2. 查询消歧流水线： 一种通过整合外观和空间关系表达来增强描述性文本的方法，解决了语言不确定性。
3. 视角与辨别机制： 用于视角推断和相似物体辨别的创新模块，增强了在复杂、多干扰场景中的空间感知能力。
4. 性能提升： 显著提升了定位能力，缩小了零样本推理与全监督学习之间的差距。

实验结果

该方法在 ScanRefer 和 Sr3D 数据集上进行了评估。

• ScanRefer： TDVR 在零样本方法中达到了新的 SOTA 水平。
  • Acc@0.5 (总体)： 64.06%，超过了之前的最佳零样本方法 (SPAZER) 15.26%。
  • Acc@0.5 (多目标)： 58.93%，超过了之前的最佳零样本方法 15.53%，展示了处理相似干扰项的卓越能力。
  • 与监督模型的对比： TDVR 优于近期几种全监督模型（如 TSP3D, Pseudo-EV），显著缩小了零样本与监督方法之间的性能差距。
• Sr3D：
  • 总体准确率： 70.00%。
  • 视角相关子集： 79.03%，验证了视角推理模块的有效性。
  • 困难子集： 63.23%，证明了在复杂空间关系下的鲁棒性。

消融实验：

• 移除以观察者为中心的协同消歧模块导致 Acc@0.5 下降了 23.4%，凸显了解决语言不确定性的必要性。
• 视角感知方向推理模块贡献了 19.3% 的增益，证实了其作为区分相似物体的核心驱动力的作用。
• 基于视图的相似性解耦推理模块提供了额外的 3.2% 的提升，用于细粒度辨别。
• 研究发现用于消歧的最佳锚点物体数量为 5 个；将其增加到 7 个会引入冗余上下文并导致性能下降。
• 效率： TDVR 实现的平均单次查询推理时间为 10.21 秒，快于具有代表性的零样本基准模型。

重要性与主张

论文声称，TDVR 通过有效应对歧义查询文本和缺失视角的双重挑战，代表了零样本 3D 视觉定位领域的重大进展。通过将文本消歧与几何视角推理相结合，该框架使智能体能够在复杂的 3D 环境中实现高精度定位，而无需任何特定任务的训练数据。结果表明，所提出的架构创新——特别是多维度场景图推理和视角推断——使得零样本方法能够与全监督模型竞争，甚至在某些情况下超越它们，从而展示了基于推理的方法在具身智能中的潜力。