🤖 AI

DRMOT: A Dataset and Framework for RGBD Referring Multi-Object Tracking

本文介绍了 DRMOT，一种新颖的 RGBD 指代式多目标跟踪任务，以及用于解决仅 2D 模型局限性的 DRSet 数据集和 DRTrack 框架，通过利用融合的 RGB、深度和语言模态来实现鲁棒的 3D 感知目标跟踪和空间-语义定位。

原作者： Sijia Chen, Lijuan Ma, Yanqiu Yu, En Yu, Liman Liu, Wenbing Tao

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Sijia Chen, Lijuan Ma, Yanqiu Yu, En Yu, Liman Liu, Wenbing Tao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个拥挤、嘈杂的房间里寻找一位特定的朋友。你向你的智能助手问道：“找到离摄像头最近的那个人。”

如果你的助手只有一张 2D 照片（比如手机上的平面照片），它就会感到困惑。在平面照片中，所有人看起来都处在同一个平面上。站在镜头旁边的和站在后方很远的人，如果穿着类似的衣服，看起来可能一样大。助手可能会猜错，指着后面的人而不是前面的人。这就是当前追踪技术的缺陷：它看到的像是平面的绘画，而不是一个真实的房间。

这篇论文介绍了一种解决此问题的新方法，即给助手戴上 3D 眼镜（深度信息）并植入一个超级大脑（大语言模型）。

以下是作者所做工作的简单拆解：

1. 新的游戏：DRMOT

作者创建了一个新的挑战赛，叫做 DRMOT（深度指代多目标追踪）。

旧方式： 你给计算机一段视频和一句话，比如“追踪那个戴红帽子的家伙”。计算机尝试仅通过视频中的颜色来追踪他。
新方式： 你给计算机视频、句子，以及一张“深度图”（一张告诉计算机每个像素具体距离有多远的特殊图像）。现在，如果你说“追踪离摄像头最近的那个人”，计算机实际上可以测量距离并选出正确的人，即使那个人看起来和远处的人一模一样。

2. 新的地图：DRSet

为了教会计算机这项新技能，作者构建了一个特殊的训练库，叫做 DRSet。

可以把它想象成一个包含 187 个不同“场景”（如公园、客厅或街道）的庞大图书馆。
对于每个场景，他们都有常规视频、3D 深度图以及 240 条特定的语言指令。
至关重要的一点是，其中 56 条指令依赖于距离（例如“树后面的那辆车”或“离我们最近的人”）。这迫使计算机学习如何利用 3D 空间来理解语言。

3. 新的大脑：DRTrack

他们还构建了一个名为 DRTrack 的新系统来解决这些谜题。它分两步运行，就像一个拥有两种工具的侦探：

第一步：“鹰眼”（MLLM）：
他们使用了一个强大的 AI 大脑（多模态大语言模型），它同时观察视频、深度图和句子。这就像一个能看到 3D 房间的侦探。当你说“找到最近的那个人”时，这个大脑会利用深度图立即知道谁在前，谁在后。它会在正确的人周围画一个框。
- 类比： 这就像是在读地图的同时，还拿着一个测量距离的激光测距仪。
第二步：“胶带”（追踪器）：
一旦大脑在第一帧中找到了那个人，系统就需要持续追踪他，即使他在移动过程中被墙壁或人群挡住。作者在追踪方法中加入了“深度胶带”。
- 通常情况下，如果两个人走得很近，计算机可能会把他们搞混（交换身份）。
- 有了 DRTrack，计算机会检查 3D 距离。如果 A 人在 2 米处，B 人在 5 米处，即使他们看起来非常相似，计算机也能知道他们是不同的人。这保持了他们的身份独立，防止了混淆。

4. 结果

作者将他们的新系统与仅使用平面 2D 视频的旧系统进行了对比测试。

结果： 新系统（DRTrack）在寻找正确的人以及持续追踪而不产生混淆方面表现得好得多。
意义所在： 这证明了赋予 AI “深度视觉”是理解涉及空间和距离指令的关键，而这正是单纯的平面 2D 摄像头无法独立完成的任务。

简而言之： 论文指出，“如果你想让 AI 理解像‘离我们最近的那个’这样的指令，你不能只给它看一段平面的视频。你也必须向它展示房间的 3D 深度。我们构建了一个新的数据集和一个新的 AI 大脑，来证明这是行之有效的。”

技术摘要：DRMOT：一种用于 RGBD 指代多目标跟踪的数据集与框架

1. 问题陈述

指代多目标跟踪（Referring Multi-Object Tracking, RMOT）旨在根据自然语言描述来识别并跟踪特定目标，这一能力对于机器人和自动驾驶等交互式 AI 系统至关重要。然而，现有的 RMOT 方法仅依赖于 2D RGB 数据。这种局限性在语言描述涉及依赖深度的复杂空间语义（例如，“离摄像头最近的人”）或目标遭受严重遮挡时，会带来显著挑战。由于缺乏显式的 3D 空间信息，2D 模型难以解决空间层级问题，从而导致推理歧义、目标定位错误以及身份切换。

为了解决这些局限性，作者提出了一个全新的任务：RGBD 指代多目标跟踪（DRMOT）。该任务要求模型融合 RGB、深度（D）和语言（L）模态，以实现具备 3D 感知的跟踪，从而在保持时间维度身份一致性的同时，有效地将语义描述锚定在几何语境中。

2. 方法论

本文介绍了两个主要组件，旨在推动 DRMOT 任务的发展：一个定制化的数据集（DRSet）和一个跟踪框架（DRTrack）。

2.1. DRSet 数据集

DRSet 的构建旨在评估在现实世界 3D 条件下的空间语义对齐与跟踪能力。

组成： 该数据集包含 187 个多样化的场景（室内、室外、夜间、复杂天气），包含同步的 RGB 图像和深度图。
标注： 它包含 240 条语言描述。值得注意的是，其中 56 条描述明确包含了与深度相关的信息（例如，相对距离、前后位置）。
结构： 数据集在场景层面分为 141 个训练视频和 99 个测试视频，以防止数据泄露。它涵盖了 18 个物体类别（人类、动物、车辆、物体），每个序列中的物体数量各异，帧长从短视频到超过 1,000 帧不等。
标注流程： 采用了严格的四步流程进行：（1）创建包含静态和动态特征的属性表；（2）选择代表性目标；（3）逐帧进行边界框标注和语言组合；（4）通过两人交叉审核协议，确保坐标有效性和语义一致性。

2.2. DRTrack 框架

DRTrack 是一个由多模态大语言模型（MLLM）引导的框架，旨在实现鲁棒的定位与稳定的跨帧关联。它分为两个阶段运行：

第一阶段：深度促进的语言定位

输入： 该框架利用 MLLM（具体为 Qwen2.5-VL-3B）同时处理三种模态：语言描述（ $L$ ）、RGB 图像（$RGB $）和深度图（$ D$）。深度图被转换为 3 通道的伪 RGB 表示形式。
目标： MLLM 的任务是根据语言描述输出目标的精确 2D 边界框，并利用深度线索来解决 2D 空间的歧义。
训练策略： MLLM 使用**群体相对策略优化（GRPO）**进行微调。采用了一种专门的奖励函数（ $R_{total} = R_{format} + R_{IoU}$ $R_{t o t a l} = R_{f or ma t} + R_{I o U}$ ）：
- 格式奖励（Format Reward）： 确保输出结构化的 JSON 格式，以实现可靠的框提取。
- IoU 奖励（IoU Reward）： 通过匈牙利算法进行匹配，鼓励预测框与真实框之间的几何一致性。

第二阶段：深度增强的 OC-SORT 关联

机制： 基于以观测为中心的 OC-SORT 跟踪器，此阶段通过集成深度信息来优化轨迹关联。
RGBD 联合相似度（ $S_{RGBD}$ ）： 定义了一种新的相似度度量，结合了 2D 外观和 3D 深度一致性：
$S_{RGBD} = \alpha \cdot \text{IoU} + (1 - \alpha) \cdot S_D$
其中 $S_D$ 是检测结果与轨迹预测之间绝对深度差异的指数衰减函数。
关联代价： 最终的分配代价通过最小化 RGBD 联合相似度与速度方向一致性（VDC）运动先验的组合来实现：
$ $C = -(S_{RGBD} + \lambda \cdot \text{VDC})$ *
这种双重约束的代价函数减轻了由 2D 遮挡或接近导致的错误关联。

3. 核心贡献

DRMOT 任务定义： 形式化了 RGBD 指代多目标跟踪任务，该任务明确集成了 RGB、深度和语言模态，以处理具有 3D 感知的空间推理与跟踪。
DRSet 数据集： 构建了一个包含 187 个场景和 240 条描述（含 56 条深度特定描述）的综合数据集，为评估 3D 环境下的空间语义对齐提供了基准。
DRTrack 框架： 一种新型的 MLLM 引导架构，通过结合用于定位的几何感知 GRPO 微调和用于鲁棒关联的深度增强型 OC-SORT，实现了最先进的性能。

4. 实验结果

在 DRSet 测试集上进行了广泛的实验，使用高阶跟踪准确率（HOTA）及其组成部分（检测准确率、关联准确率等）来评估性能。

性能表现： DRTrack 达到了 33.24% 的 HOTA，显著优于所有基线模型。
- 它比最强的零样本 MLLM 基线（输入为 L+RGB 的 Qwen2.5-VL-3B，HOTA 为 15.13%）高出超过 18 个百分点。
- 它也优于以往仅依赖 RGB 输入的 RMOT 方法（TransRMOT, TempRMOT）和其他 MLLM（DeepSeek-VL, LLaVA 系列）。
消融实验：
- 深度模态： 在不进行微调的情况下，将深度信息添加到 MLLM 输入中（L+RGB+D），使 HOTA 从 15.13% 提升至 32.68%，证明了几何线索的关键价值。
- GRPO 微调： 应用几何感知 GRPO 微调后，HOTA 从 32.68% 进一步提升至 33.24%，证实了基于奖励优化的有效性。
- 融合权重（ $\alpha$ ）： 敏感性分析显示，当融合权重 $\alpha=0.9$ （优先考虑 2D IoU 并引入 10% 的深度约束）时，结果达到最优，平衡了空间上下文与几何鲁棒性。

5. 意义与主张

本文主张，集成深度信息对于消除在 2D 图像空间中无法区分的指代表达的歧义至关重要。通过提出 DRMOT 和 DRSet 数据集，作者为评估模型在几何歧义下的空间语义对齐能力提供了必要的资源。

DRTrack 框架表明，将深度线索与 MLLM 相结合可以有效解决空间歧义（例如，区分“最近的”与“最远的”物体），并在严重遮挡下保持身份一致性。作者将 DRMOT 定位为迈向更鲁棒、具备 3D 感知能力的交互式 AI 系统的基础性步骤，为这一新兴领域提供了强大的基准。该工作被视为机器学习感知领域的一项进展，除了提高自主系统环境理解能力的通用目标外，未强调特定的社会影响。